在传统的安卓系统自动化测试中,主要有三种主流的方法来达到控制和测试的目的,包括通过使用uiautomator捕捉安卓操作系统的用户交互界面布局,并通过控制目标控件来实现精确控制,其次是通过命令调用安卓系统内置的应用实例来直接控制,最后是通过monkey命令来实现随机操作完成测试。但是随着测试需求不断改变和软件质量标准不断提高,这些方法都在一定程度上遇到了瓶颈。在第一个方法中大部分控件的属性会随着系统升级而改变,这增加了维护工作的负担,同时uiautomator在有动态事件的界面无法稳定工作;第二个方法无法覆盖到模拟用户操作体验;第三个方法是随机操作,不能实现精确控制,测试效率低下。考虑到在以上问题中的大部分场景都是依赖于交互界面,本次研究尝试将深度学习卷积神经网络(Convolutional Neural Network,CNN)所实现的计算机视觉当中的目标检测(Object Detection)技术跟现有的自动化测试技术相结合,取代传统的操作方法。一方面,通过大量样本训练出来的模型不仅可以正确识别目标区域,达到精确控制的目的,而且其泛化能力减轻了经常性维护工作的负担,同时也覆盖了用户操作体验;另一方面,在性能测试中也可以实现百分之百的有效操作达到提升测试效率的目的。近些年来,虽然卷积神经网络在图像分类和识别上已经取得了显著的成绩,从早期的R-CNN,Fast R-CNN,Faster R-CNN,一直发展到YOLO(You Look Only Once),SSD(Single Shot Multi Box Detector)等越来越快速和准确的目标检测方法,但是在安卓自动化测试领域还没有与之相关的公开技术解决方案。在模型选择方面,目前基于卷积神经网络的目标检测方法主要有两类,一类是基于候选区域提取特征的方法,另一类是基于回归的方法,本文对比研究了两类中分别比较有代表性的模型Faster R-CNN和SSD,综合考虑自动化测试的时效性和准确性,在实验对比后选择了前者,但是Faster R-CNN在安卓自动化测试的应用场景中对小目标的检测还有提升的空间,本文提出了改进模型的方案,通过对特征提取网络的改进以加强模型对小目标的检测能力,并通过实验证明此方案是有效的;在平台方面,选择了GPU版本Tensorflow,一方面他是目前比较流行的深度学习平台,提供了丰富的、成熟的上层及下层接口,便于编写程序,另一方面通过对GPU的充分利用,训练模型的效率会提高很多;在训练样本方面,按照大部分测试用例的步骤,截取了所有需要操作区域的图片作为原始样本,通过对测试用例逻辑和安卓系统交互界面的特征进行分析,将可操作区域进行分类,经过数百万次的训练,改进后的模型已经基本上可以较好的识别出正确的目标位置及分类;在应用方面,将此模型和已有的测试框架结合后,通过实验对比发现新的自动化测试框架执行速度和原来相比略显不足但仍可接受,稳定性更好(不会受到动态事件的影响),准确性有略微的降低(随着样本的增加和模型的不断完善,此情况会有改善),性能测试的有效性有很大的幅度的提升(从原来的完全随机操作变为靶向随机操作,将有效率提高到百分之一百),另一方面,不再需要更多的人力去做繁杂的应用库维护工作,只要收集更多的图片样本、做正确的分类标记,然后交给模型训练即可。通过此次应用研究可以看到,相对于传统的安卓自动化测试,基于卷积神经网络的目标检测技术在安卓性能自动化测试执行效率方面带来了巨大的提升,虽然目前阶段在功能自动化测试中稍显劣势,但是通过不断的优化检测模型,会有更强的能力来处理这一类的目标检测问题。所以,基于卷积神经网络的目标检测技术在安卓自动化测试中具有良好的应用前景。