近年来,随着科技的发展、互联网的普及、网络速度增快。手机应用软件越来越多、功能也越复杂,软件测试是手机应用软件正常使用的保障,单纯依靠人工完成需要消耗过多的人力物力,尤其是由于手机品牌、型号、分辨率、色彩、屏占比等参数不同极大可能造成手机界面问题。目前已有许多手机界面方面的自动化测试框架或工具,但都是针对界面元素进行校验并不能真正的检测出文字乱码,图片拉伸等问题。随着人工智能的发展,测试开发人员发现将图片处理技术应用到手机界面自动化测试,把手机界面作为一张张图片进行处理检测不仅能够提高效率,还可以准确的检测出界面问题。本文在图像处理技术应用到自动化测试领域方面做了一些研究,论文的主要成果如下:(1)提出了基于语义分割模型来处理手机界面图像。目前基于图像处理的自动化测试框架目前市场还没有将图像分割作为手机应用软件界面图像处理的方法。通过截图手机应用界面制作了第一个手机界面图像的标注数据集,对数据集进行多种图像增强处理。本文通过语义分割模型Deep Lab V3+的预训练模型来训练数据,由于Deeplab V3+模型采取主流的encoder-decoder结构,在encoder过程中会使用骨干网络(backbone)进行特征的提取,不同的backbone提取特征的计算开销千差万别。本文采用Mobile Net V2作为backbone提取特征,在保证精度的同时提高了速度。(2)设计了基于图像匹配的手机界面自动化测试框架。运用图像处理技术是在测试领域的一种尝试,目前已有的自动化测试平台用的图像匹配技术是基于SIFT模型,匹配正确率低且在不同分辨率的情况下匹配度更低。本文基于SIFT的加强版SURF进行图像匹配并通过RANSAC(随机抽样一致)算法去除误匹配特征点。在此基础上针对手机应用界面布局和功能之间的共性,通过峰值信噪比来优化匹配效果。(3)通过Mobile Net v2优化图像提取特征,通过图像增强技术中的图像模糊、多种分辨率的图像进行训练,提取到的特征更精细,提高基准图像与待测图像的匹配度。