随着我国的基础设施建设和不断发展和完善,与人民生活息息相关的道路交通设施建设也日益得到重视。传统的建筑模式对于生产的任何环节都需要人工施工或操作,桥梁外观病害的检测也不例外,而使用计算机视觉算法对建筑外观病害的识别能够使病害的检测脱离对人工的依赖,并且甚至达到超越人工检测的识别率。在使用现有的计算机视觉方案对路桥外观进行识别时,常常会因为病害的外观复杂多变使得原本简单的识别任务出现难以准确识别的问题。有鉴于此,为了解决病害外形不规则带来的难检测的问题,本文将计算机视觉中目标检测和语义分割模型进行特征提取共享,使融合后模型可以得到两种识别结果,达到优化桥梁外观病害检测的目的。基于以上分析,本文主要进行了以下研究:（1）本文基于目标检测网络Faster R-CNN和图像语义分割网络U-net的理论基础,提出了基于Faster R-CNN和U-net的适用于解决病害外观多样性的融合模型。为使U-net更好地适应VGG-16作为其收缩路径,在VGG-16的特征提取后利用了一个缓冲卷积层将VGG-16的特征输出的通道数调整为其扩展路径所要求的通道数。同时保留了U-net在收缩路径和扩展路径上的跳跃连接,这有助于U-net在扩展路径上更好的恢复原图像的信息。（2）为了训练出一个有效的融合模型,在训练整个网络时采取了分步训练的方式。模型实现中仍使用了Faster R-CNN和U-net的原损失函数,且训练时使用预训练的权重初始化模型,并在预训练权重初始化后,选择性地更新参数,达到了快速对模型进行训练的效果。（3）在对数据集的预处理上,由于测试结果的反馈,对训练融合模型的分割网络的数据集进行了数据增强,实验结果表明经过数据增强训练的分割网络能够得到更加准确的分割信息。基于上述分析和研究表明,融合模型既可以通过目标检测弥补病害分割的位置信息不足的问题,又能够利用图像分割的方式解决离散、不规则的病害识别问题。此外,由于模型间共享了特征提取网络,在实际识别中融合模型得到双识别结果的时间要小于病害通过两种模型的识别时间,并且这种优势在图片尺寸增大时会变得更加明显。实验中也发现通过对融合模型的分割训练数据进行常规的数据增强有利于提升数据集容量,使模型获得更加准确的分割结果。