论文部分内容阅读
在计算机视觉领域中,图像是许多重要信息的载体。图像质量的好坏直接决定了各种视觉任务的难度和效果。受成像设备性能以及远距离拍摄的限制,图像的画质经常会变差,无法看清车牌字符。如果提升成像设备的质量,不仅成本较高,而且仍然存在远距离的场景,因此通过软件的方法对图像进行超分辨率重建得到了广泛的应用。由于卷积神经网络可以学习低分辨率图像与高分辨率图像之间复杂的映射关系,所以基于深度学习的方法从低分辨率车牌图像超分辨率重建出高质量的车牌图像,已经成为当前计算机视觉领域的热点问题。本文主要的研究任务为将低分辨率车牌图像超分辨率重建为4倍的高分辨率车牌图像,主要研究内容和创新点如下:(1)为了充分利用图像中的高频信息,降低车牌图像的重建误差,本文结合残差结构和密集连接结构,提出了一种基于密集残差采样网络的车牌图像超分辨率重建算法。在密集残差采样网络中,本文构建了一种含有采样层和通道注意力机制的残差采样块,能利用通道注意力机制更好的探索上采样后高分辨率特征的高频信息,因此更有利于重建出车牌图像的形状边缘等细节信息。在网络的全局结构中,本文采用密集的跳线对残差采样块进行连接,提高了特征利用率;采用1×1卷积层对连接的特征降维,帮助网络对信息进行提纯,减少特征冗余。实验表明,本文算法在降低网络参数量和运行时间的同时,提升了车牌图像的重建质量。(2)为了降低超分辨率网络的数据处理量,提升车牌图像的重建质量,本文提出了一种基于逐级反投影网络的车牌图像超分辨率重建算法。首先,本文算法对图像中低分辨率的车牌区域检测并提取,这能够为视频监控中感兴趣区域的超分辨率重建提供新的思路;然后,针对DBPN(Deep Back-Projection Network)超分辨率网络中4倍的采样层需要较大的卷积核,导致收敛速度慢,出现次优结果的问题,本文将反投影网络中4倍的采样层分解成两个2倍的采样层,从而以逐级采样的方式完成迭代的反投影。2倍的采样层使用较小的卷积核,加快了收敛速度,提高了超分辨率性能,同时分解后的中间尺寸特征为每次迭代提供更多的信息,增加信息流动。在逐级反投影网络中,本文采用跳线的方式融合相同尺寸的特征图,提高特征利用率;利用1×1卷积层对融合的特征降维,在保留关键信息的同时降低网络复杂度。实验表明,本文算法能有效降低超分辨率网络的数据处理量,提升车牌图像的清晰度和字符辨识度。