基于生成对抗网络的图像补全算法研究与SOC实现

来源 :西安理工大学 | 被引量 : 0次 | 上传用户:wcs_ly
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像是互联网信息的重要组成部分,数字图像修复技术是指利用图像缺失区域的邻域信息,按照一定的规则实现图像修复,达到视觉上无法感知图像曾经出现过缺失的目的。根据修复区域的大小可以分为针对小区域的图像修补问题和针对大区域的图像补全问题,在图像补全问题中,缺失区域过大导致补全过程难度更大。近年来,卷积神经网络在图像处理领域表现较好,生成对抗网络在生成问题上也体现出独到的生成效果,而图像补全问题目前还处于研究阶段,不论是传统算法还是深度学习算法都无法取得令人满意的结果。因此,本文以生成对抗网络为核心,研究深度学习在图像补全问题上的表现并进行SOC设计进一步提高算法性能。本文首先分析了上下文编码器这一结构在解决图像补全问题上的表现;分析其存在的问题,包括处理图像像素过小、缺失区域占比过大、网络结构过于复杂、数据量过高等问题;对此本文提高了图像的分辨率、调整了缺失部分占整幅图像的比例、网络结构信息等数据设计基于深度生成对抗网络的图像补全算法;该网络模型以生成网络、判别网络为基础,结合深度卷积网络在图像处理上的优势,生成网络中包括输入层、下采样层、特征隐藏层、上采样层、输出层,判别网络使用卷积层实现;接下来在ImageNet数据集上进行训练,对网络进行参数调优并得到了一个表现更好的网络结构参数;最终在相同测试集下进行网络的功能性能测试,同现有网络结构的实现结果进行对比,采用结构相似性(SSIM)、峰值信噪比(PSNR)等图像质量评价指标评定网络性能,结果表明本文的网络在图像补全问题上表现更好。以本文设计的深度生成对抗网络结构为基础,分析图像补全算法的运算细节,设计IP,采用SOC软硬结合的方法在ZedBoard平台上实现图像补全功能。由于网络运算的核心部分卷积运算具有复杂性、可重复性较强的特点,因此采用并行设计将在一定程度上降低功耗、提高运算速度。首先,提取网络结构参数,将浮点数定点化便于FPGA运算;其次,设计卷积计算IP核,进行blockdesign,使用FPGA完成卷积运算过程;最后,进行ARM端设计,完成多层卷积间的数据控制。完成SOC设计后进行联合测试,验证图像补全的效果,同算法结果对比说明SOC设计实现了上述算法完成了图像补全任务。
其他文献
现实世界中,多目标优化问题无处不在。目标数为2和3时,我们称为多目标优化问题,当目标数大于3时,我们称之为超多目标优化问题。经过这些年的不断探索,多目标优化算法在理论层面以及实际应用中都取得了不错的进展,但对于超多目标优化问题来讲,很难获得较好的Pareto前沿。因此,如何保证种群解集的收敛性和多样性成为提升算法性能的关键。头脑风暴优化算法是基于群体迭代搜索的一种智能优化算法,具有模型简单、收敛迅
在企业内部层面提升上海民营企业的创新能力,要培育创新型企业家精神,积极引导企业技术创新、产品创新、管理创新、制度创新、观念创新,为企业创新发展奠定基础。要推动创新人才队伍建设,培育、引进科技型创新人才,采取积极措施激发其创新精神,推动企业创新发展。要加强产品的研发力度,整合各种资源,突破关键核心技术,通过自主技术创新实现产品创新,提升企业在全球价值链中的地位。
近年来,无监督域自适应(Unsupervised Domain Adaptation,UDA)算法成为了深度迁移学习算法的研究热点,该算法要求仅源域数据有标签,目标域数据无标签。目前,大多数UDA算法都是针对单源无监督域自适应展开研究,然而在实际场景中,源域数据往往是通过各种来源获得的,不同来源获得的源域数据与目标域数据在特征分布上相似但相似程度有所不同,而且不同来源得到的源域数据在数据分布上也会
气动位置伺服系统采用空气作为介质,其结构简单、安全可靠、反应迅速等突出优点使它得到广泛关注,从汽车、地铁的开关门到人工呼吸器再到气动机器人,气动位置伺服系统在自动化各行业有着举足轻重的地位。由于气体存在可压缩,性的特点且气动位置伺服系统受到非线性的阀口流动及气缸存在摩擦力等因素的影响,给创建气动伺服系统的精确模型带来了重重困难,这给依靠模型的传统控制方法设计带来了困难。同时,气动系统时变的工作点和
符号回归作为一种数据驱动建模的重要方法,能够在很好的拟合训练数据的同时,给出显性的数学表达式便于分析。在数据驱动建模中,一味追求高拟合精度往往会造成模型的过拟合,通常表现为模型复杂度增大,对未知样本的预测能力降低,即模型的泛化性能差。因此,平衡模型精度与泛化能力的研究就很有意义。奥卡姆剃刀法则说明,越简单的模型越有可能接近数据隐含的规律。基于此,本文针对现有符号回归方法只关注模型的拟合能力而忽略模
图作为一种较复杂的数据结构类型能够表示众多含有丰富信息的特征结构,其可以被用来刻画各种复杂数据特征以及结构特征之间的作用关系。目前,图结构数据在社交网络、电子购物、化学分子以及交通网络等领域有着非常广泛的应用场景。对于图结构数据的分类任务是,根据图数据节点或结构特征,在无监督下学习一组标记图形结构特征之间的关系将图结构数据进行多分类,并且能够正确地预测看不见的图形标签或结构。由于图结构数据既含有节
双目立体视觉是被动式三维视觉方法中一种重要的深度感知技术,其目的是从不同视点获取的两幅图像中恢复出场景的三维结构,广泛应用于工业测量、无人驾驶、3D场景建模等领域。其中,立体匹配算法的准确性和计算效率是决定立体视觉系统能否鲁棒、实时应用的关键。与人工设计特征的传统立体匹配方法相比,基于深度学习的立体匹配算法在精度上取得了显著提升,但在弱纹理、倾斜平面以及深度不连续等病态区域上仍然不理想,且随着网络
在大型工业过程中,为准确优化控制工业过程,需要对系统的关键参数进行监测。由于环境、成本或技术等原因对部分关键参数难以使用硬件装置测量,而软测量技术能够实现对这些关键参数进行监测,因此软测量技术得到了广泛的应用。因为工业设备在空间上的分布式设置使得关键变量的测量顺序与过程变量的采样顺序不一致,进而表现出了由于信号、物料传输或者安装位置等问题引起的明显的时间延迟,且这种延时具有时变特性。为了更可靠的监
传统的深度学习方法在具有海量样本的图像分类问题上性能优异,但直接将这些方法应用于行人再识别等样本缺乏的图像分类领域则容易产生过拟合,致使网络分类性能大幅度下降。因此,研究小样本图像分类方法对有效减少这些领域对训练样本的依赖具有重要的意义和价值。在众多小样本图像分类算法中,深度度量学习因简单高效被广泛研究,其性能主要取决于特征选择和分类器的构造。为了进一步提升深度度量学习的分类效果,本文从特征提取器
图像重构作为图像处理领域中的重要研究课题得到了广泛的关注。本文将卷积神经网络算法应用于图像重构问题中,主要围绕图像去噪和CFA图像去马赛克两个方向展开研究,具体研究内容包括:(1)本文提出了一种基于多尺度特征融合的并行稠密残差去噪网络框架。该框架首先采用并行网络结构以结合不同深度的图像特征信息,每个网络分支由一系列连续的具有稠密连接的稠密残差块(Dense Residual Block,DRB)组