经验模态分解及其在图像增强中的应用研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:hghyxx_0918
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像增强是一种消除图像成像过程中的噪声、运动模糊等干扰,改善图像视觉效果的底层视觉任务。经验模态分解(Empirical Mode Decomposition,EMD)是一种多尺度分解技术,可将非线性非平稳信号自适应地分解为若干不同尺度的分量。由于其自适应分解的特性,EMD及其拓展算法广泛应用于各种底层图像图像任务中。本文重点研究了经验模态分解在去噪和去模糊任务中的应用,将EMD与深度学习相结合,探索了EMD分解结果的强先验知识在图像去噪和图像去模糊深度网络中的有效性,具体如下:(1)针对二维经验模态分解和多元经验模态分解用于多图像分析时分别存在的唯一性、模式混叠问题和空间信息丢失问题,提出了二维多元经验模态分解算法(Bidimensional Multivariate Empirical Mode Decomposition,BMEMD)。该算法将二维多元图像投影至超球面的多个特征方向;通过每个方向投影图像的极值曲面估计二维多元图像的局部均值,解决了多元信号求解极值难的问题;使用二维筛选过程分解本征模态函数,良好保持了像素间的空间联系。此外,通过一种基于Hammersley序列的低差异投影向量生成方法可以得到在单位超球面上分布更均匀的投影向量,保证了局部均值估计值的准确性。通过合成纹理图像分解、多聚焦图像的分解与去模糊实验验证了BMEMD算法在多源图像分析中的有效性。(2)针对基于深度学习的图像去噪方法高质量训练数据难以收集,导致其在真实场景中泛化性较差的问题,提出了用于多帧图像去噪的经验模态分解增强的核预测网络(Empirical Mode Decomposition Enhanced Kernel Prediction Network,EMD-KPN)。首先,EMD-KPN使用BMEMD对含噪声图像序列进行噪声估计,并将噪声估计一同作为输入;其次,EMDKPN通过卷积神经网络提取特征,并通过注意力模块融合帧间时序特征和帧内空间特征;最后,EMD-KPN直接预测干净图像的粗略估计,并通过空间自适应去噪核完善高频信息信息。为了确保训练稳定性和收敛速度,BMEMD将干净图像序列分解结果的高频分量用于空间自适应去噪核的弱监督训练标签。通过不同噪声水平的合成数据实验以及真实场景下的图像去噪实验,验证了EMD-KPN的性能优势,说明了EMD提供的先验知识在图像去噪任务中的可行性。(3)为了进一步验证EMD分解结果中的强先验知识在不同任务中的有效性,提出了一种用于视频去模糊的双阶段时空循环神经网络(Dual-stage Temporal Spatial Recurrent Neural Network,DTSRNN)。针对直接通过模糊图像预测清晰图像的方法存在面临巨大的拟合难度问题,首先,由于不同感受野的特征对于不同信息的响应不同,DTSRNN使用双阶段网络分别预测高频细节信息和语义信息,从而减轻了学习负担;其次,DTSRNN以连续视频帧为输入,使用循环神经网络高效地完成时序特征的传递和融合,并通过时序注意力机制进一步调整特征,以避免场景突变、异常运动等情况造成的特征污染。此外,将BMEMD对清晰视频的分解结果用于双阶段网络的弱监督训练标签,进一步改善了DTSRNN的训练稳定性。通过在学术公开数据集和真实运动模糊视频上的实验,验证了DTSRNN优越的去模糊性能,阐释了EMD算法在视频去模糊任务中的有效性。综上所述,本文提出二维多元经验模态分解算法,验证了其在多源图像分析中的优势,并将其与深度学习相结合,阐释了BMEMD分解结果中的强先验知识在基于深度学习的图像去噪、图像去模糊任务中的可行性。为经验模态分解以及基于深度学习的图像增强算法研究提供了新的视角。
其他文献
小样本学习拥有从少量样本中学习和概括的能力,是机器学习发展出的一个新的子领域。图神经网络通过消息传递迭代地进行邻域特征聚合,可以表示数据之间的复杂交互。由于小样本学习需要充分利用有限样本之间的关系,所以图神经网络很自然地有能力解决小样本学习问题。本文围绕基于图神经网络的小样本学习模型展开研究,分析信息传播所考虑的节点和边特征,研究图结构和高阶信息对模型性能的影响。本文的主要工作如下:首先,介绍了小
城市中个体的出行轨迹数据可以为城市职住平衡、交通优化、信息普查等方面的研究提供大量信息,从而达到促进城市居民通勤便利度提升、减少机动车出行等目的。随着通信技术的快速发展,手机信令数据逐渐应用于出行轨迹提取方法的研究中,本文对基于手机信令数据的出行轨迹提取方法进行研究,为手机信令数据进一步应用于职住平衡和城市交通研究提供更高质量的信息,主要研究内容如下:首先,通过分析手机信令数据的定位原理和分布特征
在经济全球化迅猛发展的背景下,我国经济总体排名跃居世界前列,但是品牌知名度、品牌盈利能力等与西方发达国家品牌相比较仍然存在较大差距。一方面,新的经济形势下,大量新服务和新业态涌出,不断提高的国民收入以及更开放的对外贸易政策等均为中国品牌国际化提供了战略契机,企业品牌国际化面临着新的竞争环境。另一方面,随着消费市场从低价竞争走向品牌竞争,出口企业和政府都希望以通过塑造国际化品牌的方式拓展国际市场,增
改善农村人居环境,推进农村人居环境整治工作,是践行习近平生态文明思想的重要举措,对于实施乡村振兴战略、建设“美丽乡村”、打赢脱贫攻坚战确保如期实现全面小康都具有重要意义。随着中央相关政策的出台,农村人居环境整治得以全面展开。浙江省作为先行地区,开展的“千村示范、万村整治”工程成效较为显著,为全国农村人居环境整治工作提供了参照。但是当前我国农村人居环境仍然存在不少问题,突出表现为整体供给质量不高,开
当今世界的发展以“经济全球化”为特征,全球经济一体化的趋势也体现为科技互通以及文化交流。中西方心理学研究模式和成果的相互借鉴,积极交流,对于发展我国的心理学,建立和完善独立的心理学研究和实践体系有着十分重要的意义。笔者受实习单位所托,初译The influence of orthographic experiences on the development of phonological prep
智能网联作为行业发展热点,将推动公共交通行业转型升级,改变未来公共交通运营和出行方式。智能网联技术使获取准确的公交车辆运行数据有了现实基础,但是受到交通环境等其他因素的影响,车辆的运行具有不稳定性和复杂性。准确预测公交车辆的到站时间,可以提高车辆运行效率,为车辆指挥调度和管理提供决策依据。在不同时段,公交车辆的到站时间会有明显不同,这也增加了预测的难度,通过对不同时段的公交车辆到站时间进行精准预测
桥梁对公路交通运输及社会发展起着重要作用,尤其是大跨径桥梁,具有重要的社会意义和战略地位,所以有必要对桥塔结构进行研究,以保证桥梁结构处于平衡状态。随着交通行业的发展,斜拉桥向大跨度发展,结构变得更加“轻”与“柔”。故对斜拉桥桥塔进行承载能力分析时应计入几何非线性和材料非线性的影响,在有限元分析中,可将几何非线性引起的次内力称为二阶效应。设计阶段,通常采用偏心距增大系数来考虑二阶效应的影响。本文为
目的 研究临床分离肺炎克雷伯菌对碳青霉烯类药物的分子耐药机制,为临床合理用药提供理论及实验依据。方法 收集2020年1月—2020年12月皖南医学院弋矶山医院临床分离非重复肺炎克雷伯菌株923株,利用全自动微生物分析系统进行菌种鉴定及药敏分析,并用16S rRNA PCR扩增产物测序验证菌种,K-B法复核碳青霉烯类药物耐药情况;胶体金法对耐碳青霉烯类肺炎克雷伯菌(carbapenem-resist
随着5G的大规模商用,标志着我国的5G融合应用已经由探索阶段转为落地阶段。5G的应用场景不断丰富,融合程度不断加大,发展方向不断清晰。然而其应用上的局限性逐渐显露,虽然5G具有更高速率和更低时延,可以支持高清视频、AR/VR等新业务应用,但仍然无法满足极致增强现实(Augmented Reality,AR)/虚拟现实(Virtual Reality,VR)、全息通信等更应用场景的的速率需求。由此提
细胞色素P450酶(P450或CYPs)是一类含血红素的单加氧酶,与生物内源性物质和外来化学物质的氧化代谢相关。CYP3A5与CYP2D6作为P450重要亚型酶参与多种药物和致癌物的氧化代谢,由于受遗传多态性及环境等因素的影响,酶的表达在不同个体间存在明显差异。这一个体差异极大的限制了对酶在药物代谢中的了解,且很多疾病和癌症的发生与酶活性的改变有关。因此,需要开发出一种有效便捷的方法检测CYP3A