面向硬件实现的高性能去马赛克方法研究

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:dswlbwb1
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
受限于图像传感器的实现代价,常见的彩色成像系统仅采集单通道的黑白图像,而彩色信息则通过颜色滤波矩阵(Color Filter Array,CFA)获取。针对红绿蓝三原色图像传感器,CFA将三种不同的颜色信息交织在一起,使得原始的图像均呈现马赛克状。从原始的CFA图像恢复三通道彩色图像的过程称为CFA插值(CFA Interpolation)或者去马赛克(Demosaicing)。去马赛克是整个相机图像处理中最前端,也是最关键的环节之一。如果处理不当,会带来伪影(Artifact)或者伪彩色(Color Aliasing),在后续的模块中很难恢复出来。过去二十多年,伴随着数字成像的快速发展,去马赛克一直是一个活跃的研究方向。在学术界和工业界的共同努力下,去马赛克研究取得了长足的进步,在标准数据集上的主观和客观的图像质量逐年提升。但学术界的研究与工业界的需求之间依然存在比较大的差距。工业界要求硬件平台上算法实时、代价适中、且涉及尽可能少的行缓冲数据,同时也要求高质量的去马赛克效果,尤其关注主观评价。但学术界一般以PSNR/SSIM等客观评价指标作为最重要的评价指标,研究方法常常忽略硬件实现性,比如使用很大的处理窗口甚至需要缓存整张图、计算复杂度高甚至需要迭代、参数规模较大,因此这些方法不适用于硬件平台实现。在所有的CFA方法中,Bayer CFA是最重要也是使用最广泛的。本文重点研究基于Bayer CFA的面向硬件平台的图像去马赛克算法,在硬件平台允许的复杂度范围内设计高效的去马赛克算法,主要工作如下:(1)提出了一种面向无噪声图像的去马赛克算法。此方向采用无噪声的Bayer图像作为输入,是学术界去马赛克最早最主流的研究方向。由于目标真实图像有三分之一的信息跟原始图像是相同的,因此每个点的缺失信息可用已知采样通道信息来做细调。本文深入分析了 Bayer图像的统计特性以及传统方法在挑战性场景出错的根源,提出了一种新的融合梯度权重和颜色权重的高性能高效去马赛克算法。该方法在满足硬件实现的条件下,解决了拉链噪声、伪彩色、伪影、T型封口等问题,且在主观和客观质量评价上都优于其他传统方法,并接近于复杂度非常高的深度学习算法。(2)提出了一种基于传统方法的联合去噪和去马赛克算法。在工业界应用中,传感器输出的Bayer图像总常含有噪声,需要在去马赛克时考虑噪声的影响,同时去除图像噪声。本文提出了一种面向硬件实现的低复杂度联合去噪和去马赛克的算法,利用插值过程中产生的方向信息同时去噪和去马赛克。为了更好地沿着边缘的方向去噪,本文提出了一种基于投票表决的方向权重计算方法和一种新的边缘保持的二维小波去噪算法。在绿色通道插值后,用方向小波变换去除绿色通道上的噪声,然后插值出红色和蓝色通道。最后在色差通道对红色和蓝色分量采用同样的方向权重进行方向小波去噪。相对于其他传统联合去噪和去马赛克算法,本文的方法在时间复杂度、主观图像质量和客观PSNR/SSIM指标上均有一定的优势。(3)提出了一种基于混合方法的联合去噪和去马赛克算法。鉴于传统方法在去噪上的劣势,以及纯深度学习方案存在的代价过高等问题,本文提出一种结合传统方法和神经网络方法的混合式联合去噪去马赛克算法。本文的算法首先对含噪声的Bayer图像进行去马赛克,采用的算法与面向无噪声图像的去马赛克算法类似,但去除了所有的后处理操作。然后本文设计了一个轻量级的神经网络结构,输入窗口仅为26×26,参数量和运算量也远小于其他深度神经网络方法。实验证明本文的方法在主观图像质量和客观PSNR/SSIM上均优于其他传统方法。与经典深度神经网络方法相比,本文方法以极低的代价,取得了非常接近的效果。
其他文献
学位
摘锂离子电池由于具有高能量密度、长循环寿命等优点,被广泛应用于电动汽车、储能、便携式电子产品等领域。电极材料是制约锂离子电池发展的关键。碳材料因为容量高、放电平台低、来源广泛等优点成为目前商业化锂离子电池负极材料的主流,主要包括石墨、无定形碳。文章总结了锂离子电池碳负极材料的发展历史,重点对石墨、无定型碳的储锂机理进行了分析。
一些钴基化合物因具有较高的理论容量、丰富的氧化还原反应和稳定的循环性能而作为锂离子电池负极材料也在近几年来迅速发展。由于转化反应的不可逆性以及在转化反应过程中的体积变化限制了这类材料的实际应用。本文将介绍近年来钴基负极锂离子电池材料研究进展,阐述各种钴基化合物的合成方法、储锂机制、纳米结构材料的制备及其用于锂离子电池负极的电化学性能,包括可逆容量、倍率性能、循环性能等等。
为了研究汽车在高速行驶中前风挡饰条结构对汽车风噪性能的影响,运用PowerFLOW、PowerACOUSTICS对某车型安装槽型饰条、实心饰条、不安装饰条3种条件下风噪性能进行计算分析,并分别对装配10 mm、20 mm、30 mm、40 mm前风挡饰条宽度的车型分析,研究饰条结构和宽度对汽车风噪的影响。分析结果表明,汽车的前风挡饰条可以减缓气流对A柱的冲击,降低涡流强度,从而降低风噪噪声源强度,
企业在对固定资产进行管理时,需要结合《会计法》的相关规定,并且也要做好税务的处理工作。而《会计法》和税务处理法关于固定资产后续支出的管理方面存在着一定的差异,在进行固定资产的管理时需要结合会计法和税务处理法额相关内容进行区别处理。本文主要围绕固定资产后续支出会计与税务处理差异展开分析和论述,首先,分析阐述固定资产后续支出的概念;其次,分析会计与税务在处理固定资产后续支出时的不同;最后提出会计处理和
各种电子设备的普及和发展,对不同应用场合下设备的稳定供电提出了更高的要求。相比于线性稳压器,开关电源因为其较高的效率、丰富的拓扑结构被广泛运用于各种电力电子设备。电感和变压器等磁性器件是开关电源的关键元件,小尺寸、高功率密度、低成本等要求给磁性器件设计和制造带来了较高的挑战。在现有的磁性器件中,分立的磁性器件通常占有较大体积,很难满足小型化电子设备需求。大部分基于印制电路板工艺的磁性器件受限于线条
高流量呼吸湿化治疗仪输出结果的准确与否对经鼻高流量湿化氧疗结果有着直接影响,为尽可能避免相关不良事件的发生,针对其校准方法的缺失,研究其校准方法。通过对高流量呼吸湿化治疗仪的工作原理、适用和参照的国内外技术标准现状和关键参数量值溯源体系的搭建进行可行性分析,探讨其主要计量特性指标,确定具体的校准方法,并进行了实验验证。依据校准方法对高流量呼吸湿化治疗仪吸气流量、吸气氧浓度和吸气温度示值误差的验证结
目的:探究脑电生物反馈治疗仪在慢性精神分裂症伴迟发性运动障碍患者中的应用效果。方法:在本院2018年2月~2019年12月收治的慢性精神分裂症伴发迟发性运动障碍患者中选出155例为研究对象,根据患者的治疗意愿分组,对照组患者给予常规药物治疗,观察组患者在此基础上给予脑电生物反馈治疗,对比两组患者的总有效率等。结果:观察组治疗总有效率高于对照组患者的总有效率,P0.05,未发生严重不良反应。结论:脑
目的 探讨音乐疗法联合个体干预措施在预防胸外科手术术后患者苏醒期躁动中的应用。方法 选取行胸腔镜切除术患者88例,ASAⅠ~Ⅱ级,按入院日期单、双号分为2组,各44例,单号为观察组,双号为对照组,观察组实施音乐疗法联合个体干预措施,对照组患者给予常规治疗,比较2组患者苏醒期心率(HR)、平均动脉压(MAP)及术后苏醒期躁动的发生率。结果 比较2组患者T0~T5时点的HR:对照组组内患者在插管时的H
2022年3月23日,国网湖北咸宁供电公司启动新型电力负荷管理系统建设,通过电力需求侧负荷精准管理,保障电力供应安全。新型电力负荷管理系统可以实现数据采集、负荷控制、需求侧管理与服务支持、电力营销管理支持等功能。咸宁供电公司在全市有序用电方案客户、需求响应签约客户、
期刊