纹理图像引导的深度图像超分辨率重建研究

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:paullove0906
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维视频以其广阔的观看自由度、沉浸式的视觉效果,极大地提升了人们的视觉体验,受到了工业界和学术界的广泛关注。然而,受限于信道带宽和深度相机的采集性能,采集的深度图像比纹理图像的分辨率低,严重影响了三维视频的重建质量,降低了用户的观看体验。在三维视频采集过程中,高分辨率的纹理图像更易获得,且与同一场景中的深度图像具有边缘相似性。因此,本文拟利用纹理图像的边缘信息,开展深度图像超分辨率重建的相关工作。主要研究内容如下:(1)提出了基于纹理-深度变换的深度图像超分辨率算法。针对纹理图像和深度图像的边缘部分不一致造成的纹理噪声干扰问题,本文设计了纹理-深度变换模块,变换所提取的纹理特征,以匹配深度特征的空间结构信息。在此基础上,应用多尺度融合特征增强策略,充分利用不同尺度的边缘引导信息,重建高分辨率的深度图像。在测试数据集上,本文算法重建深度图像的均方根误差值比现有的深度图像超分辨率算法降低了0.20(2倍)、0.27(4倍)和0.20(8倍)以上。(2)提出了基于分级特征反馈融合的深度图像超分辨率算法。针对纹理特征与深度特征在融合时未能有效利用多尺度特征间的关联性导致空间结构信息丢失的问题,本文构建了分级特征反馈融合网络,利用并行金字塔结构挖掘纹理-深度在不同尺度下的边缘特征,构建纹理-深度的分层特征表示。在此基础上,应用分级特征的反馈式融合策略,综合利用不同尺度下的结构信息,生成边缘引导图像,指引深度图像的超分辨率重建。实验结果表明,与对比算法相比,该算法实现了深度图像的主、客观重建质量的提升。(3)提出了基于结构一致的无监督深度图像超分辨率算法。现实场景中难以采集高分辨率的深度图像,大部分超分辨算法采用合成的深度图像来构造训练集,不符合实际应用的需求。本文提出了无监督深度图像超分辨率算法,利用纹理图像与深度图像的结构相似性,挖掘纹理图像与深度图像一致的边缘结构信息,并以此为依据约束深度图像的超分辨率重建过程。在此基础上,采用构建训练伪对的方法,构造深度图像超分辨率的训练集,实现超分辨率网络的无监督训练。实验结果验证了所提算法的有效性。
其他文献
随着分布式发电技术的成熟和微电网的形成,配电网也有原来单一的受电方转变为主动配电网。并网微电网在配电网中的增多,影响到原交流配电网的运行,如有功和无功功率分布的变化、以及谐波的分析,严重的话还会影响到稳定。不同微电网的组成,不同的接入设备,由于其性能的差异,对配电网运行的影响不尽相同。电力电子变压器作为一种集多种功能于一身、且具有灵活接口新型设备,在连接微电网和主网时对电网的运行产生怎样的影响,更
随着城市规模的扩大和轨道交通的快速发展,环境振动敏感区逐渐增加,振动要求日渐严苛。如果在轨道交通的规划阶段快速的甄别减振敏感区范围及要求,可使线路尽量避免穿越振动敏感区,对于某些振动极其敏感地段则尽量避让,不仅可以为轨道交通选线提供依据,还为未来的减振措施设计提供了一定的依据。但是这也同样面临着预测范围广、效率高、预测结果较为准确等要求。目前常用的方法为经验公式法,存在预测精度不高,对于一些在特定
随着网络技术的飞速发展,在真实的业务场景中不同企业或不同组织之间数据交换的需求场景越来越多,因此对于共享数据的访问控制也越来越受到人们的重视。在传统的云存储系统中,通常采用集中式访问控制架构,容易受到黑客的攻击,存在着单点故障、隐私泄露的问题。同时,存储在云服务器中的共享数据也存在潜在的被伪造,被篡改的风险。在真实的业务场景中,跨组织间进行数据存取的流程繁琐且耗时,急需实现业务流程自动化。另一方面
信息在数字通信的传输过程中,会受到噪声和干扰的影响,从而产生误码。通过信道编码技术,可降低上述影响,降低误码率。极化码是一种新型信道编码方法,已经被理论证实可以达到香农限极限。它具有编译码计算复杂度低、生成矩阵固定、误码率低等优点,已经被3GPP批准为5G控制信道纠错编码的核心编码技术。然而,极化码在短码下译码性能不高,而目前面向极化码所开发的串行消除(successive cancellatio
企业的库存管理水平直接影响其自身的成本、利润和顾客满意度。消费者需求的不确定性使得企业在制定商品库存决策时面临重大挑战。与此同时,随着电子商务的发展和企业信息化进程的加快,电商企业收集到的数据日益丰富,其中商品售价、促销力度、商品类别等多种类型的辅助信息,都可能影响商品的需求。挖掘并充分运用这些附属信息的价值以辅助电商企业进行库存决策,从而改善企业自身库存状况,具有重要意义。基于上述背景,本文研究
随着物质生活水平的不断提高以及电子商务的蓬勃发展,消费者对冷链物流的需求急剧上升,冷链物流产业规模持续扩大。与此同时,冷链物流高耗能、高排放的特点也导致其温室气体排放总量不断提升,对气候环境治理带来了不利影响。为有效应对这一问题,我国政府从两个方面进行了调控,一是建立了碳排放权交易机制,通过经济手段引导企业进行节能减排投资与改造;二是大力提倡新能源车辆应用,以缓解在运输、配送等过程中的温室气体排放
药物是一种被广泛研究的生物医学实体,大量被应用于临床治疗当中。药物不仅可以治愈疾病,有时也会产生一些不良反应,损伤病人的身体,严重者可能诱发其他疾病。因此,研究药物与症状、疾病等表型之间的相互关系至关重要。如今,生物医学文献是最新、最全面的药物知识来源。但如何从海量的生物医学文献中获取临床需要的、有价值的药物知识并加以利用还存在如下挑战:(1)生物医学文献都是以非结构化的文本形式记载,人工处理和提
牙买加是一个位于加勒比海的岛国。牙买加城市交通公司(JUTC)由政府拥有并经营的公共汽车系统,在金斯敦都市交通区(KMTR)提供服务。JUTC的任务是为乘客提供安全可靠的交通服务。本研究的目标是确定网络的关键组成部分,以指导运输系统的维护和扩展。本文利用Python Network X包对牙买加公交系统进行网络结构建模,并借助模拟分析该网络的故障和攻击鲁棒性。网络共有864个节点和1049条边。网
目的分析住院病案首页中癫痫编码现状,提出相应措施提升编码质量。方法在某三级医院住院病案首页管理系统中以主要诊断编码包含癫痫G40和癫痫持续状态G41为检索条件,筛选2020年1月1日至2020年12月31日神经内、外科出院病案,由神经科医师参考临床诊疗指南癫痫分册及2017版国际抗癫痫联盟(International League Against Epilepsy, ILAE)癫痫分类作为癫痫诊断
在站城融合的背景下,地下火车站发展迅速,与周围城市的过渡空间在城市核心区地上地下开发、承载大规模商务客流方面具有关键作用。除了日益增多的客流外,当前地下火车站还面临着如何在站城融合的快速发展中应对各种变化,如未来站域开发、客站空间利用以及客站服务性等多方面挑战,这对过渡空间的弹性设计提出了较高的要求。然而,作为城市核心区重要的地下综合交通换乘枢纽,建设难度大,改造成本高。因此研究如何对过渡空间弹性