结构指导的单视角深度估计

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:djy0702
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单视角深度估计任务是计算机视觉领域中极具挑战性的问题之一,其目标是给定单张彩色图像,预测图像上每个像素点的深度值。由于三维空间到图像平面的透视投影,该任务存在天然的歧义性,是一个非适定问题。近年来,随着深度学习技术的发展,单视角深度估计的算法性能得到大幅提升,但仍然面临三个困难:(1)通过深度卷积神经网络预测的深度图缺乏对场景精细结构的描述;(2)深度标注数据获取难度大;(3)单视角深度估计网络的泛化性能差。在复杂场景中,结构反映了场景布局、物体形状以及场景中各个物体之间的关系等信息,对场景理解和三维重建等任务至关重要。结构信息对于单视角深度估计任务能够提供强有力的先验指导,改善单视角深度估计的性能。此外,结构信息对于单视角深度估计而言是更本质的空间信息,可以在不同的数据域之间共享,其普适性可以指导单视角深度估计网络实现更强的泛化能力。因此本文主要研究结构指导的单视角深度估计算法,以解决上述单视角深度估计任务中的三点挑战。本文的主要工作和贡献包括以下三个方面:·基于全监督结构化学习的单视角深度估计。精确恢复复杂场景中的多尺度几何结构是非常具有挑战的。在全监督学习的设定下,本文对深度估计网络中的深度解码端采用逐级残差预测,并对深度卷积神经网络进行结构化设计,提出了基于拉普拉斯金字塔结构化深度估计网络,由粗到细地恢复场景中各尺度的几何信息。为了减少信息损失,提出了自适应稠密特征融合模块,以此来恢复场景整体结构和精细物体边界。在公开的RGB-D数据集NYUD V2和KITTI上都取得了最优的平均度量精度,并且在视觉效果上,预测的深度图较好地保持了场景的精细结构和物体细节。·基于可泛化结构表征学习的单视角深度估计。为了缓解深度标注获取难、代价高的问题,可以利用合成数据替代真实数据来训练单视角深度估计网络。针对同一场景合成数据和真实数据的域偏移问题,本文研究如何利用结构信息来减少域偏移,从而提升单视角深度估计网络的泛化能力。结构信息可以在同一场景的合成数据和真实数据之间共享,通用性强。因此本文提出基于图像解耦的方法提取场景结构信息,并利用基于深度特定结构的可泛化表征学习来改善深度估计的泛化能力,该结构化表征也揭示了单视角深度估计最本质的特征。实验验证了在未使用任何真实数据的情况下,在包括NYUD V2、KITTI和Cityscapes等多个真实场景数据集上都超过了使用真实数据训练的域自适应方法,有效验证了学习到的结构化表征具有极强的泛化能力。·场景自适应的单视角深度估计。由于合成数据和真实数据场景不同时,两者的域偏移问题不仅来源于风格差异,同时也来源于场景结构差异,之前的方法难以将在合成数据上训练的网络泛化到多个场景的真实数据。为突破这一限制,本文考虑一种场景自适应的合成数据到真实数据的泛化方法。本文利用混合场景的合成数据进行训练,但域内场景结构间的巨大差异会导致网络训练难以收敛到全局最优点。为此本文提出学习场景自适应的结构表征,不但可以缓解域间的风格差异引起的域偏移问题,而且可以缓解域内场景结构之间的差异导致网络训练难以收敛到全局最优的问题。通过直接泛化在不同场景的真实数据集上的定量和定性实验比较,验证了所提方法的有效性和不同场景下的泛化能力。
其他文献
随着信息技术和电子商务的发展,互联网已经成为国民日常生活不可或缺的一部分,对国民的生活质量产生极大影响。然而,互联网上的海量信息在丰富人们的生活、满足国民日益增长的物质和精神需求的同时,也对用户个性化筛选信息、平台精准投放信息带来了巨大挑战。个性化推荐系统作为大数据时代缓解“信息过载”问题的有效工具,已经成为了支撑互联网智能、部署实现高端高效智能经济的关键技术之一。个性化推荐的核心之一是发掘用户意
生物质燃料的碳中和与可再生属性,可为实现“双碳”战略目标发挥积极作用。第二代含氧生物质燃料2-甲基四氢呋喃(2-MTHF)是一种环醚,近年来,其因清洁、持续和可再生等特点被认为是极具潜力的替代燃料。制备工艺取得的重大突破将推动其广泛应用。燃料在实际生产、使用及存储过程中,一般采用加压方式。如遇意外,极易发生高压泄漏等火灾事故。因此,开展2-MTHF在不同压力下预混燃烧特性及火焰抑制的研究,对其火灾
碰撞造山带记录了大陆碰撞、俯冲和折返等多阶段地质过程,其中地壳发生了明显的变形作用、变质作用、深熔作用和岩浆作用,一直以来都是研究大陆动力学和发展板块构造理论的关键领域。汇聚大陆边缘的区域变质岩作为碰撞造山作用的产物,可以记录造山带形成和演化的重要信息。喜马拉雅造山带作为世界上规模最大、最年轻的碰撞造山带,不仅记录了印度大陆与欧亚大陆碰撞过程相关的高压-超高压变质过程,还保存了碰撞后阶段的高温-超
热塑性材料具有重量轻、导热系数低、易加工、价格低廉等优点,广泛应用于建筑外墙保温系统、管道、家具、玩具、包装、医疗健康及高科技等领域中。但易燃、热值高、受热熔融软化的特点使其具有较大的火灾危险性,近年来与之相关的火灾事故屡见报道,造成了重大的人员伤亡和财产损失。本论文以PMMA(聚甲基丙烯酸甲酯,Poly(methyl methacrylate))材料为主要研究对象,应用小尺寸实验与理论分析相结合
近年来,学龄前儿童数量不断增加,研究学龄前儿童群体的疏散运动特性,对提高学龄前儿童疏散效率与安全水平具有重要意义。瓶颈作为行人通行设施中的典型结构,因其对行人流的约束已获得了广泛关注。然而,当前的瓶颈疏散研究忽略了学龄前儿童与成年人的疏散特性差异,研究学龄前儿童的瓶颈疏散特性能够为儿童活动场所的安全及应急预案设计提供支撑。本文通过开展可控实验,研究了学龄前儿童瓶颈疏散的疏散运动特性,量化了瓶颈宽度
<正>腹痛是常见病多发病,疼痛的来源可以是腹腔脏器,也可以是腹部壁层神经引起,目前内外科医师更注重于前者,而极易将最浅表的腹壁疼痛误为腹腔脏器病变所致。现将作者近三年来54例脊柱相关性腹痛的诊治体会报告如下。
会议
上转换纳米粒子(upconversionnanoparticles,UCNPs)能够将低能量近红外(near infrared,NIR)激发光转换成高能量可见或紫外光。近红外激发的UCNPs具有近红外激发、光稳定性优异、信噪比高和多色发射等优点,在生物医学、环境检测、食品安全等领域具有广泛应用。然而,传统上转换发光探针具有发光共振能量转移(luminescence resonance energy
目前受控热核聚变能被认为是能够有效解决人类未来能源需求的清洁新能源,燃烧等离子体、托卡马克聚变堆工程技术、聚变堆各类材料是影响托卡马克聚变堆走向产业化应用的三个主要方面。在磁约束热核聚变装置中,面向等离子体部件的表面材料会与等离子体发生作用,形成杂质进入等离子体,杂质辐射对高参数等离子体稳定运行产生重要影响。前期大多数中大型托卡马克实验装置均使用碳瓦作为第一壁和偏滤器靶板表面材料,在未来托卡马克聚
随着海上运输业的蓬勃发展,船舶火灾安全问题日渐凸显。根据事故统计船舶火灾多发于机舱,而七成以上的船舶机舱火灾事故是发生在海上航行过程中。海上航行中的船舶不可避免会受到海风的作用,事故分析表明环境风影响下的船舶火灾危害性更大。前人研究中通常将船舶舱室简化为顶部开口舱室,但鲜少考虑环境风这一外界因素的影响。因此,研究环境风对顶部开口舱室火灾的影响,能够为此类船舶火灾事故的预防和应急救援对策的制定提供理
黄热病毒家族的寨卡病毒(ZikaVirus,ZIKV)由于导致人类神经系统疾病如小头畸形和Guillain-Barré综合征等而受到广泛关注。寨卡病毒是一种单链正义RNA病毒,其RNA基因组编码的非结构蛋白3(NS3)包含一个蛋白酶结构域和一个解旋酶结构域,N端丝氨酸蛋白酶结构域需要与NS2B蛋白因子相互作用才能发挥活性;C端解旋酶结构域在核糖核苷三磷酸(Nucleoside triphospha