基于注意力机制和匹配测度学习的立体视觉系统设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wpqh918
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
双目立体匹配在计算机视觉领域中是一个基础且具有挑战性的任务,该任务在自动驾驶、稠密重建以及其他深度相关的场景中都具有广泛的应用。语义上下文信息可以为立体匹配任务提供区域性的支持,立体匹配中同一语义是指深度相似,通过聚合与当前像素点深度相似的特征信息可以增强当前特征点的可区分度,高区分度的特征可以有效地减少误匹配的几率,这对于实现在诸如遮挡、弱纹理等病态区域的精确匹配是至关重要的。同时设计合适的立体匹配测度构造代价立方体(Costvolume)以充分利用网络学习的丰富的特征信息也是一个重点研究方向。传统方法多采用一些手工制定的算法去获得语义上下文信息,这类方法通常只适用于某些特定的场景,因此具有严重的泛化局限性。卷积神经网络的出现大大地提升了学习特征表示的能力,同时涌现出了很多基于多尺度特征聚合来捕获语义上下文信息的方法,这些方法相比于传统方法具有更好的性能,但是由于固定大小和形状的卷积和池化操作仍然限制了网络进行几何转换的能力,导致获取的上下文信息不够精准和全面。在本文中,我们首先提出了一种基于可变形的自注意力双目立体匹配网络来捕获精确的全局上下文信息。自注意力模块通过自适应地聚合全局范围内的深度关联特征来获取上下文信息以增强空间维的特征表示,我们进一步对自注意力机制处理后的特征进行可变形卷积操作以提升网络处理复杂形变的能力,这有助于精细化边界区域像素的辨别性表示进而缓解边界视差模糊和耦合问题。自注意力机制模型虽然精度高但是会消耗大量的计算资源,针对这个弊端本文提出了多种自注意力机制的变种模型,在保证一定的匹配精度基础上尽可能地优化时间效率。在获取了丰富的特征信息后,需要通过计算待匹配特征点对之间的匹配代价去构造Cost volume,对Cost volume进行进一步处理可获得最终视差估计结果。传统方法中基于互相关、互信息以及Census变换等计算匹配代价的方式取得了很好的效果但是直接将这些方法迁移到神经网络难以达到理想的效果。当前基于神经网络的双目立体匹配的算法大多采用一种可学习的匹配测度来构造Cost volume,之后再通过3D卷积对其进行正则化来拟合传统方法中的代价聚合操作。本文借鉴这种思想提出了多种基于学习的匹配测度改善了当前算法的弊端。通过组合不同的可变形注意力机制模块和基于学习的匹配测度模块可以组成不同的网络架构进而满足不同的应用场景需求。在SceneFlow和KITTI测试集上的实验结果表明,本文提出的精度最高的基于可变形注意力机制的双目立体匹配网络在两个数据集上相对于基准模型都有明显的精度提升。同时该模型在精度指标上超越了近年来的相似研究方向上的多个网络架构。
其他文献
图像分割就是根据图像特征把图像分成若干个独立的具有区域特质的子区域并提取感兴趣目标的技术,分割结果在医学、交通、农业等领域有着广泛的应用,至今仍然是计算机视觉任务中极具挑战性的任务和研究的热点问题。传统民族纹饰图像具有丰富的文化内涵,采用分割技术将服饰上的纹饰图案快速完整地分割出来对研究和挖掘其文化价值具有重要的学术价值和现实意义。虽然目前已存在众多分割算法,但难以满足对传统民族纹饰图像分割的实际
太空探索对国家安全防护与国民经济发展具有非常重要的现实意义。太空探索过程中,已经有大量的航天器被发射到浩瀚宇宙,这些航天器被广泛应用在科学研究、军事竞争、资源探索、数据通信、生产生活等多个领域。其中,人造地球卫星因为其种类繁多,作用广泛,成本相对较低,使用寿命长的特点,逐渐成为各国争夺太空资源的重要手段。各国在大力发展自身空间技术的同时,都在积极开展反卫星技术研究。目前已有多国进行了针对非合作卫星
模块化自重构机器人又被称为可变形机器人,它由若干个具有连接机构的智能机器人相连而成。随着智能机器人在整个系统中所处位置的变化,自重构机器人的构型也随之改变。这使得其可灵活快速穿行于动态未知的环境,具有很强的适应能力。但是,在野外复杂的工作环境之中,任何一种特定的构型都无法适应环境,自重构机器人就需要在几种特定构型之间不停地变换才能顺利完成任务。关于自重构机器人如何快速高效地从一种构型变换到另一种构
征地拆迁费用是高速公路项目投资的重要组成部分,贯穿整个项目建设的始终,直接影响施工进度.现如今,浙江省境内高速公路的征地拆迁成本上升明显,温州市境内尤为突出.导致成本上升的主要原因包括相关税收政策的调整、相关设计存在漏项,以及各种利益关系等.本文探讨了合理控制温州市高速公路征地拆迁成本的解决办法,以期为其他高速公路征地拆迁工作提供有效借鉴经验.
空气动力学作为飞行器的根基,在20世纪中叶成为力学中的带头学科.钱学森先生早年对高速空气动力学的研究为超声速和高超声速飞行器研究奠定了理论基础,指明了超声速和高超声速飞行器的发展方向.钱学森在空气动力学的学术地位远超他在其他学科中的地位,可以说,在空气动力学领域,到目前为止还没有一个科学家能够达到与钱学森先生同等的地位.