基于深度学习的单视图三维重建算法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:lanangel1234
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人类视觉系统所拥有的一项非凡能力是:仅通过单个视图推理出物体的三维形状。即使在缺乏立体视觉或运动的几何提示情况下,人类视觉系统也能够推断出详细的表面或完整的隐藏细节。因此,理解图像的三维结构是许多计算机视觉应用的关键,三维图像比二维多出一维的信息,更能反映物体的细节纹理和空间位置信息,使得模型更加真实合理。在计算机视觉领域中,基于单视图的物体三维重建是一个长期存在且具有挑战性的研究问题,科研人员往往使用先验知识或引入合适的约束来进行物体模型的重建。随着深度学习技术的发展,其在图像处理工作中表现出了巨大的潜力,与传统方法相比,深度学习网络能够提取到二维图像的深层抽象特征,且可以进行端到端的训练。因此,研究并设计基于深度学习的三维重建网络具有深远意义。本文所做工作如下:(1)本文基于点云表示提出了一种新的网络架构来学习潜在空间中的概率分布,并提出了两种用于潜空间映射匹配的损失公式使得该分布能够从单视图中产生合理的点云输出,并且网络计算的参数量大幅度减小。在实验部分,基于Shape Net数据集,本方法的CD得分(5.55)与EMD得分(7.37)均优于经典点云生成网络PSGN。(2)本文基于单视图提出了一种新的结合注意力机制的三维重建网络,并且该网络通过加入渲染器,实现了无监督学习。该网络由三个部分组成,一部分是单视图的三维模型重建网络,另外一部分对原始的二维图像,通过CBAM注意力机制提取出更加重要的图像细节信息,该部分对生成的三维模型细节部分进行了有效补充。最后使用Soft Rasterizer渲染器,渲染出重建三维模型的二维图片,从而实现重建损失的计算。在实验部分,本文方法在Shape Net数据集上的Io U值(0.608)高于经典体素重建方法3D-R2N2得分(0.557),并且从实验结果可以看出对物体纤细的部位(比如桌腿、扶手等)有着良好的重建效果。同时,在Pascal VOC 3D+数据集中对真实世界图像的重建也有着良好的视觉效果,说明了本网络具有很好的适用性。
其他文献
在“中国制造2025”的背景下,我国制造业掀起了以机器人智能化为核心的研究浪潮。六自由度机械臂因为其可靠性高、通用性强等特点在制造业中被广泛运用,可是由于机械臂所在的工作环境里存在诸多不确定的因素,如何为机械臂规划出一条从起点到终点的无碰撞路径是机械臂研究方向的重难点问题。针对这一课题,本文以六自由度机械臂为研究对象,提出一种结合改进人工势场算法(Artifical Potential Field
蔡氏电路是一个典型非线性电路,其内部充满不确定性,可以产生丰富的混沌现象。混沌现象自提出以来就受到广泛关注,其在信息科学、生命科学、经济学、航空航天等领域都有重要应用。蔡氏电路在混沌理论和非线性电路之间建立联系,虽然此电路结构简单,但以其为控制对象,研究控制策略对电路中的不确定性和混沌现象进行补偿和同步具有重要意义,有利于混沌现象在各类电路系统中的工程应用。此外,关于不确定性控制策略的硬件电路设计
多智能体系统是一类具有复杂的系统内通信关系和个体计算决策能力的智能系统,该系统通常面向复杂的应用场景,用以满足特定的功能要求,同时采用分布式设计思路来应对可能出现的系统问题。在编队、集群等依赖协同控制的场景,由于具备不依赖中央控制和全局通信的优点,基于多智能体系统的协同控制方法得到了广泛应用,一致性控制是其中尤为重要的部分。本文结合多智能体系统一致性控制的具体场景要求,开展了多智能体系统的理论模型
随着“中国制造2025”计划的提出,国内的机器人技术与产业都得到了飞速发展。同时也对机器人的各项性能提出了新要求。在这其中,串联机器人的奇异位形规避一直是串联机器人研究领域的热点问题。本文基于六自由度串联机器人的奇异位形分析,对奇异位形下的轨迹规划进行了一定的研究,主要内容如下:首先,阐述串联机器人相关数学理论基础,为后面机器人的运动分析及轨迹规划做必要准备。其次,运用改进的D-H法对机器人建模,
近年来,汽车行业的发展变革是科技进步的真实写照,智能化的出行方式已是未来的发展方向。车辆场景理解技术作为提高车辆智能化水平的前提和实现自动驾驶的“关键一步”,在辅助驾驶乃至自动驾驶领域中备受关注。而如何在有限的车载计算空间内为智能汽车提供充足的视觉信息,仍然是具有挑战的问题。语义分割和目标检测是实现车辆场景理解的两大核心任务,得益于深度学习的发展,目前针对单一任务的算法模型相继涌现,但应用在车辆场
柔性应变传感器具有轻质、柔性、可弯曲、可贴附、曲面兼容性等众多特点,可应用于柔性穿戴器件,在人体运动监测、医疗健康以及人机交互等领域发挥重要作用。离子型应变传感器是其中的重要一类,它是由两侧的电极层和中间的聚电解质层所组成的三层结构器件,通过内部可移动离子在外部应力作用下的定向移动,从而在两侧电极上产生电势差,实现力-电能量转换以及对于应变的感知。离子型应变传感器具有对不同方向的应变的感知能力以及
自工业机器人问世以来,工业生产格局发生了很大变化。随着工业场景的复杂化以及任务的多样性,传统的六自由度工业机器人已不能完全满足需求。相比于传统六自由度机械臂,带有冗余关节设计的双臂七自由度机器人具有较好的容错性、柔顺性和避障能力,也提升了机械臂的工作效率。双臂协作也使机器人的作业能力得到巨大提升,双臂机器人的协作控制成为一个重要内容。机器人应用开发涉及到底层的数值计算、上层应用开发以及机器人位置控
我国应急管理体系建设时间尚短,应急管理基础支撑技术发展还比较薄弱,防范化解重大风险、高效应对重特大自然灾害仍然面临巨大的挑战。以“大智移云”为特征的新一代信息技术的快速发展,给应急管理的信息化、智能化和科学化提供了新的机遇和挑战。为此,应急管理部在《应急管理信息化发展战略规划框架(2018-2022年)》中明确提出,要利用大数据、人工智能、机器学习等新一代信息技术提高我国重特大自然灾害风险感知、监
拉曼光谱以其独特的分子光谱特性常被用于医疗、环保、安防、质检等多个领域。随着激光技术和制造业技术的发展,拉曼光谱技术越来越成熟,以该技术为基础的光谱仪也越来越多样化。为了满足户外实时检测、高温高压等特殊环境下的操作需求,手持式拉曼光谱仪应运而生。然而,目前已有的手持式拉曼光谱仪多存在有效信号微弱、应用范围窄、产品价格昂贵等不足,影响用户使用体验,因此本文意在研制一款成本较低、性能优良的高通量手持式
多智能体协作一直是人工智能的研究热点,有助于解决人类社会的许多问题。由于近些年来深度强化学习展现出的惊人决策能力,利用其解决多智能体协作问题成为热门,并诞生了多智能体深度强化学习这一研究方向。值分解是多智能体深度强化学习的主流方法,可以在环境平稳性和智能体拓展性之间取得平衡。但现有的一些值分解式方法没有充分利用历史轨迹进行学习,也忽视了智能体策略网络的重要性。因此,本文针对基于多智能体值分解深度强