基于深度学习的三维点云补全方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:asdfsadfsad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维物体及场景的表示形式包括点云、体素、网格、TSDF等,其中点云作为许多传感器设备直接采集的数据形式,具有能够保留原始信息的特性,因此近年来被广泛研究。然而RGBD相机、激光雷达等设备分辨率有限,且容易受到遮挡的影响,导致采集到的点云稀疏或残缺,大大限制了它们的应用范围。点云补全任务从输入的残缺、稀疏点云出发,通过提取残缺点云的特征,并利用该特征预测点云中缺失的部分,构建出完整的、稠密的点云。该问题的研究有助于推动自动驾驶、机器人导航、三维重建等领域的发展。目前使用深度学习方法来进行点云补全的工作居多,包括基于体素的方法和基于点云的方法。大部分现有工作生成的完整点云缺失了物体的细节特征,预测结果不够均匀且具有噪声。本文提出了一种以体素作为中间表示的网络模型,该模型能够从残缺点云中生成具有更多细节的点云,并且保证点云的均匀性,还能够支持不同分辨率的输出。另外,本文探究了图像对点云补全任务的潜在帮助,致力于使残缺点云和图像各自的特征进行互补,设计了一种多模态信息融合的点云补全模型。具体而言,本文主要工作分为以下两个方面:(1)设计了基于概率化体素的点云补全模型。该模型首先预测残缺点云的尺度大小,并将点云转化为体素的表示方式。接着,通过体素概率模块预测每个体素中包含点的概率,再利用点的生成模块来定位点距离体素中心的偏移量,最后使用细化模块对点的三维坐标进行微调,得到最终的完整点云。与现有方法不同的是,该模型预测的完整点云不仅能够更好地保留物体细节,并且具有分辨率可控、空间分布十分均匀的特点。在训练过程中,本文设计了与概率化体素网络相适应的多种损失函数,这些损失函数的引入为网络的训练带来了积极效果。Shape Net数据集上的实验结果证明,本文提出的方法与目前主流方法相比,在大部分类别上的CD指标和新提出的体素交叉熵指标上都有所提升,视觉上的定性实验结果也证明了本文方法的有效性。(2)提出了多模态信息融合的点云补全模型,以探索点云和图像信息互补进行点云补全的可行性。该模型首先利用不同的编码器分别提取点云的特征信息和图像的特征信息,再利用特征融合模块将信息在网络中进行融合,最后利用解码器将融合后的信息解码为完整三维点云。我们通过对比实验证明了点云和图像多模态融合的点云补全模型,相比单一的点云补全模型和图像恢复点云模型,具有更强大的学习能力,能够预测更好的补全结果。此外,我们还对实验中输入的图像信息、特征的融合方式、投影损失函数等内容进行了更深的探讨。实验结果证明用不同于点云视角的图像可以对点云补全提供较大帮助;图像特征和点云特征的深度融合可以更好的进行特征互补;投影损失函数的引入能够帮助网络学习到更好的完整点云。
其他文献
以开孔和未开孔环氧树脂/碳纤维复合材料层合板为研究对象,开展了不同温度(2,23,70℃)、水浸/干燥环境下层合板的加速老化试验,利用三维轮廓仪、扫描电子显微镜、傅里叶变换红外光谱仪、差示量热扫描仪等对层合板的老化性能进行分析。结果表明,开孔会使得层合板的吸湿率减少,温度越高,层合板的吸湿率越大;层合板吸湿后会发生溶胀,且温度会加剧纤维-树脂脱粘、开裂,老化环境对层合板的断面形貌具有很强的敏感性;
学位
财务风险因素是企业在运营管理过程中必须要面对的问题之一,财务风险既具有客观性,同时还有较强的可控性,因此对财务风险进行控制的主要目的在于将其破坏性降低至企业可接受的范围之内。内部控制则是当前企业在日常生产经营过程中较为常用的一种管理手段和方法,之所以要从内部控制视角研究企业的财务风险控制问题,主要是因为内部控制要素与财务风险之间存在着较高的关联性。基于此,本文从分析内部控制与财务风险控制之间的关系
学位
学位
由于民航业的飞速发展,越来越多的人选择乘坐飞机出行,使行李吞吐量达到了一个新的高度。目前,国内部分机场采用了先进的行李自动分拣系统,极大地提高了行李的处理效率,然而对于分拣后的行李,绝大多数机场需要由人工将行李从滑槽搬运到平板车上,除了高昂的成本外,效率低下,还容易出现行李损坏等现象。研究一种可用于行李抓取和搬运的智能机器人系统,对于推动机场的自动化进程,减轻工作者的劳动强度,建设智慧机场具有重要
数据分类是热门的研究领域,而小样本数据分类问题是最受关注的难题之一。在很多专用领域要求利用有限数据搭建可用模型,这要求研究者对小样本分类进行全面的研究。基因表达数据是代表性的不平衡小样本数据集,利用代价敏感模型可以有效的对其进行分类。图像分类问题是一种常见的数据分类问题。用于图像分类的卷积神经网络中的参数量庞大,调整这些参数需要极大的算力,用分布式的方法来确定更为有效。本文提出了改进模型和基于去中
当前我国经济不断发展对于企业的内部控制与管理提出更高的要求,企业为了更好地实现可持续发展,就需要不断加强内部控制,降低财务风险,迎接更多的挑战。在企业发展与改革过程中,企业通过改变传统的管理方式,结合企业的实际发展情况不断创新,从而提升企业的核心竞争力。企业经营发展过程中应不断创新管理理念,正确认识到内部控制管理的重要性以及对企业发展的意义,通过内部控制可以有效地降低企业运行过程中的各种风险,提升
学位
汽车在给人们生活带来便利的同时,也存在尾气污染与化石能源日益匮乏的问题。为了缓解尾气污染与能源危机,在开发绿色能源的基础上采用电动汽车代替传统内燃机汽车是一个更优的选择。但是受限于当前电池技术的容量限制,电动车行驶里程仍然无法超越传统汽车,而采用增程器提高电动车的行驶里程是一个可行的改进方法。固体氧化物燃料电池(SOFC)是一种高效、清洁、安静的发电设备,能将燃料中的化学能直接转化为电能,相较于燃