基于深度学习的三维点云数据的超分辨率重构与修补

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:zhangzhennan6
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着传感器技术和深度学习的快速发展,三维点云被应用在越来越多的视觉任务中。从传感器上获得的原始三维点云往往是稀疏、不完整且带有许多噪声的,这会严重影响后续任务的性能,因此对稀疏点云进行超分辨率重构以及针对不完整区域进行修补是急需解决的重要课题之一。尽管目前基于深度学习的点云超分辨率重构和点云补全算法已经取得了许多成果,然而这些方法仍存在一些问题。首先,目前的点云超分辨率重构算法无法在超分辨率重构的同时对点云中的缺陷进行修补,这限制了这些算法的应用。其次,点云超分辨率重构网络都是有监督的,然而真实数据的稠密标签制作成本极高。最后,现有的点云补全算法使用全局表示向量补全残缺点云,这虽然能够在整体上补全点云,但是会导致点云的几何细节损失。本文针对点云超分辨率重构与修补中的上述问题,主要研究了如下工作:(1)提出了一个在进行点云超分辨率重构的同时进行点云修补的端到端深度网络(PUI-Net)。在网络结构上,引入了通道注意力机制和非局部的思想分别提出了一个卷积注意力单元和非局部增广单元。另外,还构建了一个全新的修补损失函数来约束网络,使得网络能够在超分辨率重构的同时对残缺区域进行修补。在多个公开数据集上的定性和定量实验证明,比起现有的点云超分辨率重构方法,PUI-Net在对稀疏且残缺的点云进行上采样和修补时能够取得最佳的性能。(2)设计了一个自监督点云超分辨率重构网络(SPU-Net)。该网络的关键是利用稀疏的输入点云和稠密的输出点云在多视角渲染图像上的一致性作为监督信号训练网络。首先提出了一个邻域增广单元,该单元利用稀疏点云的局部几何结构学习插值权重,进行特征增广。其次,提出了一个可微点云渲染单元将输入和输出点云渲染为多视角下的图像。最后,构建了一个形状一致性损失函数和图像一致性损失函数约束网络,使得超分辨率重构后的稠密点云和稀疏点云形状上一致。多个数据集上定性和定量的实验证明,该方法在无监督的点云超分辨率重构方法中能获得最佳的效果。(3)提出了一个基于自适应骨架提取的点云补全网络。具体来说,针对现有的方法会丢失输入中的几何细节的问题,本方法将输入点云和粗糙补全点云拼接在一起,然后使用自适应骨架提取单元选取骨架点云。最后通过增广操作将骨架点云特征图增广为稠密特征图并重构成点云。自适应骨架提取单元根据输入点云的局部特征为每个点计算一个置信度,并选取置信度较高的若干个点为骨架点云。在多个公开数据集上定性和定量的实验证明,本方法比起主流的点云补全方法展现出了更好的补全性能。
其他文献
预制节段拼装桥墩具有良好的自复位性能和极限位移能力,但其地震作用下的损伤机理尚不明确,传统的损伤评价方法无法准确描述预制节段拼装桥墩的地震损伤,如何准确合理的评估损伤状态是预制节段拼装桥墩全寿命周期抗震性能研究中的重要问题。本文为了得到适用于预制节段拼装桥墩的地震损伤模型,对其抗震性能和损伤机理进行分析,提出考虑桥墩自复位性能的地震损伤模型。本文对预制节段拼装桥墩进行三维实体有限元建模,比较了不同
学位
火炮各部件间的接触/碰撞与膛内时期弹丸-身管相互作用具有耦合关系,会影响到弹丸出炮口状态,进而影响火炮射击精度,通常在火炮动力学分析中都忽略了部件连接间隙与接触/碰撞关系。在此背景下,本文以某轻型牵引火炮为研究对象,充分考虑部件连接间隙与接触/碰撞关系,应用有限元法、数值计算、优化设计等方法对高平机特性与连接特性参量对弹丸起始扰动的影响等问题进行研究,以弹丸起始扰动来评估射击精度,为提高火炮射击精
危化行业装卸过程工况连续、复杂多变,面临着智能制造和数字化转型的挑战。数字孪生作为践行智能制造的关键技术,可以实现虚拟世界和现实世界的交互与融合。本文使用数字孪生技术对现有的装卸系统进行数字化转型升级,搭建数字孪生系统,以提升装卸过程的可视化程度,提高装卸作业的效率,保障系统的安全运行。首先,梳理危化行业智能装卸的业务流程和数字孪生技术的组成与应用,针对目前装卸系统存在的不足,设计智能装卸数字孪生
在当前通信技术发展的推动,特别是物联网技术的逐渐普及下,酒店万物互联的进程大大加快,智能化酒店需求不断提高。但当前酒店的管理模式、基础设施较为落后,智能化程度明显不足。特别是酒店客房门锁系统,仍然采用射频电子锁、密码电子锁、生物识别锁等方式,存在着安全性低、开发成本高、使用繁琐等缺点。针对以上问题,本文设计了一款基于近场通信技术的智能酒店门锁系统。本文依据当前国内外酒店行业的大环境,提出了一个基于
随着可再生能源电网接入比例逐步提高,其精确预测对提高新能源消纳和电网稳定性,以及降低系统规划运行成本具有重要意义。因此本文提出了基于极限学习机ELM和进化算法的可再生能源功率预测及其特征输入选取和网络参数两阶段优化改进模型。首先提出了基于二元遗传算法BGA的特征输入选取算法。如何选择可再生能源功率预测模型输入层数据一直以来都是一个比较重要的课题。二元遗传算法的编码特性使它得非常契合特征输入选取问题
随着海洋技术的不断发展,人们日益重视海洋的保护、开发和利用。声波在水中具有最远的传播距离,使得水声已成为海洋信息传感和传输的主要载体,水声技术受到人们广泛的关注和研究。光纤水听器是采集水声信号的传感器,其具有探测灵敏度高、抗电磁干扰等优势,从而成为探测水下声波的主要工具。然而在复杂多变的海洋背景噪声中,水声信号在传输、采集甚至接收中都会不可避免地引入一定的噪声,使得光纤水听器接收到的水声信号产生畸
定制式木门制造企业的生产模式属于典型的多品种、变批量模式。该模式由于产品品种的多样性、生产工艺的复杂性等因素,存在生产柔性不足、订单交付困难等问题。本文以木门生产车间为研究对象,结合数字化信息技术,设计研发出适合定制式木门柔性生产车间现阶段发展需要的管控系统。首先,梳理木门制造车间生产流程,从车间现状与存在问题出发,结合企业具体需求,提出车间管控系统的总体设计方案。其次,针对条形码技术在制造过程的
学位
基于视觉的行人检测是计算机视觉领域的一个重要研究分支,它不仅具有重要的学术研究价值,也在民生领域中具有广泛的应用前景。现有工作大多是针对单帧数据集的研究,对于视频数据集未能充分利用其中的时序上下文信息。因此,研究如何利用视频序列中的帧间相关性提高行人检测的精度是未来的一个研究趋势。本文分别从多帧特征融合、多帧候选框融合、自适应选取关键帧三个方面针对夜间驾驶视角的视频行人检测数据集进行了相关研究,具