基于激光点云与视觉图像融合的园区环境场景理解研究

来源 :厦门大学 | 被引量 : 0次 | 上传用户:moodlysea
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高质量的场景理解技术是实现高度无人化智能驾驶的关键。园区环境下道路使用者较复杂且处于不断变化移动状态,这给城市园区的场景理解,尤其是对道路参与者及其周边环境的场景理解图像带来了巨大挑战。对此,本文提出了一种引入激光点云的优化区域生长的改进E-Net场景理解算法,实现了园区环境的场景理解。本文具体的研究工作如下:(1)搭建多传感器硬件平台与软件系统。为了提升系统场景理解能力,搭建激光雷达与摄像头硬件平台及开发激光点云与视觉图像融合的数据采集处理的软件系统。基于Qt平台的激光雷达与摄像头传感器数据采集处理交互系统实现了图像和点云数据的采集和处理,减少多传感器独立数据采集处理过程中许多重复性工作耗费的时间,可以直接输出激光点云与视觉图像融合结果,减少了在采集和处理数据时大量的重复性工作。(2)实现激光点云与视觉图像的数据融合及数据处理。依赖于单一传感器实现感知,无法达到最优的场景理解,因此本文通过激光雷达与摄像头内外参标定后对传感器之间进行联合标定融合,实现不同维度数据的融合。并采用二值化滤波对图像数据进行去除噪声处理;对点云数据进行双边滤波、地面分割、欧式聚类等后处理操作,实现地面点与地面障碍物点云数据的有效区分,为之后优化区域生长算法提供基础。(3)提出一种基于优化区域生长的改进E-Net场景理解算法。由于语义分割网络对小型景物分割精度较低,因此本文提出一种引入激光点云的优化区域生长的改进E-Net场景理解算法,实现了园区环境的场景理解。通过先将欧式聚类后的点云组作为种子映射到E-Net语义分割输出结果上,后提取原始图像的Canny边缘像素坐标作为区域生长边界绘制在E-Net语义分割输出图像上,实现每个目标景物的确切图像区域检测,有效提升了 E-Net语义分割对小型景物的分割精度。(4)对改进后E-Net场景理解算法的进行充分验证。本文选用不同数据集进行实验验证,其中包含实际园区采集数据集与智能驾驶公有数据集KITTI。首先应用了改进前后的场景理解算法对实际采集的园区数据进行处理,通过进行可视化对比,证明改进的E-Net场景理解算法可以检测出更确切的小型景物区域。同时,选用公有数据集KITTI进行实验验证,实验结果表明改进后的E-Net在小型景物的平均分割精度上提升效果明显。综上所述,本文应用多传感器融合、区域生长算法等方法改进了 E-Net场景理解算法,实现了园区环境的场景理解,有效提升了园区环境下小型景物图像区域检测的准确性,重点解决了园区中各种道路参与者的语义描述及分割精度问题,为园区环境的智能驾驶提供有益参考。
其他文献
随着工业自动化水平的提高,单位时间内玻璃的产量不断增大,为了满足用户对产品质量的要求,生产企业广泛采用基于机器视觉的玻璃缺陷实时检测系统来提高生产效率,保证产品质量。其中开发出基于ZYNQ SoC芯片的玻璃缺陷检测系统对于提高灵活性、解决数据高吞吐率问题和降低系统成本具有重要意义。本文针对采用ZYNQ SoC单芯片方案的玻璃缺陷检测系统涉及到的关键技术,首先介绍面阵CIS和线阵CIS的接口控制电路
双面半片组件是未来几年高效组件的发展趋势。本论文主要研究双面半片组件的高效化制备和应用,通过优化切割电池片的工艺和分析切割损耗,降低电池片的电性能损耗,提升组件的转换效率;通过对不同类型组件进行可靠性测试,评估组件的可靠性,确保组件在户外长久使用;通过分析不同的户外安装方式,提升组件的发电量输出。主要研究结果如下:1、光纤激光划片机(GSC-20F)切割N型双面电池的最优工艺是从双面电池背面划片,
随着5G无线移动通信技术的逐步商业化,为了满足数据的高速率传输需求,无线发射机的发射信号带宽变得越来越宽,这使得功率放大器的输出失真大大增加。功率放大器作为无线通信系统中主要的非线性器件,因其固有的非线性,使得系统很难实现效率和线性度之间的平衡。在宽带信号的应用场景下,两者之间的矛盾更加突出。与此同时,多波段功率放大器在许多场景下得到应用,使得发射带宽进一步扩展。多波段功率放大器引起的带内谐波失真
背景:婴幼儿血管瘤是主要发生于皮肤及软组织的良性肿瘤,婴幼儿时期最为常见,发病率约3-10%,且有增加趋势。其发病机制认为与内皮细胞增殖异常及血管生成调节异常有关,但具体涉及到分子机制方面仍不十分明确。研究发现人体内多条信号通路参与了婴幼儿血管瘤的发病和消退过程,包括VEGF、Notch、mTOR信号通路等。大部分患儿瘤体在7岁前可不同程度自行消退,病程中可能出现溃疡、出血等并发症,影响患儿发育,
目的 分析公民逝世器官捐献肝移植术后EAD的危险因素,探索EAD与移植术后并发症相关性及EAD预后情况,为评估供肝质量提供有效证据。方法 收集2015年1月至2019年6月于厦门大学附属东方医院行肝移植术的135例供、受体临床资料。纳入排除标准后,1 12例患者按Olthoff教授提出的EAD诊断标准将其分组:EAD组(n=42),Non-EAD组(n=70)。行单、多因素分析并绘制ROC曲线,两
超级电容器由于可以安全地提供高功率并能以极长的循环寿命快速充电而引起了人们的广泛兴趣。本文分别对活性炭材料和过渡金属化合物材料进行了研究,解决了活性炭表面积低和比电容低的问题,同时解决了过渡金属的层状氢氧化物导电性差,片材之间容易堆积和团聚的缺点,具体研究内容如下:以大豆为碳源,基于中和反应成功地制备了氮氧掺杂的分级多孔碳(NOHPCs)。通过控制反应体系的pH值和活化温度,可以得到性能优异的电极
磁共振成像(Magnetic Resonance Imaging,MRI)是一种可以准确显示物体内部组织结构的成像技术,然而大部分MRI方法仅使用幅值与相位数据中的部分信息,造成了不必要的信息浪费。除此之外,传统的MRI后处理方法需要人工设计特征提取规则,不仅流程复杂而且不能有效提取特征。近年来,卷积神经网络凭借其自动学习图像特征的独特优势在图像处理领域取得巨大成功。受此启发,为获得组织结构更加全
柔性可穿戴电子器件在人们的生活中需求逐步增加,如何实现柔性电子器件的柔性供能端与无线信号采集端,同时降低“电子垃圾”的产生具有重要的意义。作为一种天然生物蛋白的再生丝素蛋白,具有生物相容性以及可降解性等优势,但是由纯再生丝素(RSF)蛋白形成的薄膜又脆又硬、易溶于水,限制了其在柔性电子领域里的应用。本文利用聚氨酯(PU)对再生丝素蛋白进行改性,制备了柔性的再生丝素蛋白复合薄膜(RSF/PU膜)。采
在生产制造业中,车间作业调度是一个经常会面临的问题,即:假设当前有n个工件需要在m个车间上进行加工,每个车间在同一时间只能加工一个工件,每个工件在每个车间上都需要一定的加工时间,如何安排工件的加工才能达到收益最大.车间作业问题按照在车间上加工的顺序的不同可分为:流水车间作业(flow shop),异顺序作业(job shop),自由作业(open shop),这三种类型分别对应的是工件在所有车间上
目的:探讨后纵隔引流管在经右侧胸腔镜食管癌根治术中的临床应用研究。方法:回顾性分析2017年10月至2019年10月就诊于我院经右侧胸腔镜食管癌根治术治疗的胸部食管癌患者61例。其中31例患者设为研究组,术中除常规放置胸腔闭式引流管外再放置一条后纵隔引流管;另外30例患者设为对照组,术中常规放置胸腔闭式引流管,未放置后纵隔引流管。通过观察记录研究组与对照组的平均心率、平均体温、平均白细胞、平均中性