混合现实技术发展相对成熟,应用广泛。HoloLens混合现实眼镜作为混合现实代表设备之一,其空间映射技术通过使用SLAM和计算机视觉技术帮助用户完成空间定位、扫描和重建工作,然而其并未对反映真实空间物体表面形状的网格进行分割和识别,在混合现实应用中无法完成基于分割对象的高级语义交互。因此,本文提出基于HoloLens空间映射的三维场景分割和识别研究。利用HoloLens完成室内三维数据采集,制作数据集,借助深度学习对数据集进行训练,完成HoloLens空间映射网格数据的分割和识别,通过数据的匹配完成HoloLens快速三维跟踪注册,最终实现HoloLens对室内环境的分割识别。具体研究内容如下:在三维点云处理方面。利用HoloLens混合现实眼镜对实验楼内办公室进行扫描和数据重建,完成室内点云数据集XUT制作;优化PointNet神经网络结构,提出多尺度半径特征提取与特征融合方法,将不同尺度半径提取的局部特征进行特征叠加,并与PointNet的局部特征和全局特征进行特征拼接,从而提升网络特征提取能力,完成点云数据的类别划分和识别。在XUT测试数据集上,与PointNet相比分类准确率提升了 16%,交并比提升了 6.4%,与PointNet++相比准确率提升3%,交并比提升4.7%。在混合现实方面。提出网格数据平滑化处理与网格数据匹配方法。先计算HoloLens空间映射网格数据的法向量,将相邻网格法向量同向的网格进行拼接,形成新的虚拟物体包围平面网格,实现数据平面化处理。再将经过神经网络预测后带有语义标签的点云进行网格重建,计算不同类别网格间的位置转换矩阵。将新的网格与平面化处理得到的平面网格进行位置形状匹配,实现网格数据匹配,从而实现环境物体实时跟踪注册,并将真实物体类别信息与位置范围融合在真实环境中,结合凝视交互与手势交互,最终实现三维场景高级语义交互。本文借助HoloLens混合现实眼镜,结合三维点云处理的方法,利用网格数据平面化处理与网格数据匹配方法,完成混合现实对三维空间的分割与识别,从而提升混合现实的环境理解能力,为混合现实应用中基于分割对象的高级语义交互建立了研究基础。