场景感知与理解是计算机视觉、人工智能、智能机器人的一项长期目标。近年来,随着深度传感器的发展,基于深度摄像头的室内场景感知技术得到了越来越多的关注与研究。本文关注于室内场景的构建与理解,提出了从RGB-D场景构建,RGB-D图像语义理解到语义场景地图的构建一整套系统。具体如下：第一,我们采用RGB-D图像进行场景拼接,构建全局场景地图。利用帧间对齐技术进行图像拼接,并用环检测和位姿图优化的方法消除帧间累积误差,从而保证可以进行大尺度的场景构建,在全局场景表示方面,我们提出了点云与Mesh两种表示方法。第二,为了达到语义理解的目的,我们对RGB-D图像进行语义分割,其目的是将图像中的每个像素点都分类成类别。我们将每个像素点与两种类别相关联：物体类别与结构类别。结构类别保证我们可以宏观结构上.理解图像(如家具、墙、小物体的分布),而物体类别可以使我们了解到图像中物体的具体分布。通过条件随机场模型(CRF)的联合推理实现图像的语义分割。第三,通过将RGB-D场景重建技术和语义分割技术相结合,就可以构建全局场景的语义地图,但是RGB-D图像序列的语义分割结果不具有时序一致性,我们通过计算帧间超像素的对应关系捕获时序性信息,将其建模为高阶势能,利用高阶CRF模型进行推理,从而加强时序性约束,得到时序一致的语义地图。第四,人工标注图像进行训练往往要耗费大量人工与时间,本文提出减少人工标注工作量的方法。先从图像序列中选出极少的图像进行人工标注,再利用标注传播的方法自动标注剩余图像和场景,从而解决训练图像需要大量人工标注的问题。本文的主要贡献与创新之处在于：第一,本文通过多种方法保证了RGB-D重建系统的鲁棒性、实时性、尺度性和自主性。鲁棒性方面,本文将基于特征点对齐和基于ICP对齐的技术进行了结合,从而减少失败的情况。实时性方面,本文对重建过程中的几乎所有算法实现了GPU加速,包括角点、ORB特征点计算、特征点匹配、RANSAC算法、ICP算法、稀疏化算法、Marching cubes算法等等。在尺度性上,本文采用环检测与全局位姿图优化的方法进行误差消除,保证全局一致性。自主性方法,本文使用可佳机器人平台,利用其导航系统实现服务机器人自主构建室内场景3D地图的功能。第二,本文利用多种上下文关系进行RGB-D图像的语义分割。通过CRF图模型,本文实现了图像场景类别、超像素的物体类别和结构类别的联合推理。同时建立了多种成对点势能关系,包括场景与物体关系、物体与物体关系、物体与结构关系、空间位置关系等。通过图模型的联合推理,保证了分类结果在空间上的一致性。第三,本文通过对RGB-D图像序列计算时序信息,扩展CRF模型的高阶势能,利用高阶势能加强时序约束来保证最终语义地图的时序一致性,提高了语义地图准确度。第四,本文利用RGB-D图像序列之间的3D位姿关系,通过找出最小的可以覆盖整个场景的标注帧,利用标注传播的技术进行图像的自动标注,大大减少了人工标注训练数据的工作量。实验表明对于1831帧的图像序列,只需人工标注22帧的图像就可以实现93%的标注传播准确度。