近年来,随着科技的不断进步,机器人逐渐向智能化发展。传统的即时定位与地图构建(Simultaneous Localization and Mapping,SLAM)系统已经无法满足高层次的任务要求。机器人需要从语义层面完成任务,因此如何将语义信息融合到SLAM系统中成为提升机器人能力的关键。本文针对室外大场景,系统的研究了环境语义信息在SLAM系统中的运用,本文的主要研究内容如下:针对传统单目SLAM系统忽略场景中动态对象的问题,本文将语义信息融合到SLAM系统中,通过语义信息将动态特征点剔除。首先在语义分割方面,本文提出一种基于全卷积网络(Fully Convolutional Networks,FCN)和超像素的条件随机场(Conditional Random Field,CRF)图像语义分割算法。该算法通过超像素的边缘信息来优化语义粗分割图,并通过CRF对分割边缘进行精细化处理。在获得图像语义分割结果的基础上,本文提出一种基于语义信息和对极约束的动态特征点检测算法。该算法通过语义分割结果获得潜在运动对象,并通过对极约束关系剔除该对象上动态特征点,最后利用静态特征点进行位姿估计,提高了SLAM系统在动态环境中的鲁棒性。经实验验证,本文算法在动态场景下较主流算法有更好的位姿估计精度。针对传统单目SLAM系统存在丢失绝对尺度信息、快速运动场景下易丢失目标等问题。本文将惯性测量(Inertial Measurement Unit,IMU)信息融合到单目SLAM系统中,提出一种基于IMU辅助的光流跟踪算法。该算法通过IMU预积分得到两帧之间的相对运动,并将其作为光流的运动约束来加快光流法的迭代速度,从而提升系统的运行效率。在视觉惯性里程计的基础上,针对相机快速运动时,两帧之间的误匹配点增加的问题,本文提出一种基于IMU辅助的误匹配点剔除算法。该算法通过IMU预积分结果来计算基础矩阵,并根据基础矩阵计算特征点到极线的距离,对误差较大的点进行剔除,最后利用随机样本一致性算法进行误匹配点剔除,有效的改善了误匹配问题。经实验验证,本文算法在快速运动场景下较主流算法有更好的位姿估计精度。针对传统SLAM系统所构建的三维稠密地图通常只包含颜色、深度、亮度等低层次信息的问题,本文在传统三维稠密地图的基础上构建环境语义地图,通过贝叶斯更新将多帧中的二维语义标签进行关联并转移到三维点云中,得到初步的三维语义地图。在此基础上,本文提出一种基于高阶CRF的三维语义地图全局优化算法。该算法通过时空一致的三维超像素建立CRF的高阶项,增加点云与所属三维区域之间的约束关系来实现语义分割中点云所属类别的边界一致性,缓解二元项所带来的过度平滑的影响,从而提升分割精度。经实验验证,本算法可以获得全局一致的语义地图,并能够有效的提高单帧图像的语义分割精度。