近些年来,随着智能机器人技术不断成熟,机器人在各行各业生产活动中的作用愈发突出,能够代替人类完成危险性高或繁重重复的工作。机器人的自主导航定位技术是机器人智能化的关键步骤,其中视觉里程计以其低成本高精度成为重点研究对象,此外,深度学习在三维视觉领域的研究越来越多,如何借助深度学习技术优化传统视觉里程计算法也成为热门研究内容。特征点法是当前主流的视觉里程计方法,场景内的动态物体或者相似特征会造成图像序列存在错误的数据关联,导致系统不能够准确估计相机运动。另外由于终端计算资源有限,若将所有算法都放在终端运行,不仅提高了对硬件设备的要求,还可能会影响计算实时性。为了解决上述问题,本文提出端云融合的语义视觉里程计系统。第一,训练Fast-SCNN网络得到图像语义分割模型,以特征点法视觉里程计为基础加入语义分割模块,得到像素级语义分割的结果,借助于图像的语义信息优化匹配的特征对,剔除语义不同的错误特征匹配。第二,设计基于语义信息的重投影误差计算公式,同时对特征点的三维点坐标以及相机变换矩阵进行优化,改变不同类别特征点重投影误差权重,进一步对相机位姿进行优化。第三,设计端云融合系统,实现将复杂的算法计算放在服务器端,降低对终端硬件设备的要求。端云融合系统生成JSON格式指令使用socket通信进行数据传输,设计自定义数据包头结构解决socket粘包问题。在端云系统中设计通信模块、管理模块、配置模块、算法模块、日志模块等5个模块实现完整的后端系统功能,降低系统耦合度,提高系统稳定性。本文在KITTI公开数据集中进行对比实验,分别在相邻帧以及局部运动图像上进行分析,主要使用相对位姿误差（RPE）和绝对位姿误差（APE）两个定量指标。实验证明本文提出的语义视觉里程计相比于传统特征点法视觉里程计能有效提高相机位姿估计的准确度,相较于传统方法能提高60.14%,并且语义信息的加入使得最小重投影误差的计算能够更快收敛到阈值,减少迭代次数,降低时间成本。端云融合系统能够实现将复杂运算放在服务器端,通过对同一局域网下数据交换时间统计分析,端云系统能够满足实时性的要求,具有较高的实用价值。