随着科技的发展,机器人已经逐渐进入人类生产生活的各个领域。其中,移动机器人极大扩展了机器人作业的范围,增加了灵活性。相较于其他类型的移动机器人,履带式移动机器人具有适应全地形、牵引能力强等优点,能够工作在危险恶劣的环境下,在农业、军事等领域应用众多,一直是国内外关注的一个重点。本文以履带式移动机器人为研究对象,基于强化学习理论,对其在未知和不确定环境下的控制问题展开研究。主要完成的工作如下:（1）对履带式移动机器人控制系统相关模型进行构建,包括履带式移动机器人运动学模型和动力学模型。并对履带式移动机器人控制系统构建过程中的位姿变换、运动及受力情况等环节进行理论推导和分析。（2）对Q学习进行改进,提出一种增量式离散化方法,进一步采用神经网络将离散的状态动作空间映射到连续状态动作空间,给出基于连续动作空间的Q学习控制器。考虑履带式移动机器人在运动过程中受到外界扰动的情况,设计一种鲁棒型强化学习优化控制器,保证履带式移动机器人在运动过程中的稳定性与优化性。分别进行了仿真实验,并对仿真实验结果进行分析,验证控制器的有效性。（3）搭建履带式移动机器人实验平台,并在实验平台上开展机器人运动控制实验。首先,构建基于ROS的履带式移动机器人软件系统框架,实现各节点的功能。然后,搭建履带式移动机器人的硬件系统,详细介绍硬件的选型及其功能。最后,在实验平台上使用本文提出的算法进行履带式移动机器人控制实验,设计多种运动轨迹,通过对比分析,验证算法的有效性。