经过漫长的自然选择,四足哺乳动物逐渐进化出能适应复杂环境的肢体。而人类制造的普通履带式、轮式汽车或者机器人却很难在复杂的地形下行驶。根据仿生学原理制造的仿生四足机器人在复杂地形侦察、野外物资运输等方面有巨大潜力,成为机器人研究的热点。传统四足行走机器人在行走或者站立过程中保持躯体侧向平衡的关键在于左右腿部提供的侧向支撑力,在这种情况下,四足机器人需要额外增加四个自由度以保持侧向平衡,这使得其控制算法较为复杂。相比较而言,本系统只采用一个反应轮电机以保持侧向稳定性。本文以自然界中哺乳动物为模板,将倾斜状态下的四足行走机器人等效为反应轮倒立摆模型,通过研究反应轮倒立摆动力学模型,实现其最优控制,使得在倾斜过程中能快速反应且超调量小。针对反应轮倒立摆模型不稳定、非线性、强耦合的特点,通过采用模糊自适应整定PID算法,解决了传统PID算法参数固定,不能适应非线性系统的缺点。针对传统的基础PID参数需要人工整定,而靠人工经验的办法并不能找到最适合系统的参数的问题,本文设计出一种更适合该系统的代价函数,采用策略梯度强化学习的算法寻找全局或者局部最优解。之后通过推导四足行走机器人的动力学模型,本文建立了四足行走机器人各个腿部的连杆坐标系,在此坐标系基础上求解连杆运动方程以控制腿部运动。并将反应轮倒立摆安装于四足行走机器人中,以保持四足机器人的侧向稳定性。本文最后应用上述算法,实际控制反应轮倒立摆,使得反应轮倒立摆长时间保持稳定,安装反应轮倒立摆的四足机器人能保持侧向稳定性。