近年来,随着机器人在工业生产和日常生活中的应用越来越广泛,其机器人的智能控制方法也更值得关注,特别是多自由度人形机器人的步行智能控制是机器人研究领域的重点研究方向之一,机器人运动过程中的惯性和环境等因素会对机器人的平衡产生相当大的影响,如采用传统的运动物理模型可以解决一部分控制问题,但很难适应环境复杂度和交互需求不断提高的要求。而用机器学习的方式能让机器人自主与环境交互,不断提高平衡控制能力是机器人平衡算法的发展趋势。强化学习是机器学习中的一个分支,作为基于奖惩机制的非监督算法,不依赖任何先验知识即可通过与环境交互选择最优动作,对于双足机器人的智能控制中具有较强的理论和实用价值。论文首先分析了双足机器人行走时的运动物理结构模型,研究了强化学习各种算法,分析了各自的特点。建立了机器人步态环境空间、状态空间、动作空间,抽象机器人智能体模型,建立基于tensorflow和gym强化学习虚拟仿真环境,较大程度考虑真实环境信息,提高算法训练效率,保证训练得到基本控制模型的适用性。根据双足机器人的腿部输出连续的动作空间特征,采用DDPG强化学习算法解决连续动作空间问题,提出了基于目标区域与指向性的引导奖惩机制的DDPG改进方法,提高机器学习的收敛效率,缩短了机器学习的训练和收敛时间,实验结果显示改进方法的有效性和实用性。在真实环境下,提出了强化学习服务器与NAO客户端远程运行模式,采用Choregraphe和python混合编程方式,搭建Nao机器人强化学习平台,实现模型数据的实时传输,结合DDPG算法模型参数的nao机器人可实现正常移动。构建了真实机器人智能控制方法的自学习环境,为进一步实现机器人智能控制提供了物质基础。