为虚拟角色设计运动控制器是一项有挑战的任务。本篇文章使用深度神经网络作为运动控制器来控制OpenAI Gym工具包上的虚拟角色。现有的将神经网络作为虚拟角色运动控制器的方法更多地关注角色运动的鲁棒性,而忽视了其运动姿态的自然性与风格化。此外,OpenAI Gym上的环境也缺少虚拟角色在障碍地形下的运动仿真。本文提出基于时空约束的神经网络运动控制器:通过在训练过程中将时空约束加入至回报函数中,来优化虚拟角色的运动。提出基于运动捕捉数据的神经网络运动控制器:借助运动数据作为先验信息来指导虚拟角色运动控制器的学习,整个学习过程利用渐进的回报函数,首先从一个简单的回报函数开始,然后逐步对步态模式施加更高级要求,提出了一种多评论(multi-critic)模型,通过对单个目标进行独立评估,来处理动态变化的回报函数。提出在OpenAI Gym上基于地形信息的虚拟角色运动控制器:构建复杂地形,将虚拟角色放置在复杂地形环境中,通过对地形信息进行采样,控制虚拟角色学习在复杂环境中的向前运动。实验结果表明:将时空约束添加到回报函数中,可以有效地避免虚拟角色(HalfCheetah、Hopper)产生糟糕的运动姿态,使其运动更加自然;运动数据的整合不仅保证了合成运动与原始运动的一致性,而且加速了网络参数的学习过程。本文演示了所提出的方法在各种虚拟角色(HalfCheetah、Hopper、2D Walker和3D Humanoid)上的应用,这些虚拟角色执行各种运动模式(以不同的速度行走、跑步、跳跃和穿越不平坦的地形)产生风格化运动;基于复杂地形信息的学习过程,使得3D Humanoid可以在复杂的虚拟环境中前进。