随着人工智能技术的发展,连续机器人控制在实际应用中的重要性日益增加,受到学术界及工业界的广泛关注。然而,连续机器人控制任务在实际中无法精确建模,采用传统方法难以合理规划控制策略,且设计好的控制模型易于受环境干扰信号影响而导致控制效果不佳。因此,通过数据驱动方式进行连续机器人控制策略的学习成为目前的研究重点。基于策略梯度（Policy Gradient,PG）的连续空间无模型强化学习（Model-free Reinforcement Learning,RL）方法,无需构建数学模型,通过与环境交互获得奖励信息即可进行控制策略的学习,为连续机器人控制任务的策略学习提供了另一个解决途径。但是,基于PG的RL方法普遍存在训练时间长、收敛速度慢等问题。为此,本文对基于连续空间强化学习的机器人控制算法展开研究,提出一种基于群智能参数探索的策略梯度方法（PG-PSOPE）,为连续机器人控制任务的策略学习提供简单且高效的RL框架。主要工作体现在以下三个方面:（1）针对基于PG的RL方法解决连续机器人控制问题时,由于动作空间探索导致的梯度估计高方差问题,本文采用参数探索替代动作空间探索方式。此外,策略探索与策略更新过程同时进行,完全取代复杂且容易陷入局部最优的策略梯度估计过程,避免复杂的梯度计算及梯度估计高方差问题,从而加快算法收敛。（2）为加快连续机器人控制策略的训练过程,本文首先将控制策略优化问题转化为基于动态环境交互的连续控制策略参数优化问题,再引入粒子群优化算法（PSO）于RL中进行策略参数探索与优化。借鉴PSO思想,通过构建初始策略参数不同的智能群体与环境进行交互,直接对策略参数进行探索与更新,无需复杂的反向传播操作,加快训练。且额外的概率性突变操作可有效缓解算法陷入局部最优的窘境,进一步加快算法的收敛与训练过程。（3）本文算法在基于MuJoCo物理引擎的Open AI集成仿真环境上,进行经典倒立摆控制与复杂程度不同的机器人运动控制任务的对比实验。结果表明所提方法的有效性及收敛速度的大幅度提升,其中训练时间提升比例高达1.92-58倍。