强化学习是机器学习的一个重要分支,是一种从与周围环境交互中学习的计算方法。强化学习关注未知环境中智能体实现目标的顺序决策,广泛应用于自然语言处理,机器人控制等领域。区别于传统的机器学习算法,强化学习智能体在与环境的交互过程中获取样本并实现策略学习,同时,智能体需要为交互付出时间和空间的开销。特别是应用于控制系统的强化学习算法,过多的交互会使环境发生改变甚至给智能体和环境带来损伤。因此,能够用最少的交互成本学习环境的高效强化学习算法在应用中有着重要价值。在强化学习中,需要考虑两种效率:样本效率和计算效率。样本效率主要考虑真实交互获得的样本用于策略学习的情况,样本高效的强化学习算法应该尽量少的与环境交互,计算效率主要考虑的是实现强化学习任务需要的计算量。本文提出了用于提高样本效率的主动探索强化学习模型。受到主动学习通过选择信息含量大的未标记样例进行标记以提高分类器准确率的启发,结合强化学习获取样本的特点,在强化学习任务中,智能体未访问过的状态动作空间与主动学习任务中未标记样本相似。主动探索强化学习模型通过允许智能体主动地选择信息含量大的动作,使得强化学习任务中,智能体能够探索信息含量更高的样本,探索智能体更感兴趣的状态动作空间,从而有效的提高探索效率和交互效率,加快算法的收敛速度,实现高效强化学习。本文将主动探索强化学习模型应用于解决强化学习的具体问题中,在保证既有算法优势的前提下,进一步提高算法效率。具体包含以下三个研究内容:（1）提出了主动探索的初始样本采集算法,基于主动探索强化学习模型,为有模型强化学习算法采集初始样本集。有模型强化学习的第一步是建立样本集用于训练初始模型,样本集的选择对降低模型不确定性,提高算法收敛速度以及对强化学习任务的实现起着重要作用。主动探索的初始样本采集算法,使用高斯过程建模智能体与环境交互的动力学模型,以最大化下一状态的信息熵为目标,为智能体优化的选择当前交互动作。使用这种优化的策略与环境交互获得优化的初始样本集。相比于随机策略或确定策略,这种基于信息熵的优化采样方法获得的初始样本集信息含量更高。利用该样本集学到的动力学模型更能描述智能体与环境交互的真实情况。使用该方法为有模型强化学习算法选择初始样本集,在解决非线性动力学系统控制问题时,能获得更好的算法效率,进一步提高既有强化学习算法的样本利用率,使得智能体用更少的交互次数实现强化学习任务。（2）提出了主动探索的有模型强化学习算法AEPILCO。基于主动探索强化学习模型,优化有模型强化学习算法的策略更新。传统PILCO算法是一种有模型强化学习算法,在策略更新时,以最小化当前状态和目标状态的距离建立目标函数。PILCO在解决探索与利用问题中,使用的是自然探索法。PILCO在策略学习过程中,不能充分考虑策略更新对模型精度的影响。AEPILCO算法在建立策略更新目标函数时,引入主动探索项,以最大化下一步状态为目标,可以优化智能体的学习策略。利用优化的策略与环境交互,生成的样本也有利于模型的训练。这种基于主动探索强化学习模型的优化探索方法,在解决非线性动力学系统控制问题时,可以在时间开销与原有算法差别不大的前提下,显著地提高样本效率,使得智能体以更少的交互实现强化学习任务。（3）提出了主动探索的无模型强化学习算法AEDDPG。沿用DDPG的行动者评论家结构,行动者网络建模策略,评论家网络建模动作值函数。在此基础上,AEDDPG使用主动探索强化学习模型引入主动探索模块,用以辅助DDPG获得优化策略。主动探索模块使用高斯过程建立动力学模型,充分考虑策略学习对未来智能体可能经历的状态的影响,以最大化潜在状态的信息熵作为目标,间接辅助智能体策略学习。将主动探索的目标融入到DDPG的策略评估中,可以有效的提高探索效率。实验中,将AEDDPG应用于解决非线性动力学系统策略学习任务中,不仅可以解决前面两个内容涉及的高维状态和动作空间问题,相比于自然探索,能够使用更少的交互实现策略学习,实现样本高效。本文受主动学习能够提高分类器准确率的启发,结合强化学习获取样本的特点,提出了主动探索强化学习模型,并将其应用于解决强化学习算法的几个具体问题,包括获取有模型强化学习算法初始样本集,有模型强化学习策略更新以及无模型强化学习的策略更新上。基于主动探索强化学习模型的高效强化学习算法能很好的降低智能体交互成本,提高样本高效性。