由于深度学习在人工智能领域的流行,神经网络模型已被广泛应用于强化学习、模仿学习或元学习问题中。在这些机器学习问题中,策略通常是由经过强化学习、模仿学习算法或元学习框架训练后的神经网络表示。然而,由于缺乏明确的规划运算,这种网络形式的策略本质上是仍是反应式的。针对这一问题,本文提出了多种基于规划网络模型的机器学习算法,并分别在完全可观察的马尔科夫决策过程、部分可观察的马尔科夫决策过程,以及元学习框架中进行研究和分析。主要研究内容可以概括为以下三个部分:(1)广义值迭代网络是一个应用于完全可观察的马尔科夫决策过程的规划网络模型,该网络中所涉及的值迭代过程并没有根据状态的重要性来合理分配每个状态所需的规划时间,这一定程度上降低了网络的规划性能及泛化能力。因此利用基于状态的异步更新方法,提出广义异步值迭代网络,使得新的网络在规划时,能够对每个状态所需的规划时间进行合理的分配。其次,广义值迭代网络所用的训练算法为情节式Q学习算法,其中仍存在着与Q学习中相同的值过高估计的问题。因此将加权双估计器的思想与情节式Q学习结合,提出情节式加权双Q学习算法,以尽可能地减少值过高估计对训练性能的影响。最后,提出了一种新型图形卷积算子,该算子可有效弱化任务内部图形结构中节点的度的分布对规划结果的影响,进而提高网络的规划性能。(2)QMDP-net是一个应用于部分可观察的马尔科夫决策过程的规划网络,该网络使用QMDP算法来近似解决部分可观察的马尔科夫决策过程,而QMDP的内部机制使用了值迭代算法,这使得QMDP-net的规划过程存在着与广义值迭代网络相似的问题。因此利用异步更新的思想,在QMDP-net规划模块中嵌入一种基于部分可观察环境的异步更新方法,并以此提出一个新的循环策略网络。此外,由于QMDP算法会假设智能体当前置信状态的不确定性在其执行了下一个动作之后就会消失,这就意味着规划网络生成的策略无法作用于那些需要重复收集信息的任务域,从而造成网络划性能的下降。因此利用了复制的Q学习算法来部分替代QMDP算法,并由此提出一个能更好的在部分可观察环境中进行规划的循环策略网络。(3)MAML是一个应用于元学习的规划网络,该框架基于元强化学习特性,通过梯度下降使得网络中的参数能够利用智能体之前的所执行过的策略和轨迹持续地进行训练,以此快速适应于不同的新任务中并规划出有效的策略。由于MAML的元更新过程需要通过梯度下降来估计二阶导数,这一定程度上降低了算法的训练稳定性和泛化性。因此对MAML中的元更新过程进行了改进提并出一种新的元学习算法框架。新框架能更好地执行元优化过程,从而使得最终生成的策略具有更好的泛化能力。