微小型制导弹药是一类典型的微小型飞行器,具有尺寸小、便于携带、精度高、附带损伤小等特点,可装备于无人机或单兵作战,将在未来战争中起到重要作用。在微小型制导弹药的控制中,最优控制作为姿态控制的一种基本策略,可以通过最小化性能指标,获得具有最优性能的调节器或跟踪器。但在设计控制器时,通常需要建立准确的系统模型,而在实际飞行过程中,由于环境的影响及制导弹药自身的变化,导致控制模型不易获取或具有很强的非线性,因而不易求得控制策略。本研究对人工智能(Artificial Intelligence)技术在传统飞行器控制中的应用进行探索。以微小型制导弹药为研究对象,利用强化学习(Reinforcement Learning)方法对其制导与控制进行研究。首先建立微小型制导弹药的动力学模型。利用绝对导数与相对导数的关系得到弹体运动方程组,进而对其线性化得到弹体俯仰通道短周期运动状态方程,主要考虑攻角及俯仰角速率两个状态变量。讨论常用的强化学习方法,并选择Actor-Critic结构进行控制器设计。其次研究线性二次型控制问题。针对跟踪控制,建立增广矩阵并引入折扣代价函数(Discounted Performance Function),推导得到折扣代数黎卡提方程(Discounted Algebraic Riccati Equation)。利用Actor-Critic结构及策略迭代方法,在系统状态矩阵未知的情况下求解最优控制解。与直接求解ARE方程的结果进行对比,分别验证了强化学习方法可以得到二次型最优跟踪器及调节器,并讨论了设计最优调节器时,代价函数的权值设置对状态收敛速度及精度的影响。最后考虑输入量受限的情况,将其等效为带有饱和控制器的非线性系统。建立非二次型代价函数及跟踪哈密尔顿-雅可比-贝尔曼(Hamilton-Jacobi-Bellman)方程,并给出离线策略迭代算法。利用神经网络近似非线性值函数,求得近似最优解。利用数值仿真得到带有饱和控制器的微小型制导弹药的近似最优跟踪控制策略,验证了强化学习方法设计跟踪器的有效性。