自适应光学是近几十年来光学成像领域的重大进步之一。它是应望远镜观测星象而发展起来的一门学科。如今，地基天文望远镜几乎都装备了自适应光学系统，并且自适应光学技术随着研究的不断深入而分支出多个方向，以解决更多的实际问题。自适应光学系统现在在星载光学系统、机载激光武器系统、激光核聚变系统、空间激光通信系统、人眼视网膜高分辨力成像系统等领域中取得了应用。自适应光学系统的控制方法研究，是自适应光学的一个重要方向。本研究围绕提高自适应光学系统的稳定性和系统性能，展开理论分析和实验研究。本研究首先依托德国弗劳恩霍夫协会应用光学精密机械研究所某自适应光学系统试验平台展开研究。该试验平台使用的波前校正器为压电变形镜。压电变形镜是一种最常用的波前校正器，它具有价格低、校正速度快、变形量大等优点。它的缺点是存在磁滞现象，这是一种典型的非线性现象。要补偿磁滞所带来的影响，首先必须对磁滞进行测量。作者参与搭建的自适应光学系统试验平台既可以完成磁滞的测量，又可以实现对扰动的实时校正。本论文首先研究和测量了压电变形镜的大环磁滞回线。提出了一种基于线性拟合的自适应光学系统控制方法和一种基于查表法的自适应光学系统控制方法，以补偿压电变形镜磁滞，实现系统的稳定控制。编写了LabVIEW程序，以实现对自适应光学系统的控制。试验显示，提出的两种方法实现了对扰动的实时、稳定的校正。变形镜的磁滞、热效应等，可以建模为乘性不确定性，从而通过鲁棒控制方法，确保系统的稳定运行。若系统在不确定性的影响下仍然稳定，则系统是鲁棒稳定的。H-infinity控制是一种典型的鲁棒控制方法。近十年来，自适应光学系统H-infinity控制也被提出和初步应用。本研究依托中国科学院光学精密机械研究所某自适应光学系统试验平台进行建模。提出了自适应光学系统混合H2/H-infinity控制，在保证鲁棒稳定的基础上，进一步提高系统性能。并将所提出的自适应光学系统混合H2/H-infinity控制，与自适应光学系统H-infinity控制，以及自适应光学系统最常用的积分控制进行对比。采用大气湍流波前泽尼克多项式模拟方法及泰勒冻结理论，设计了一种静态和动态大气湍流波前相位仿真程序。对比了三种控制方法的校正后残余波前相位以及系统的鲁棒稳定性。仿真实验结果显示，采用混合H2/H-infinity控制器的自适应光学系统同时获得了小的残余波前相位和好的系统鲁棒稳定性，在满足相同鲁棒稳定性的前提下，采用混合H2/H-infinity控制器使残余波前相位均方根比采用H-infinity控制器和积分控制器分别减小了16.7%和37.1%。同时，混合H2/H-infinity控制器与H-infinity控制器的阶次都等于广义被控对象的阶次，混合H2/H-infinity控制并没有使设计更复杂或控制器阶次更高。证明了自适应光学系统混合H2/H-infinity控制的优越性。如何在保证性能的前提下，设计出阶次低，结构简单的鲁棒控制器，是鲁棒控制研究的一个重要方向。在自适应光学系统中采用阶次低，结构简单的控制器，可以减小控制器的运算时间延迟，降低控制器的实现难度。本研究提出采用非光滑H-infinity控制方法设计自适应光学系统控制器，以获得阶次低，结构简单的自适应光学系统鲁棒控制器。针对本系统所设计的非光滑H-infinity控制器仅为一个常数矩阵与4阶单输入单输出传递函数的乘积。为了和非光滑H-infinity控制方法进行对比，采用了传统的H-infinity控制方法和平衡模型降阶法，设计了全阶H-infinity控制器和降阶H-infinity控制器，控制器的阶次分别为226阶和163阶。为验证和比较控制效果，模拟了采用非光滑H-infinity控制器和全阶H-infinity控制器的自适应光学系统的校正后残余波前相位。仿真结果表明，这两个自适应光学系统有着近似的控制效果，证明了自适应光学系统非光滑H-infinity控制的有效性。