自由空间光通信（Free Space Optical Communication,FSOC）是一种以激光为载体,大气为信道的无线通信。尽管FSOC有成本较低,不需要铺设链路,传输速率快,节省空间等优点,但FSOC会受到大气环境的影响,降低通信质量。自适应光学（Adaptive Optics,AO）是一种可以实时捕获光束,监测由于大气湍流产生的波前像差,并通过算法对波前像差进行校正的技术。其中非波前传感FSO-AO系统用控制算法对波前像差进行校正,系统使用的控制算法的性能在一定程度上决定了系统的性能,从而影响了FSOC系统的通信性能。常用的控制算法虽然操作比较简单,但存在着迭代次数过多,耗时较长,校正效果不佳等问题。追求校正效果更好,校正更快速的算法成为了研究的课题,本文将重点研究非波前传感FSO-AO系统的控制算法。本文先阐述了非波前传感FSO-AO系统的原理和组成结构以及控制算法在系统中校正波前像差的原理。介绍了评价系统性能的指标以及指标在控制算法中的使用。随后介绍了大气湍流对波前像差的影响,用Zernike多项式模拟波前像差的原理并仿真。在此理论基础上分别分析了随机梯度下降（Stochastic Parallel Gradient Descent,SPGD）算法和模拟退火（Simulated Annealing,SA）算法的原理以及它们在非波前传感FSO-AO系统中的具体应用,并分别对其进行仿真模拟,分析了仿真结果,验证了算法校正波前像差的可行性。针对现有控制算法存在的缺点进行分析,在此基础上本文首次提出一种可以提高系统校正精确度和校正效率的混合算法。该算法将卷积神经网络（Convolutional Neural Networks,CNN）和SPGD算法相结合,大体思路分为“粗分类,细校正”两部分,先利用Zernike多项式的光学性质对波前像差进行分类,并设定每个分类中的Zernike多项式标准系数值,分类结束后将所属分类的对应标准值的校正电压作为SPGD算法的初始电压并进行精细校正。本文具体阐述了创新算法的原理,具体应用流程和实现过程并对其进行大量的仿真模拟。对仿真结果进行性能分析并将该算法与已有算法进行比较,结果表明在相同目标下,该算法可以减少迭代次数节省时间,提高补偿像差的速度。在相同迭代次数下,性能指标得到了大量的提升,该算法提高了FSO-AO系统校正波前像差的能力,可以提升FSOC系统的通信耦合效率和通信质量。本文也为日后对AO系统的控制算法的进一步研究打下了良好的基础。