涡旋光束作为一种携带有轨道角动量(orbit angular momentum,OAM)的光束,目前在通信系统中获得广泛关注。涡旋光束能够有效提高通信带宽的利用率。但是,在涡旋光束无线光通信系统中,大气湍流会引起光束波前相位的畸变,进而影响接收端的探测与解调,影响通信系统性能。因此,大气湍流修复技术是涡旋光束无线光通信系统的关键技术之一。无波前传感器的自适应光学系统利用优化算法寻找最佳修复相位,虽然减轻了系统的复杂度,但从通信角度出发,仍然需要提高系统的实时性。本文通过深入研究自适应光学优化算法相关问题,提出改进算法并结合OAM光束特性分析改进算法性能,以期从算法速度方面保证算法的实时性。主要工作及成果如下:(1)设计了一种基于逐步增益系数的随机并行梯度下降算法(stochastic parallel gradient descent algorithm,SPGD)的无波前传感器自适应光学补偿(wavefront sensor-less adaptive optics,WSAO)算法,该算法利用逐步增益系数变化的方式扩展了SPGD算法中增益系数的取值,提高算法的稳定性。(2)设计了一种基于改进SPGD的WSAO补偿方案。深入研究分析基于泽尼克多项的模式法(Model-SPGD)与基于变形镜子镜的区域法(Zonal-SPGD),分别对两种算法的优点与缺点进行分析评估,通过将引入低频扰动的Model-SPGD与引入高频扰动的Zonal-SPGD结合,提出MZ-SPGD算法方案,并通过仿真验证其稳定性与有效性。(3)将BP(back-propagation,BP)神经网络用于最优化算法的初值预测,设计系统框架,设计BP神经网络的输入输出及算法流程。通过仿真,从BP神经网络性能以及涡旋光束的修复效果两个方面对算法进行评估,验证BP神经网络的性能及该改进算法在不同大气湍流下修复的稳定性及有效性。