随着信息化和数字化技术应用的不断扩展和深入,无线通信网络的容量、速率、安全性方面的限制已成为信息技术进一步发展的瓶颈,研究人员提出了自由空间光通信(FSO)系统作为应对方案之一,并迅速成为研究热点。近年来,携带轨道角动量(Orbital Angular Momentum,OAM)的涡旋光束作为光信号载波因具有抗湍流特性及OAM复用能力,在FSO系统中有非常巨大的应用潜力。因此,越来越多的研究人员开始关注利用涡旋光束作为载波传输数据的通信技术,然而在大气信道中传输的涡旋光束信号极易受到干扰,严重的限制了OAM FSO系统的传输性能和可靠性。为了削弱大气信道对光信号的干扰并提升系统的性能,我们对OAM在大气中传输的信道进行研究。采用基于Von Karman湍流功率谱模型的随机相位屏法对大气湍流进行模拟,使用仿真的方法对涡旋光束在大气信道中的传输特性进行研究,并采用闪烁指数作为衡量光信号能量波动(即大气湍流信道好坏)指标。首先,研究了孔径平均效应对抗OAM FSO信道衰落,根据光波传输仿真的结果,我们发现在不同湍流强度、不同传输距离、不同涡旋光束类型和不同拓扑荷数情况下,孔径平均效应对涡旋光束信号闪烁指数的削弱都是十分有效的。其中,矢量涡旋光束具有最优秀的抗湍流能力。为了进一步降低信号的闪烁指数,本论文采用发射分集和接收分集技术抑制光信号闪烁指数。分别从理论推导和计算机仿真的角度验证了空间分集对闪烁指数的抑制作用,并分析了不同发射分集和接收分集配置对闪烁指数抑制能力的影响。随后,为了应对空间分集技术所引入串扰分布的恶化,对倾斜传输的涡旋光束的相位分布进行分析并使用共轭相位对恶化的串扰分布进行了补偿,进一步提高OAM FSO信道稳定性。除了对抗大气湍流对光信号的干扰外,还可以使用OAM实现FSO系统的OAM调制和复用。为了研究OAM调制和复用技术,就需要考虑OAM信道间的串扰。本论文提出了基于空间频率谱的串扰分布定义,可以更好地描述信道间串扰的剧烈程度。经过大气湍流传输后,OAM信道间的串扰非常剧烈以至于难以区分各信道间传输的信号。为了实现对OAM信号的准确识别,本论文提出一种基于串扰分布统计特征的拓扑荷数检测方法。通过对OAM信道串扰分布中有关拓扑荷数的整体有效特征进行提取,实现对拓扑荷数的精确检测。与传统的直接检测拓扑荷数的方法相比,本论文所提出的检测方法不仅具有更好的准确性,还可以实现传统方法不具备的检测错误率预估。