随着现代社会科学技术的飞速进步,为了满足人们日益增长的信息需求,研究一种新型大容量通信技术已成为当前通信领域的研究热点之一。涡旋光束由于其本身携带轨道角动量（Orbital Angular Momentum,OAM）,且携带不同OAM的涡旋光束之间相互正交,因此可作为扩充信道传输容量的信息载体应用到光通信领域。目前,基于OAM的新型光通信技术已成为自由空间光通信领域的热门研究方向之一。对于一套高效的基于OAM的新型光通信系统,其关键之一是需要快速完成OAM模式的解复用,因此提出一种高效的OAM解复用技术是目前国内外众多人员的研究重点所在。本文旨在提高OAM光通信系统的高效性,围绕OAM模式的复用和解复用,建立一套高效的新型OAM模式的光通信系统,其具体的研究内容如下所示:（1）提出了一种在大气湍流环境中传输的基于改进的卷积神经网络（Convolutional Neural Networks,CNN）的OAM模式新型光通信方案。由于涡旋光束的螺旋相位容易受到大气湍流等传输环境的影响,为了实现通信系统的高效性,对此本文采用了近年来较为流行的深度学习方面的技术对在大气湍流环境中传输的OAM模式进行快速识别。同时还探究了不同湍流强度和传输距离对OAM模式的识别精度影响。为了增强系统的实用性,还探讨了OAM模式多路复用后,该系统对复用OAM模式的识别精度。此外还训练了系统模型在未知湍流环境中的识别精度,证明系统模型具有良好的泛化性。（2）提出了一种结合了相位压缩算法和改进CNN模型的OAM模式新型光通信方案。随着湍流强度和传输距离的增大,研究内容（1）所提出的系统模型的解调精度将随之下降。为了增强系统的实用性,论文进一步在发射端加入了相位压缩算法,通过增强涡旋光束的光强分布特征以此提高OAM模式的识别精度。同样讨论了此方案在不同传输条件下的识别精度,同时也分析了在不同压缩比情况下识别精度变化。仿真结果证明,系统模型在强湍流情况下依旧具有较高的识别精度。此外,为了证实模型具有良好的泛化性能,同样对系统在未知湍流强度中进行了测试,并且与传统CNN模型进行了比对,证明该系统具有良好的泛化性能。（3）研究了一种在大气湍流环境中传输的基于OAM模式的视频传输新型光通信系统。本文在大气湍流环境中建立了一套基于OAM键控的视频传输通信系统,该系统采用了OAM-SK的方式来完成数字信号和OAM模式的映射,其发射端和接收端分别通过相位全息图和复合相位全息图来生成和解调OAM模式,并且在系统中还结合了涡轮码进行编解码。同时测试了在不同湍流强度下和不同传输距离下视频传输的正确识别率情况,仿真结果表明,系统模型在中湍流强度下传输可以得到99.61%的正确识别率,在强湍流环境中,由于涡轮码的纠错效果,系统模型也可以较好地进行视频传输。