涡旋光束是指相位在空间上呈螺旋分布的结构化光束,由于相位分布中心的不确定性,其光强表现为暗中空分布。涡旋光的每个光子都携带轨道角动量,具有独特的动力学特性、轨道角动量特性和拓扑结构,被广泛应用于光学微粒操控、粒子捕获和光通信等领域。尤其在通信领域,由于轨道角动量具有无穷正交性,这一新的物理维度可以极大地提高光通信容量和传输速率。在涡旋光通信研究中,主要可分为模式调制和模式复用两种通信方式。模式调制通信是指将信号按照一定的编码方式映射为相应的模式序列,通过快速切换模式来实现信号传输。模式复用通信是指以模式作为信道,承载信号向前传输,并在接收端对信号进行解复用。不管是涡旋光调制通信还是复用通信,在接收端要获得传输信号都需要对涡旋光的轨道角动量模式进行识别,而有效的模式识别方法是保证通信质量的关键因素之一。目前常用的轨道角动量模式识别方案包括干涉法和衍射法,分别通过干涉和衍射的方法将涡旋光束的模式信息呈现在强度分布上,从干涉或衍射图案中直接肉眼观察出模式阶数。但由于器件性能和分辨率等问题的限制,对于大拓扑荷范围的混合轨道角动量模式及分数阶轨道角动量模式,干涉和衍射法的识别准确率往往难以满足需求,且识别的速率受到严重限制。特别是在受到大气湍流影响时,畸变的相位及强度分布会极大程度上降低轨道角动量模式纯度,影响对模式阶数的判断。因此,如何高速且高准确率地识别轨道角动量模式,同时在湍流影响下保证识别的准确性,是进一步发展涡旋光通信需要解决的关键问题之一。本论文针对涡旋光应用于通信等领域存在的模式识别困难等问题,研究基于深度神经网络的涡旋光束模式信息提取及其通信应用。深度神经网络是一种人工神经网络,擅长于信息的提取,被广泛应用于图像处理、自然语言处理和光场信息处理等领域。通过设定输入数据和理想输出,深度神经网络可以自动构建出其中的映射关系,一旦训练完成,神经网络模型即具有相应的数据处理功能。利用深度神经网络出色的信息提取能力,本论文研究了基于深度神经网络的混合轨道角动量模式和分数阶轨道角动量模式识别,设计了一种二维光栅对涡旋光进行衍射,利用深度神经网络从衍射图案中提取模式信息,实现多种类混合模式和分数阶模式的识别,同时探索可识别的最大模式范围及识别精度。另外,由于自由空间中大气湍流会严重降低模式纯度,为降低湍流对模式识别准确率的影响,研究基于深度神经网络的湍流矫正,根据大气湍流能够使涡旋光强度分布发生畸变的特性,利用深度神经网络从光束强度分布中提取湍流信息,并还原为湍流相位,实现光束的畸变矫正。并利用提出的基于深度神经网络的涡旋光信息提取方案,进一步研究基于深度神经网络的轨道角动量解调/解复用通信。研究结果不仅为轨道角动量光通信的实际应用提供新的思路,还将促进人工智能与轨道角动量光通信的进一步融合。本论文的主要创新点有:1)针对现有的轨道角动量模式识别方案难以识别大范围的混合涡旋光和分数涡旋光模式阶数的问题,提出了基于深度神经网络的涡旋光模式识别方法。不仅能够识别上百种混合模式和分数阶模式,且分数阶的识别精度能够达到0.05阶,另外识别速度能达到微秒量级。该工作不仅为混合轨道角动量模式和分数阶轨道角动量模式提供了一种有效的识别方案,还将进一步促进大容量轨道角动量光通信的发展。2)针对涡旋光在自由空间中传输容易受到大气湍流影响导致模式识别准确率下降,及传统的自适应光学湍流补偿系统存在计算所耗时间长、准确度有限、无记忆功能和系统复杂等问题,提出了基于卷积神经网络的大气湍流补偿法。以涡旋光作为湍流特征信息提取对象,不仅可以准确地还原湍流相位,还可以直接将该涡旋光作为信号光用于复用通信中传输信号。另外,还具有系统简单及湍流预测时间短等优势,并且有望适用于各个需要对大气湍流进行补偿的领域。