随着通信行业向5 G时代高速发展的步伐,VR、在线直播、云手机、网络云盘等新型数据服务业务层出不穷,人们对网络带宽的需求只增不减。目前,常用的光网络扩容技术主要包括波分复用、偏振复用、码分复用以及正交频分复用以及高阶调制技术等,但这些技术均是以单模光纤为传输介质。而受单模光纤的非线性效应影响,光通信系统的容量愈来愈接近理论极限。在这样的背景下,基于空间维度的空分复用技术迅速成为了研究的热点,尤其是基于少模光纤的模分复用技术,利用多个独立正交的模式或模式群作为理想信道来实现复用传输,被认为是最具可行性的光扩容技术。本文对模分复用传输技术进行了深入的研究,并搭建了基于模式选择性光子灯笼的3×3与6×6模分复用实验传输系统,分别在强度调制-直接探测和相位调制-相干探测两种通信模式下对实验系统的通信性能进行了实验研究。本文的主要工作如下:首先,对模式传输的基本理论进行了介绍和分析。利用波动方程组,对线性偏振模的产生、模式的正交传输特性等方面进行了推导,为模分复用系统实现复用传输提供了理论支撑。然后分析了模式传输过程中的损伤因素,重点对模式耦合引起的模式串扰进行了研究。其次,对多种模式复用器/解复用器,尤其是对光子灯笼型模式复用器的结构、工作原理以及性能特点进行了分析。实验测试光子灯笼的工作性能,测得器件的模态图,并给出了光子灯笼的插入损耗值以及光子灯笼间的模式串扰量等参数,为模分复用系统的搭建提供了基础。然后,将模式选择性光子灯笼作为模式复用器,搭建了基于强度调制的模分复用实验系统。在传输速率为5Gb/s的条件下,分别实现了3×3与6×6模分复用系统不同传输距离下的模分复用传输实验。实验测试了接收信号的波形、眼图和误码特性。实验结果表示,当接收功率分别高于-19.4dBm、-18.5dBm、-18.8dBm、-18.2dBm、-17.9dBm、-16.8dBm时,六路信号的误码率均低于10^-3。接着,通过IQ调制器与相干接收机,搭建了基于QPSK调制格式的模分复用实验系统。实验分别测量了3×3与6×6模分复用系统在5Gb/s和10Gb/s传输速率下的信号波形。通过对采集到的信号进行离线处理,得到了各路信号的星座图与误码特性曲线,并在此基础上对系统的通信性能进行了分析。以6×6模分复用系统为例,当LP₀₁、LP_11a、LP_11b、LP_21a、LP_21b以及LP₀₂模信道的接收功率均大于-15.5dBm时,该系统能实现6×10Gb/s QPSK信号在10km少模光纤上的良好传输。最后,对全文的主要工作进行了总结,分析了模式选择性光子灯笼作为模式复用器使用的可行性,对实验系统的通信性能进行了评价,并对模分复用系统的性能优化、更高速率的实现等方面进行了展望。