在信息化社会不断发展的当下,信号对传输链路容量的需求依旧在不断地增加。为了满足日益增长的大容量传输需求,突破单通道系统链路的传输瓶颈,基于多通道的空分复用光传输系统受到了越来越多的研究。利用少模光纤中丰富的模式资源和多芯光纤中多个物理传输通道,通过少模光纤模式复用与多芯光纤相结合,实现传输通道的多输入/多输出,以增加传输系统的自由度,突破光通信传输链路的容量极限。在基于少模多芯空分复用的多通道传输系统中,利用少模光纤模式复用技术,能够实现多个不同模式的传输以扩大系统链路的通道容量。少模光纤相比于单模光纤具有更大的非线性容限及场面积,因此能够承载更大容量的信息传输。然而,在少模光纤链路中由于各个不同模式之间的传输速度的差异,导致模式之间产生模式耦合及模式色散。信号在多芯光纤中进行传输的过程,也会受到纤芯串扰的影响,使得系统的传输性能下降。因此,为了避免系统中的耦合效应对系统传输性能的影响,需要通过有效的均衡对传输链路中的损伤进行补偿。本文建立了少模多芯空分复用多通道传输系统模型,在研究复用系统理论和系统传输链路中耦合的基础上,重点研究了链路发射端利用强滤波对信号频谱进行压缩、基于模芯联合均衡的FIR-CMA MIMO均衡以及基于矩阵变换的训练序列均衡。论文的主要研究工作如下:(1)在研究Nyquist强滤波信号产生的基础上,提出了适用于少模多芯空分复用光传输系统的强滤波信号压缩方法。利用升余弦滤波器对发送端传输的光信号进行强滤波处理,压缩光载波信号的频谱,使其频谱带宽接近于滤波带宽极限。研究结果表明,本论文提出的强滤波压缩方法适用于少模多芯多通道光传输系统,能够有效的压缩信号的带宽,提高系统的频谱效率。(2)在研究少模多芯多通道光纤传输系统中随机模式耦合、纤芯耦合及色散效应的基础上,设计了包含群时延、模式色散等特性的光场耦合模型,提出了基于模芯联合均衡的FIR结合CMA的MIMO均衡方法。仿真研究的结果表明,与传统的变步长CMA均衡方法相比,该方法能够降低信道传输矩阵的复杂度,具有较优的均衡性能。(3)在研究少模多芯多通道光纤传输系统中各个模式的传播特性及矩阵传输耦合模型的基础上,设计了包含码间串扰、模式耦合、纤芯串扰及色散等损伤因素的光纤传输系统,提出了基于矩阵变换的训练序列均衡方法。仿真结果表明本论文所提的均衡方法能够有针对性的对光纤传输链路中耦合因素进行补偿,降低了均衡的复杂度,提高了传输效率。