在全球数据流量爆发式增长的背景下,单模光纤通信系统容量已越来越接近其非线性香农极限。作为突破单模光纤容量极限的一种新的扩容技术,模式复用技术通过挖掘模式这一新的自由度可以成倍提升光纤通信系统容量。然而,在实际的基于少模光纤的模式复用系统中,模式耦合以及差分模式群时延等损伤会严重劣化模式复用系统的传输性能、限制模式复用系统的传输距离。在模式耦合和差分模式群时延的共同作用下,信号在模式复用系统中的传输过程要比单模光纤系统更为复杂,系统每路输出信号都是多路输入信号与信道冲激响应线性卷积的叠加。因此,本论文针对少模光纤模式串扰以及模式耦合、色散对模式复用系统性能的影响等热点问题进行深入研究,主要研究工作如下:(1)对少模光纤中的模式串扰问题进行了仿真研究。基于电磁场理论对少模光纤的模式进行了分析,仿真出了少模光纤中四个模式的模场分布,从电磁场理论推导了模式的正交性,验证了少模光纤进行模式复用的可行性;随后基于射线理论对少模光纤中的模式串扰问题进行了仿真分析,仿真得出了重要结论,不同模式的光信号进入少模光纤的位置越集中,入射角度越大,少模光纤的相对折射率差越小,模式间串扰越大。(2)基于对少模光纤模式特性的仿真研究,重点分析了模式耦合和差分模式群时延的产生机理及其对不同模式的具体影响,得出重要结论,少模光纤中两个模式的传输常数差值较小时,耦合模场强度较大;对于传输常数相差很大的两个模式,在传输过程中所产生的模间耦合反而很小;高阶模式的偏振模色散大于低阶模,但是相比于模式色散,偏振模色散可以忽略不计。在综合考虑上述损伤因素的前提下,分别采用了耦合模理论法和矩阵传输法对模式复用系统进行了仿真建模,对比了两种建模方法的计算复杂度,得出结论,矩阵传输法更适用于模式复用系统建模。最后对模式复用系统中的色散补偿和MIMO均衡技术进行了分析,确定本论文仿真系统采用色散补偿光纤进行色散补偿,MIMO均衡采用恒模算法。(3)在OptiSystem软件平台上搭建了 2×2相干检测MDM系统,通过仿真分析色散、模式耦合等损伤对系统性能的影响,得出结论,色散会对传输信号造成干扰,使信号在传输过程中失真,无法进行可靠性传输,在系统中必须进行色散补偿;随着模式耦合强度不断增大,模式串扰变得越来越严重,信号逐渐失真;恒模算法能对串扰模式信号进行恢复,有效改善传输信号的质量;随着耦合强度的增加,均衡效果有所减弱。