近年来,伴随着经济全球化的不断深化和全球互联网产业的蓬勃发展,人类社会对通信产业的需求愈发增长。全球对通信容量需求的与日俱增,对光纤传输系统提出了日新月异的需求,光纤传输系统的带宽、速率和系统容量的提高逐渐成为迫在眉睫的要求。如何在现有单模光纤通信系统频谱资源的基础上,提升频谱效率已经成为当前光纤传输系统的重要方向。其中,和传统正交复用技术不同,非正交复用光纤传输系统突破了传统光纤通信系统中的正交化限制,并通过接收端的数字处理算法对非正交复用引入的码间干扰进行补偿,从而提升系统的传输容量。随着当前光通信中接收端数字信号处理芯片计算能力的不断提升,基于非正交复用的光传输技术成为进一步提高系统传输效率和容量的重要技术之一。论文针对非正交复用光传输技术中的接收端数字信号处理补偿算法开展了研究,完成的主要工作包括:第一,对非正交复用光纤传输系统进行了理论分析和建模,设计并搭建了基于时域脉冲重叠复用的非正交复用光纤传输系统仿真台。第二,设计并验证了基于多输入多输出(MIMO)和最大似然序列估计(MLSE)的时域非正交复用系统的接收端数字信号处理算法,对不同条件下的非正交复用传输系统接收处理性能进行了仿真对比,仿真结果表明在矩形脉冲成型条件下,基于MLSE和MIMO探测的2路时域非正交复用PDM-QPSK系统性能比同等速率的PDM-16QAM系统性能提高了 6.6dB和2.6dB。基于MLSE探测的非正交复用PDM-QPSK系统相对于符号速率相同的PDM-QPSK系统具有1.5dB的OSNR代价,但传输速率可提高一倍。第三,建立了带宽受限条件下的非正交时域脉冲混叠复用传输仿真模型,并对波分复用条件下的系统传输性能和接收端数字信号处理算法进行了仿真验证。结果表明滤波器带宽对系统性能影响较为明显,如当滤波器带宽在33.6GHz至56GHz范围内时非正交复用的QPSK信号的误码性能相对于16QAM信号具有优势,而随着滤波器带宽收窄接收端信号的误码性能受到的影响较为明显,如当滤波器带宽达到44.8GHz时,PQPSK信号的误码性能相对于PDM-16QAM信号具有约3dB的优势;且在不同滤波器带宽条件下OSNR对系统性能的影响程度也会有所不同。滤波器带宽较宽时,OSNR的增加对改善系统误码性能效果明显,而随着滤波器带宽收窄,OSNR对误码性能的影响减弱。