高清视频等新型数据业务的兴起导致了数据中心相关的流量大幅增长,因此数据中心之间的短距光互联场景需要高速率和低成本的传输方案。相干传输系统受限于激光器难以集成的问题短期内无法有效降低成本,而直接检测系统无需接收端激光器,适应于硅基光子集成的趋势。因此,本文选择直接检测系统作为研究对象。针对高速率、低成本和高性能的直接检测系统这一目标,本文研究了如何使用数字信号处理（DSP）技术来实现高速复值信号的低成本检测和高性能传输,并探索了适用于大容量波分复用系统的高光谱效率信号传输,最终实验演示了多种高速率、低成本的高性能直接检测系统。本论文的研究成果及创新点可概括为:1.基于新型KK接收机的光场恢复算法基于Kramers-Kronig（KK）接收机的单边带直接检测方案可以避免功率衰减效应对传输速率的限制,但是它需要较高的载波信号功率比,限制了接收机灵敏度。为了解决这个问题,本部分提出对单边带信号施加自然指数运算来构建最小相位信号,其在低载波信号功率比条件下也可以确保KK关系成立,从而实现高接收机灵敏度。相关成果在OFC会议上被评为最高分论文,随后受邀发表在IEEE/OSA Journal of Lightwave Technology上。1)理论推导了新型最小相位信号在低载波信号功率比下仍能保证KK关系成立。2)仿真分析了新型最小相位信号对色散的容忍度以及对系统带宽的需求。3)在单边带直接检测系统中实验演示了新型KK接收机的可行性,其相比于传统方案可以实现更高的接收机灵敏度。2.基于神经网络的光场恢复算法相比于单边带信号,复值双边带信号对高速直接检测接收机的带宽需求减半,可以降低系统成本。然而,复值双边带信号的虚部分量在平方检波过程中丢失。本部分提出了一种基于神经网络的光场恢复算法,可以实现复值双边带信号的直接检测。在所提出的方案中,两个直接检测接收机分别被用来探测色散前后的复值双边带信号,因此两个探测值中分别包含了信号的实部分量和部分虚部分量。接着神经网络被用来从两个探测值中恢复出原始信号。相比于先前的复值双边带光场恢复方案如载波协助差分探测,神经网络方法大大简化了接收机结构且算法无需迭代,有效降低系统成本的同时更有利于实时应用。1)仿真验证了神经网络光场恢复算法的可行性。2)仿真分析了神经网络光场恢复算法的抗噪性能,以及载波信号功率比对系统性能的影响。3.基于神经网络的非线性均衡算法为了提升高速直接检测系统的性能,本部分提出了一种基于神经网络的非线性均衡算法来同时处理光纤非线性效应以及系统正交和同相（IQ）串扰损伤的影响。实验结果表明所提出算法能实现比传统方案更高的传输性能。1)搭建单边带直接检测系统,实验验证了神经网络非线性均衡器的可行性。112Gb/s 16-QAM信号经过单段120公里和单段145公里光纤传输后,误码率可以分别达到7%和20%前向纠错阈值。2)实验证实了神经网络相比于传统Volterra滤波具有更强的非线性均衡能力。4.基于THP预编码的联合均衡算法提升高速直接检测系统的光谱效率有助于结合波分复用技术进而提高系统容量。先前报道的高光谱效率直接检测系统一般基于最大似然估计算法,无法有效处理高谱效率滤波和IQ串扰的影响,针对单偏振16-QAM信号实现的最高光谱效率为4.04 b/s/Hz。本部分提出了一个基于Tomlinson-Harashima预编码（THP）的联合均衡算法,不仅能抑制高谱效率滤波引入的信号码间串扰,而且对IQ串扰有较高的鲁棒性,因此可以实现比先前更高的光谱效率。基于一个单偏振16-QAM信号传输实验,所提出的联合均衡算法实现了4.30 b/s/Hz的光谱效率。1)实验验证了THP联合均衡算法的有效性,并提出了一种可以简化系统操作的THP系数计算估计方法。2)实验演示了112 Gb/s超奈奎斯特16-QAM信号传输80公里,光谱效率为4.30b/s/Hz,打破了单偏振单波长16-QAM信号传输的光谱效率纪录。