随着现代社会通信行业不断进步,高清视频通话及云计算的广泛应用,网络带宽需求爆炸性地增长,因此提高现有骨干网的数据通信容量成了当务之急。相干光通信因其高传输速率和高灵敏度等优点而备受关注,而光纤非线性再次成为限制光通信容量的瓶颈。近年来新提出的基于NFT的NFDM传输系统,结合了孤子理论,几乎不受光纤非线性的影响,有望替代传统的WDM系统,提高光通信容量。传统的NFDM传输系统采用拉曼放大器,带来了很大的非线性,在实际应用中有风险。因此我们去除了拉曼放大器,提出一种路径平均孤子的方法来保证同样的效果,本文主要研究了改进的非线性频分复用传输系统,对其性能进行分析。本文首先简要介绍了相干光通信技术的发展史,同时结合光纤非线性对相干光通信系统通信容量的影响,介绍了新提出的基于NFT的NFDM传输系统的优点,强调研究NFDM传输系统的重要意义。还针对传统NFDM传输系统使用拉曼放大器的缺点,提出了改进此系统的必要性。其次,对非线性傅里叶变换进行了定义。对传统的带拉曼放大器的NFDM信号传输系统中接收端的特征值接收性能进行了分析。对比传统方案,提出改进NFDM信号传输系统的方法,一种路径平均孤子的方法,即通过去除拉曼放大器,提高信号注入功率的方式,对其接收端的特征值接收性能也进行了分析。研究了不同计算NFT信号的算法下,系统误码率与采样值的关系。最后,通过仿真分析了频偏和激光器相位噪声对改进NFDM信号传输系统性能的影响,结果证明系统对其影响具有鲁棒性。接着,对改进系统中的两个特征值进行QPSK调制,产生了两类波形,并进行了检测与分析。同时,对相位调制系统中的单特征值进行调制,并分析了信号发射功率波动和线宽变化对系统的影响。