随着近些年来互联网、多媒体数据等业务的飞速发展,人们对长距离大容量的传输系统的需求就越来越大。光纤具有损耗小、带宽大的优点,能够容纳极大的信息量,自从问世以来就受到广泛的研究和关注。光纤传输系统的容量已经从初期阶段的10G逐渐增大到40G甚至100G,系统的升级一方面满足了人们的需求,但是另一方面也带来了很多问题。光纤中存在着损耗、色散、偏振模色散和非线性效应等损伤,随着传输速率的增加,这些损伤会极大地降低传输效果,设计能够有效地补偿和恢复这些损伤的接收方案势在必行。另外,发射端的实现复杂度也会随着系统的升级而大大增加,设计简单的发射方案并生成高速信号也是必不可少的。近些年来,灵活的相干接收方案发展十分迅速。相干接收机将传输信号从光域线性地变换到电域,完整地保留了信号的相位和偏振态信息。在接收机的数字信号处理模块中,多种电域算法能够很好地补偿和恢复信号受到的损伤。相应地,发射端可以采用高阶相位调制格式并结合复用技术来提高信号的频谱利用率,比如相移键控格式(M-PSK)或正交幅度调制格式(M-QAM)。本文针对高速相干光纤通信系统以及部分信道均衡补偿算法做了理论研究和仿真实现。主要工作分为以下几部分：1.分析了光纤中存在的多种损伤特性,包括损耗、色散、偏振模色散和非线性效应的产生机理和理论模型；2.详细分析了相干接收系统的结构和工作原理,介绍了两种常见的接收方案,以及各个模块的功能和内部结构。阐述了16QAM信号的调制和解调过程,介绍了偏分复用的实现原理,并搭建了112Gb/s的PDM-16QAM相干接收仿真系统。3.介绍了相干接收机中负责偏分解复用和偏振模色散补偿的均衡器的结构和工作原理,回顾了典型的均衡算法。在此基础上,针对传统算法的不足,提出了几种改进后的均衡算法,给出了算法的理论模型,并分别在112Gb/s的PDM-16QAM仿真系统中与传统算法做了传输效果的对比和分析,主要包括算法的收敛速度、最终收敛效果,对偏分复用系统中的奇异性的抵抗力等。4.阐述了传输系统中进行载波相位恢复的必要性,介绍了载波相位恢复的原理以及典型的恢复方案,并在QPSK仿真系统中得到了验证。针对16Q信号的特点,给出了改进的接收方案,在PDM-16QAM仿真系统中验证了改进方案,并研究了相位恢复中的几个参数对系统误码率的影响。本文的研究工作集中在高速相干光通信系统中的电域均衡补偿算法的研究,根据新型调制格式以及具体的物理模型,提出了改进的解决方案,着力于提高系统的传输效率。