相干光通信作为能够实现长距离和大容量通信的新一代通信技术，已经受到了人们的广泛关注。随着高阶调制格式信号的产生和偏振复用技术的实现，相比于传统的直接探测方式，相干光通信系统体现出了其高频谱利用率和大的通信容量的巨大优势。与此同时，高速数模转换器(ADC，Analog to Digital Converter)的发展也日趋成熟，相干光通信系统的数字信号处理算法也得到了广泛的研究。在接收端，利用数字信号处理(DSP，DigitalSignal Processing)算法，能够在电域内对采样的数字信号进行色散、光纤非线性效应和相位噪声等干扰的补偿，避免使用如色散补偿光纤等物理设备，从而可以降低成本。本文主要总结了相干光通信系统的实现原理，并且重点研究了数字信号处理算法模块的时钟相位恢复和自适应信道均衡部分。研究工作和创新点可归纳为:　　1)本文总结了相干光通信系统，从发射机的信号调制、光纤信道的影响因素到接收端相干探测的实现原理。发射端重点分析了调制器的理论原理，并提出了一种基于单驱动调制器的偏振复用的16QAM(Quadrature Amplitude Modulation)信号的产生方式。　　2)本文总结了三种主流的采样时钟恢复算法。从理论公式推导了三种算法的实现过程，提出和证明了三种算法在数学公式上的等效性的结论。我们研究发现两种基于两倍采样率的算法在频域表达式上是等效的，基于频域插值得到的四倍采样率的算法的表达式与其他两种算法也是等效的。通过仿真数据，比较了三种算法的性能表现，验证了我们理论。　　3)在光学平台设计了10G Baud/s QPSK(Quadrature Phase Shift Keying)信号的相干光通信系统，并且通过实时示波器得到了若干组采样的实验数据，在PC(Personal Computer)端通过DSP算法在matlab平台对数据进行离线处理，进一步验证了我们提出的三种算法等效性的结论。　　4)本文总结了经典的偏振解复用的自适应信道均衡算法。从理论公式上推导了恒模算法（CMA, Constant Modulus Algorithm）的原理，提出了两种基于CMA的改进的均衡算法。改进的MCMA(Modified Constant Modulus Algorithm)算法和级联的MCMMA（Modified Cascaded Multi-Modulus Algorithm）算法，能够同时实现信道盲均衡和载波相位恢复。仿真表明，我们提出的改进MCMMA算法有更快的收敛速度、更低的稳态误差和更好的误码特性，适合用于高阶QAM信号。