相对于在真空信道下的空地无线光通信,在大气信道下的空间光通信系统的实际应用是尤为普遍的。基于大气信道的空间光通信技术在城域网数据扩展、光纤数据备份、应急数据通信、蜂窝式回程通信网络、军事上的数据保密通信、量子数据通信以及“最后一英里”等多个应用领域已经得到了广泛应用。其中调制技术是实现其通信稳定的关键技术,直接决定了信号传输的可靠性与鲁棒性。目前正交频分复用技术由于其抵抗频率选择性衰落和窄带噪声的能力较强,可以有效抑制码间干扰以及随机衰落效应,一直以来是光通信研究的热点。但是,正交频分复用系统很难适应恶劣的信道环境,会因激光相位噪声等造成子载波间的串扰。而滤波器组多载波调制技术则弥补了正交频分复用的缺点,既保证了子信道的独立性,也不要求子载波间严格同步,更适合于空间光通信。圆偏振调制技术有更高的穿透力和抗衰减能力,对抗大气湍流也有更好的保偏特性,因此也是空间光通信的研究热点之一。将偏振调制技术组合并重新引入滤波器组多载波调制技术,能有效地结合两者的技术优点,应用于系统对抗恶劣的多信道干扰环境,提高了在无线光通信系统中的可靠性和工作鲁棒性。本文对基于地面点对点大气信道的滤波器组多载波的偏振调制技术进行研究,以解决现阶段研究中传统调制方式抗湍流能力差、子载波串扰严重、抗复杂天气环境能力差等问题。论文主要的研究内容和工作成果如下:（1）首先针对子载波正交频分复用调制技术频谱效率低、严格地要求子载波同步、子载波串扰严重等问题,本文提出了一种采用滤波器组多载波调制技术（FBMC）代替子载波正交频分复用技术的方案。仿真结果证明,基于滤波器组多载波调制技术相比基于正交频分复用调制技术更能有效解决空间光通信调制系统的子载波串扰及频谱效率低等问题,还能提升系统的信噪比。（2）其次,针对现有的偏振调制技术的抗大气干扰能力差的问题,本文首先提出了一种对于环境影响的极不敏感正交差分相移技术与圆偏振光调制相结合方式,然后为了验证滤波器组多载波的圆偏振调制技术的抗大气干扰能力,使之与本文所提出的正交差分相移调制的偏振调制技术仿真对比。仿真结果表明,在同样采用圆偏振光调制的方式下,本文提出的调制技术相比采用正交差分相移调制技术更能有效提高在正常天气下的抗干扰能力。（3）最后针对基于滤波器组多载波的偏振调制系统在对抗复杂天气下大气干扰性能较差的问题,本文提出采用多输入多输出技术替换原有的单输入单输出系统的方案。通过分别在正常天气下通信仿真与极端恶劣天气条件下参数对比,结果分析表明,该技术能有效地对抗复杂天气环境,提高系统性能。