为对抗实际通信中常遇到的多径衰落,改善链路的性能,现代无线通信系统广泛使用各种分集合并技术。传统的分集技术原理都是将在发射端或接收端架设多根天线,但实际通信终端常常受体积、功耗、成本等因素制约,在移动终端设有多根天线具有困难。于是产生了一种基于中继通信、同时还可以利用多个用户分享彼此资源而实现空间分集的技术——协作分集技术。协作分集是一种新的空域分集,两个移动终端通过中继彼此的信息,共享彼此的天线形成虚拟天线阵列,获得分集增益。研究结果表明,协作分集可以提升系统容量、增大数据传输速率、有效对抗衰落以及降低系统的服务中断概率,提高系统的服务质量和可靠性等。首先,在现代的数字通信系统中,调制解调是其中的一项关键技术。目前,存在的调制方式众多,如BPSK、相干FSK、差分DPSK等。不同的调制方式由于自身的特点,而应用于不同的场合。本文研究时变瑞利信道下,调制方式对于无线通信系统性能的改善。利用一阶自回归模型建模,得到时变瑞利信道的一阶统计特性；最后得到四种调制方式在时变信道下的性能,以及四种调制方式与信道变化率、编码长度之间的关系。其次,本文以放大前传协作分集方式为例,重点研究时变衰落信道下,调制方式对于协作分集系统性能的影响。研究表明,各种调制方式采用放大前传协作分集技术后,性能都有所改善。最后,本文讨论了调制方式对于增强中继协作分集系统性能的影响。经过一定的数学理论推导,最终得到了增强中继策略下系统整体误码率的闭式解。在此基础上,本文讨论了门限值设定对于增量中继的影响。