近年来,中继技术被广泛研究,它可以用在小区边缘来扩展覆盖范围和提高系统吞吐量。目前中继技术己被第三代合作组织所采用。本论文针对协同中继系统的物理层技术进行广泛研究,包括两跳放大转发系统端到端时分双工(TDD)互易性研究、中继系统自适应调制技术研究、协同多输入多输出(MIMO)预编码技术研究、参考信号设计和信道估计研究等方面的内容。论文的主要研究内容和成果如下：在两跳中继系统中,通常使用时分双工以支持非对称业务并利用互易性获取所需要的信道信息。当中继处于放大转发状态时,每一跳的上下行信道都是互易的,然而由于中继节点的操作,基站到移动台之间的端到端等效信道是不互易的。本文提出了一种放大矩阵设计方法来保持全链路互易性并避免大量信道反馈。当上行(下行)中继操作已经确定的情况下,通过对下行(上行)放大矩阵进行设计,使得下行全链路等效信道与上行全链路等效信道互易。提出的方法可以在不降低系统性能的前提下保持全链路互易性。为提高MIMO中继系统的吞吐量性能并降低反馈信令比特数,提出了一种应用于两跳中继系统的子信道和调制方式联合自适应选择方法。源端到目的端的信道被当作一个等效信道,通过奇异值分解,该等效信道被分解成多个并行子信道。该算法将使用的子信道数目及相应的调制方式作为一个整体去选择及反馈。相比传统的各个子信道独立选择调制方式的方法,该算法可以使用较少的信令实现较高的吞吐量性能。基于相同的系统模型,提出一种最小化源端及中继端发送总功率的子信道及调制方式联合选择算法,该算法可以在给定数据速率及误码率需求的情况下最小化系统发送总功率。在单纯放大转发中继系统中,创新性地将中继放大因子表示为波束赋形向量的函数,并基于此提出一种迭代算法来求得波束赋形向量的局部最优解,相比将中继放大因子当成常数处理的系统,提出的迭代算法可获得较好的端到端信噪比性能。在移动中继系统中,闲置的移动用户可以形成中继簇来为附近的活动节点服务。为了降低这类中继节点和活动用户节点的处理复杂度,提出了一种新的发送预处理方法。在提出的方法中,基站端采用两次块对角化(BD)方法来同时移除中继簇间及中继簇内干扰,而中继节点只是处于简单的放大转发模式。与传统的信号处理方法相比,提出的方法可以达到多用户总速率性能和中继处理复杂度很好的折衷。为解决源端同时获取第一跳信道信息和全链路等效信道信息的问题,提出一种参考信号设计方法。在该方法中,中继节点只需要使用放大转发模式来处理接收到的数据,而不需要将其处理到基带并插入新的参考信号。这种操作使得中继节点有较低的处理时间和基带处理复杂度。在系统帧同步不精确的两跳正交频分复用(OFDM)系统中,在循环前缀(CP)提前截去情况下,研究了频域幅值相位线性插值(A-θ插值)方法受CP提前截去量的影响,并与I路Q路线性插值(I-Q插值)方法进行比较,给出了I-Q插值和A-θ插值的均方误差通用表达式。研究结果表明,A-θ插值方法的性能受CP提前截去量的影响很小,仅取决于频域信道相关特性,当同步算法性能较差引起较大定时偏差时可选择A-θ插值作为频域插值算法。