认知无线电是近年来无线通信领域提出的一种全新的频谱资源使用方式。它允许没有频谱授权的次用户在不干扰主用户正常通信的前提下，机会接入主用户的授权频谱，与主用户在时间、频率和空间等多个维度动态共享频谱资源，从而提高无线频谱资源的利用效率。如何充分地发掘和机会接入多维频谱空洞，以提高次用户的服务质量，是认知无线电系统的一个关键问题。已有的研究在设计机会频谱接入机制时主要考虑利用时间频谱空洞，缺乏对多维度频谱空洞的挖掘和使用，且很少关注次用户业务特性和无线信道衰落的影响。本论文研究认知无线电系统中利用协同中继传输来提高机会频谱接入性能的方法。本文提出基于合作波束成型的认知协同中继传输方案，既能获得合作分集增益来抵抗无线信道衰落，又能通过方向性传输利用空间频谱空洞，极大地降低了次用户传输的平均中断概率。在此基础上，根据次用户业务特性设计性能最优的机会频谱接入机制。首先，针对实时业务提出带优先级的机会频谱接入机制，采用吸收Markov链建模等方法，推导由主用户出现导致的排队超时概率，进而分析由无线信道衰落和主用户占用信道引起的延时受限中断性能。其次，针对非实时随机到达业务提出基于队列长度的延时最优机会频谱接入机制，采用级联排队建模，通过矩阵几何方法迭代计算获得系统的最大业务到达速率和平均延时。然后，采用递增中继方式，提出针对非实时饱和业务的高效认知协同中继传输机制，分析两种不同的混合自动重传协议下所能获得的系统平均吞吐量性能。采用跨层优化设计方法获得最优调度参数，使上述各种机制取得最优的系统性能。通过巧妙的机制设计和严格的理论分析，本论文全方位地探讨次用户业务特征、主用户行为特征和无线信道衰落分别对系统性能的影响，给出不同系统参数下的最优传输机制。本论文研究认知无线电和协同中继这两大技术新的结合方式以及由此带来的机会频谱接入性能的增益，所提出的机制和算法简单可行，显著改善了系统性能，有一定的应用前景。