无线中继技术具有成本低、覆盖范围大和通信质量好等特性，是下一代无线通信系统的关键技术之一。中继技术以协作分集和家庭基站等形式出现。协作分集技术中，分布式的单天线终端共享彼此的天线，构成虚拟的MIMO系统来获得分集增益；家庭基站技术中，通过在宏小区中布置室内小型低功率蜂窝基站，提高室内无线用户的通信质量。本论文针对以上两种中继技术的资源分配问题展开了研究，提出了合理的资源优化分配策略，并进行了详细的理论分析和仿真验证。论文的主要工作概括如下：1.基于译码转发的协作系统传统的DF协作系统中，源节点和目的节点的发射功率相同，缺乏对信道的自适应，降低了资源的利用率。针对这种情况，提出了一种在总功率受限的情况下，通过对源节点和中继节点之间进行功率优化分配的资源分配策略。首先，构造了基于TDMA的两用户互为中继的DF协作系统，并根据信道的平均状态信息计算出了该系统目的节点的平均中断概率紧下限的表达式，然后以最小化该中断概率下限为目标，对系统中的功率资源进行近似最优的分配，最后通过仿真表明,与平均分配功率的DF协作系统相比，该分配策略能够显著降低系统中目的节点的中断概率。2.基于编码协作的系统针对编码协作系统中源节点和目的节点只根据协作程度分配发射功率而导致系统资源利用率低的问题，提出了一种协作程度选择和发射功率优化相结合的资源分配策略。首先构造使用RCPC码的两用户编码协作系统模型，并根据协作程度和信道状态信息推导出目的节点的误比特率上限表达式，然后以最小化该上限为目标，得到对功率和协作程度进行优化分配的次优解，最后通过仿真表明，与只选择协作程度的平均分配功率策略相比，该分配策略能够明显降低目标节点的误码率。3.部署家庭基站的双层网络家庭基站是下一代网络中扩大宏小区基站覆盖范围，提高室内通话质量的关键技术。针对引入家庭基站的双层网络存在共信道干扰的问题，提出了一种基于合作博弈的动态资源分配(CGDRA)方法。该方法首先根据宏小区用户层的路径损耗和QoS需求，对宏小区用户层的发射功率进行了分配，然后构建以所有家庭基站用户层的数据速率之积作为效用函数，以它们的QoS需求作为约束条件的总发射功率受限的合作博弈模型。并采用动态子载波分配(DSA)算法和自适应功率分配(APA)算法得到了该博弈模型的低复杂度近似最优解,优化分配了双层网络的频谱资源和发射功率，提高了系统的传输速率。仿真结果表明，在双层网络中，CGDRA方法在系统数据速率和用户的公平性上获得了较好的折中；与最大最小公平性算法相比，明显提高了系统数据速率；与最大速率算法相比，更加公平。