随着智能终端和移动宽带数据业务的增多,人类对通信服务的高数据速率、全覆盖、低时延和低能耗提出了迫切要求。由于传统宏蜂窝网络在建网、覆盖和容量提升等方面遇到了瓶颈,学术界和工业界一致提出必须研究和设计更加高效的网络部署策略和通信技术方案以满足人类通信需求。异构蜂窝网络以其高系统容量、深度覆盖、部署灵活和安装维护成本较低的优势在诸多通信解决方案中脱颖而出。异构蜂窝网络是指在当前宏蜂窝网络中增加部署一层或多层低发射功率小型站点的无线蜂窝网络,该网络能够通过各类型站点有机整合为移动用户提供高质量的通信服务,已成为当前乃至未来无线蜂窝网络的研究重点和热点。然而,异构蜂窝网络在给当前宏蜂窝网络注入强大生命力的同时亦存在干扰管理上的技术难点和挑战。小型站点的随机部署和自行安装以及通信热点地区对超密集组网的需求和运营商对可用频段全部复用的不断追求,使得异构蜂窝网络中的干扰呈现随机化、复杂化和严重程度较高的特性,适用于宏蜂窝的传统网优网规方法和干扰管理技术不再完全适用于异构蜂窝网络,必须研究和设计新的更加有效的干扰管理方案对异构蜂窝网络中的干扰予以管理和控制。本论文以概率论、随机过程和联盟博弈理论等数学工具与优化方法为理论依据,围绕异构蜂窝网络的干扰管理方案和方法展开研究,深入分析了异构蜂窝网的网络结构特点和节点行为特点,从联盟合作的角度入手,以提高整个通信系统的性能为出发点,提出了适用于异构蜂窝网络同层干扰和跨层干扰的干扰管理方案,为异构蜂窝网络的系统优化和性能优化提供了理论依据和实践指导。本文主要工作如下：1)博弈论是研究独立的理性局中人之间复杂交互行为的理论工具。本论文分析讨论了非合作博弈与合作博弈的区别,深入挖掘了异构蜂窝网络中用户对无线资源占用的竞争行为与合作行为,确立了运用联盟博弈理论在研究和设计异构蜂窝网络干扰管理和资源分配方案中的重要性和必然性,在此基础上,归纳总结了联盟博弈理论的基本概念和解的特性。2)针对楼宇环境中Femtocell接入点(Femtocell Access Point, FAP)密集部署导致的同层干扰问题,提出了适用于Femtocell网络上行通信系统的基于FAJP联盟合作的同层干扰管理方案,以联盟的和速率容量为目标,运用联盟博弈理论进行建模,从理论上求解推导出了该方案的最优联盟结构,并证明了最优联盟结构的稳定性。分析比较了三种联盟和速率容量的速率分配策略,并通过仿真验证了分配策略对联盟结构稳定性的影响。3)针对Femtocell的干扰随机特性,提出了适用于Femtocell网络上行通信系统的基于Femtocell用户设备(Femtocell User Equipment, FUE)共享传输时间的联盟合作干扰管理方案,证明了在考虑形成联盟所需的功率开销的前提下,基于FUE的联盟合作过程是一个基于分割函数的联盟博弈。为求解该方案的最优联盟结构,提出了基于接收信号强度指示(Received Signal Strength Indication, RSSI)的联盟形成算法,并证明了该算法的收敛性和算法所得解的稳定性。4)在综合考虑多宏小区异构蜂窝网中链路可达传输速率和终端所需能耗的基础上,提出了基于FUE和宏蜂窝用户设备(Macro User Equipment, MUE)采用D2D传输数据并动态联盟合作的跨层干扰管理方案,并证明了该方案是一个具有不可转移效用的基于分割函数的联盟博弈。以优化联盟中每个FUE和MUE的所得收益为目标,提出了“两两合并”分布式联盟形成算法,与递归核心算法相比,该算法得到的解具有稳定性,而且该算法在保证收益的同时降低了计算复杂度。