近年来,随着智能移动设备的普及和多样化应用的增长,移动数据流量的需求呈指数式增长。为了应对高速增长的流量需求这一挑战,作为第五代(Fifth generation,5G)蜂窝移动通信系统的关键技术的免许可频段的长期演进(Long Term Evolution-Unlicensed,LTE-U)技术和超密集蜂窝网络技术成为了学术界的研究热点。其中LTE-U技术通过让长期演进(Long Term Evolution,LTE)系统与Wi-Fi网络共享使用免许可频段,以增加可用频段提高网络的性能,而超密集蜂窝网络技术通过增加基站密度来提高频谱的使用效率,达到提高网络容量的目的。论文针对面向免许可频段部署和超密集部署的蜂窝网络研究其容量优化的技术方法。首先,我们提出了同时利用授权频段和免许可频段的多小区的LTE-U网络模型,并在该模型的基础上研究授权频段和免许可频段上的联合资源优化问题。具体而言,我们建模了一个目标为最大化网络吞吐量的混合整数的功率、信道和时间的联合优化问题,该问题同时具有保护共存Wi-Fi网络性能,满足用户速率要求和硬件限制的约束。为了解决该优化问题,我们利用延迟列生成(Delay Column Generation,DCG)方法解耦了原问题,然后提出了一种基于KKT(Karush-Kuhn-Tucker)条件的新贪婪算法。此外我们分析了所提算法和最优解之间的差距。仿真结果验证了该算法在收敛速度方面的优势。同时我们还研究了不同网络参数(如用户密度、Wi-Fi网络密度等)条件下LTE-U网络的吞吐量性能。通过仿真,我们发现所提算法在频段有限情况下比其他对比算法能更大地提升LTE-U网络的吞吐量。然后,我们研究了超密集部署蜂窝网络下动态TDD(DynamicTime-divisionDuplex,D-TDD)网络中用户的平均包吞吐量(Mean Packet Throughput,MPT)。在研究该问题时,我们不仅考虑了用户、小基站和网关的随机位置、包到达概率、干扰,还考虑了不同类型的回程方式。通过随机几何工具,我们推导了考虑干扰时的数据包成功传输概率;利用排队理论和马尔科夫链,我们分析了重传、不同调度方案和不同回程方式下用户的上下行MPT。此外,我们还分析了网关部署成本,并在此基础上研究了用户MPT和回程代价的优化问题。仿真结果验证了我们分析模型的准确性,显示了不同的回程和接收门限、最大重传次数等网络参数对用户MPT的影响以及不同情况下最优的网关部署密度。最后,我们研究了超密集部署动态TDD网络下基于学习的上下行配置选择。提出了动态TDD网络下干扰分析和上下行配置选择的一般化模型,并将上下行配置对于小区的影响用小区的不满意度表达。在考虑自身用户上下行业务需求、来自其他小区干扰以及其他小区不满意度的情况下,设计了基于学习的小区上下行配置选择算法。仿真结果说明了所提算法在提升网络吞吐量和收敛性上的优秀性能。