在移动无线通信环境中,频谱资源极其有限,合理充分利用这些资源,实现通信的高效和可靠传输是现代通信领域研究的主要课题。传统的信道编码通过增加冗余来提高通信质量,但对于带宽受限而传输特性极差的移动信道,往往不得不以牺牲数据速率和带宽为代价。Lattice编码和编码调制(Coded Modulation)技术都是不扩展频带的高效数字传输方案。Lattice编码如何更有效的针对的不同的信道和系统模型进行设计,lattice编码技术如何与编码调制系统进行结合提高整体性能,这些都是本文关注的重点。本文主要针对Rayleigh衰落信道特性,分析并推导出lattice编码以及编码调制在Rayleigh衰落信道下的设计准则。正交频分复用(OFDM)作为4G物理层关键技术,对此,本文给出针对OFDM系统的高维lattice设计方法,并验证了其在单载波系统和多载波系统上的有效性。对于lattice与编码调制技术的结合,本文侧重于实际系统中应用较多的二维整数主星座系统的算法设计,提出了一种新的子集分割方法,利用衰落信道下最优lattice的空间特性,按照最大化最小汉明距离和积距离的原则划分主星座,该算法可以划分出任意子集数目,而算法复杂度不会因为子集个数的增大而更加。该方法可获得比传统方法更大的编码增益。本文的主要贡献有:1.归纳和总结了针对衰落信道传输特性的最优lattice结构。2.分析并推导了Raleigh衰落信道下OFDM系统的lattice编码准则,并给出了按此准则进行lattice编码设计的方法。3.推导了编码调制系统在衰落信道下的设计准则,并依此准则设计出适用于衰落信道的新的二维整数星座子集分割方法。4.验证了lattice编码对于单载波和多载波系统的有效性,给出了lattice编码与编码调制技术相结合的途径。5.指明了lattice编码技术的进一步研究方向:与MIMO,Relay等新技术的联合设计,高维lattice在编码调制系统中的优化设计等。