预编码技术是无线通信系统中的关键技术,它利用信道信息在发送端对发送信息进行预处理,能有效地增加发送信息对信道的适应能力,提高系统的可靠性。THP(Tomlinson-Harashima Precoding, THP)是非线性预编码的典型代表,它最早应用于单输入单输出(Single Input Single Output, SISO)系统中符号间干扰(Intersymbol Interference, ISI)均衡,现在被扩展到MIMO系统。THP在消除码间干扰、子载波间干扰、多用户间干扰以及多天线系统信道均衡方面有着广泛应用。本论文以THP为研究重点,在迫零和最小均方误差准则下,对基于QR分解的THP预编码进行了研究,并在完美信道信息和与实际通信系统更加接近的非完美信道信息条件下,对它们的性能进行了评估。针对基于QR分解的THP预编码系统误码率性能较差的问题,提出了基于GMD(Geometric Mean Decomposition)分解的改进结构THP,并对其进行了深入地研究。本文在第一部分和第二部分首先介绍了论文的研究背景、预编码技术的发展现状和未来移动通信系统中的几种关键技术,是后续研究的基础。本文接下来分别在单用户和多用户场景下,介绍了采用QR分解的基于迫零和最小均方误差的THP系统模型和基本原理;在发送端能够获得完美信道信息的条件下,对THP系统性能进行了仿真对比和分析,是对现有研究成果的归纳总结。针对多用户系统中,用户性能差异较大的问题,研究了能够最小化最大噪声方差(ZF-THP)或最小化最大误差方差(MMSE-THP)的“best-first”排序,有效地消除了用户间性能差异,提高了系统性能。同时,本文还提出了一种基于全排列的排序方式,原理简单,实现方便,适用于接收端用户数较少的多用户系统,其性能接近于“best-first”排序。本文的第四部分结合实际通信系统,在发送端不能获得完美信道信息的情况下,对采用QR分解的THP系统进行了深入研究,重点研究了多普勒频移和信道估计误差对THP系统的影响,是对现有研究的补充扩展。第五部分是本论文的主要创新部分,利用GMD分解的特点,提出了基于GMD分解的改进结构MMSE-THP。仿真证明,基于GMD分解的改进结构MMSE-THP系统的性能相对于基于QR分解的THP系统的性能有了明显改善。在存在多普勒频移估计偏差或信道估计误差的情况下,对改进结构的系统性能进行了仿真对比和分析,并在信道估计误差存在的情况下,对其做了进一步改进。最后,对全文进行了总结分析,明确了下一步研究的方向。