中国第3代移动通信系统（3G）已投入商用,超3代（B3G）或第4代（4G）移动通信系统的关键技术也趋于成熟。通信技术的发展使人们之间的距离变短,对整个社会的发展起到变革性作用。作为通信技术的一个重要分支,无线通信已经成为当今世界发展最快的技术之一,并已成为社会发展的重要标志。更快的传输速率、更优的传输质量和更广的适用范围永远是无线通信的追求目标。然而,实际的通信系统面临着诸多复杂的问题,多径、频移、噪声、多址干扰、符号间干扰以及带宽的限制都严重影响通信链路的质量和系统容量,并已成为制约通信发展的关键因素。九十年代提出的多输入多输出（MIMO）无线通信技术为无线通信系统引入了又一维可利用的空间,并以其能够充分挖掘空间资源,最大限度地提高频谱利用率和功率效率而受到广泛重视。空时信号处理理论提供了解决问题的有效途径,该理论属于信息科学的一个新的分支,涉及时域信号处理、空域信号处理、信道编码等诸多学科。其中,酉空时调制技术因发、收两端均无需信道信息而十分适合高速移动的通信环境,但是它在低信噪比条件下存在差错性能较差的问题。本论文主要就酉空时调制的差错性能、符号设计以及与信道编码的级联和综合设计等方面进行了研究,分析了目前的研究难点并提出了合理的解决方案。本文的学术贡献主要在于:1)对现有的空时码提出一种新的分类标准;利用矩生成函数独立推导了酉空时调制的成对差错概率,避免了对复数构成本身的讨论,给出被积分式的收敛域,并根据二元检测的一般原理推导出了Chernoff上界,此方法可扩展到其它类型的空时码。2)提出了简化搜索和星座降维方案,可适用于不同的实际设计准则中,在不降低实际差错性能的前提下可使计算量分别降至原先的10^-6和10^-20以下。3)提出酉空时符号及差分酉空时符号级的Turbo码方案,包括分量码的并行级联和串行级联,相对于比特级处理方案,可在不降低差错性能的前提下减少计算量;提出酉空时符号级的多进制MAP、Log-MAP、Max-Log-MAP及SOVA迭代译码算法;并且首次分析了发射分集在酉空时调制和Turbo码级联方案中的实际作用。4)受网格编码调制星座集分割理论的启发,提出比特交织编码酉空时调制方案,该技术的信道编码和酉空时调制各自独立,利用硬判决反馈实现迭代解调—译码,可在不降低数据速率的前提下大大降低系统的误比特率。相比网格编码酉空时调制有更好的差错性能,且计算复杂度不高,是一种实用的编码调制相结合的方案。5)分别提出Cayley差分酉空时调制和多级空时调制与并行Turbo码的级联方案,并给出与之适应的译码算法。其中,Cayley差分酉空时调制与Turbo码的级联可以在准静态或连续性衰落信道中提供可靠的高数据率;而多级空时调制与Turbo码的级联经过迭代译码后可在短相干时间和低信噪比条件下实现可靠的无线通信。综上所述,本论文针对目前MIMO空时系统存在的问题,以提高非相干空时调制的有效性和可靠性为核心进行了研究,包括酉空时调制本身的理论以及与信道编码相结合的技术。论文最后总结了该研究领域亟待解决的一些问题和下一步的研究重点,同时对该领域的发展趋势进行了展望。