随着信息化社会的不断发展,无线通信技术将渗透到社会的各个领域,为人们提供全方位的信息生态系统。为满足下一代及未来无线通信高速率低延时等高质量的传输要求,需要新的通信技术以支撑其发展。基于多输入多输出系统的多天线技术在发射端和接收端分别配置多根天线,可在不增加系统带宽和发射天线功率的情况下,大幅提高系统的信道容量和频谱效率,给亟需解决的通信系统频谱资源日益紧张的问题提供了可行性方案,成为当前及未来无线通信的关键技术之一。但在实际应用中,信道间干扰问题、天线间同步问题以及多条射频链路导致的成本增加问题都会制约多输入多输出通信系统的发展。空间调制技术作为一种新型的多天线技术,将待发送的信息比特一部分映射到调制域通过符号调制进行传输,另一部分映射到天线域通过天线序号选择进行传输,天线的空间位置将承载部分发送信息。相比传统多天线技术,在空间调制技术中,每时隙有且仅有一根发射天线处于激活状态,其余发射天线静默,该特征可完全避免信道间干扰,且不需要发射天线间的同步定时,另外,由于仅需一条射频链路,也有效降低了系统成本。基于这些技术优势,空间调制技术在未来无线通信系统中具有良好的应用前景。本文在此情况下,开展了新型空间调制技术的设计与应用研究。具体来说,本论文研究内容与创新点如下:1)深入研究了广义空间调制技术的基本原理,结合网格编码调制,提出了网格编码广义空间调制技术,以提高系统在莱斯相关信道下的鲁棒性。设计了天线域的集分割映射准则,通过集分割映射,增大相关性较强的发射天线组的距离,从而在莱斯相关信道下降低系统的误比特率。考虑到该技术与传统广义空间调制技术在调制域的相似性,着重研究了网格编码广义空间调制技术天线域的误比特率,进行了理论性能的推导。仿真结果表明,对比传统的广义空间调制技术,网格编码广义空间调制技术在莱斯相关信道下具有更好的系统性能,对比已有的网格编码空间调制技术,新型技术采用了更少的发射天线,有效节约了系统成本。2)深入研究了采用PSK调制以及多圈APSK调制的差分空间调制,在此基础上,设计了一种非相干空间调制技术,通过对上一时隙发送符号的估计而非差分机制来避免系统对信道状态信息需求的限制,同时可将更加通用的APSK星座图应用于系统中。对该技术进行了误码率理论性能的推导,基于得到的理论性能,提出了达到系统性能最优的多圈APSK调制星座图算法。另外,研究了发送符号错误估计导致的错误传播给系统性能带来的影响。仿真结果验证了理论推导的正确性,且表明与采用现有不同调制方式的方案相比,结合最优多圈APSK星座图的方案能够有效地降低误码率,给系统带来性能增益。3)设计了采用去噪转发策略的双向中继系统中的差分空间调制方案和差分空移键控方案,对系统的分集增益进行了理论研究。对于系统,利用集合与子集的概念,着重设计了中继节点处的物理层网络编码,即矩阵的多对一映射准则,以及信源节点的矩阵生成准则。仿真结果验证了理论推导的正确性,显示了设计的差分空间调制技术以及差分空移键控技术在采用去噪转发策略的双向中继系统中具有较好的可行性,且对比传统差分调制具有更低的误比特率和更好的系统性能。