随着用户终端的迅速增长和各种业务数据量的急剧增大,人们对无线光通信系统的容量和传输速率提出了更高的要求。多输入多输出（Multiple-Input Multiple-Output,MIMO）技术通过使用多个发射机同时向接收器发送数据提高了系统的容量和可靠性,但同时也存在信道间干扰强、子信道间同步要求高等问题。空间调制（Spatial Modulation,SM）作为MIMO传输技术的一种,将二维映射扩展到三维映射,它不仅利用传统的调制符号携带信息,而且还利用激光器的索引号传输部分信息。因此已成为目前大规模MIMO技术研究的热点之一,并逐步受业界所青睐。有别于射频领域,目前的无线光通信系统大多采用强度调制/直接检测方式,这就使得原有射频领域中有关空间调制的理论和方法无法直接使用。因此,本文将分层的思想引入到光空间调制中,通过构建分层光空间调制方案来实现频谱效率的提升,并结合大气信道分析了所提方案的性能。具体如下:（1）分层技术的使用,可有效提高通信系统的频谱效率。本文将分层技术引入到SM中,通过同时激活两个分别采用脉冲位置调制（Pulse Position Modulation,PPM）和脉冲幅度调制（Pulse Amplitude Modulation,PAM）的激光器,构建了一种适合于湍流信道的分层光空间调制（Layered Optical Spatial Modulation,LOSM）系统。在详细介绍了系统中层映射和比特映射原理的基础上,推导出了LOSM系统的误码率表达式,并利用蒙特卡洛仿真方法进一步验证了该方案的优越性。仿真结果表明:LOSM系统与传统光空间调制系统相比,在频谱效率上有极大提升。在传输比特相同的情况下,（5,4,2,4）-LOSM系统的频谱效率是（8,4,16）-空间脉冲位置调制（Spatial Pulse Position Modulation,SPPM）系统的9倍多。括号中的参数分别表示激光器数目、探测器数目、PPM的调制阶数及PAM的调制阶数。（2）每层采用不同调制方式的LOSM系统虽有效提高了系统的频谱效率,但每次仅能激活两个激光器,当系统规模较大时,激光器的利用率还远没有达到我们的期望。因此,将脉冲位置幅度调制（Pulse Position Amplitude Modulation,PPAM）与SM系统结合,提出多层空间脉冲位置幅度调制（Multi-layer Spatial Pulse Position Amplitude Modulation,MLSPPAM）系统,并推导了该系统下误码率表达式。结果表明:在传输比特相同的条件下,相对于（32,4,128）-SPPM系统而言,（9,4,8,2）-MLPPAM系统的频谱效率提高了16倍,当误码率为10^-3时,其信噪比改善了约2.5 dB,而且所用激光器数目不到前者的1/3。（3）针对经典SPPM系统中发送信号含有的零元素个数远大于非零元素个数,本文将分层思想引入到SPPM系统中,构建了具有稀疏特性的多层空间脉冲调制系统。基于稀疏性,在接收端基于压缩感知理论提出一种分层联合检测算法,通过运算获得每层调制上激光器的序号以及该层上PPM调制的位置,进而恢复出原始比特信息,有效降低了系统复杂度。并通过引入一个参量对该算法进行改进,实现了计算复杂度与误码性能之间的有效折中。