与地面通信系统相比,卫星通信具有覆盖范围广、不受地形限制等优点,为解决海洋、沙漠及其他偏远地区用户的宽带无线接入提供了很好的手段,并且成为了第六代移动通信系统的一项关键技术。本文针对多个典型的应用场景,分析了卫星通信系统的性能,揭示了一些关键参数对卫星通信系统性能的影响,从而为实际的系统设计提供了参考和依据。本文的主要工作如下:重点对协议下的系统中断性能等重要性能指标进行评估,并通过蒙特卡罗仿真验证性能分析的正确性。1.分析了门限判断放大转发（Amplify-and-Forward,AF）协议下多源多目的节点卫星通信系统的性能。首先考虑星载天线增益和卫星链路损耗的影响,建立了一个更加贴近实际的系统模型,并得到系统端到端输出信噪比表达式。其次,在假设上行链路采用时分多址技术而下行链路采用机会调度方案的条件下,并且考虑卫星通信的上下行链路信道均服从阴影莱斯分布时,推导出系统的中断概率闭合表达式,并进一步得到高信噪比条件下系统的高阶中断概率表达式。最后,计算机仿真验证了理论分析的正确性,并分析了用户数和信道参数对多用户卫星通信系统性能的影响。2.分析了门限判断解码转发（Decode-and-Forward,DF）协议下卫星通信系统的安全性能,针对卫星信号遭受多个非法用户窃听的场景,提出了基于迫零波束成形的物理层安全传输策略,更进一步在信关站-卫星和卫星-用户链路均服从阴影莱斯分布以及干扰链路服从Nakagami-m分布的条件下,推导出系统的安全中断概率以及遍历安全容量的闭合表达式。最后,计算机仿真验证了所提安全传输策略的有效性以及理论推导的正确性,进而分析了系统关键参数如天线数目、窃听用户数目、信道衰落情况对系统安全性能的影响。3.分析了非正交多址接入（Non-Orthogonal Multiple Access,NOMA）方案下的卫星通信系统性能。首先,考虑星载天线增益和卫星链路损耗的影响,建立了基于上行链路NOMA传输技术的卫星通信系统模型,得到了AF协议下目的用户端到端输出信噪比的表达式。其次,在卫星通信的上下行链路均服从阴影莱斯分布的条件下,基于输出信噪比表达式推导出采用上行NOMA传输技术的卫星通信系统遍历和速率的闭合表达式。最后,计算机仿真不仅验证了理论分析的正确性,而且通过与正交多址接入技术进行比较,表明了在上行链路采用NOMA技术的卫星通信系统具有更优的系统容量,并且资源利用率和用户公平性也更高。因此,NOMA技术在提升卫星通信系统容量方面具有很大的潜力。