星间激光通信是空间激光通信网络的重要组成部分,卫星之间数百甚至上万公里的信息传输使到达终端的通信光能量极其微弱,而星上终端处于复杂的空间环境中,当杂散光进入通信终端时,会对跟踪捕获及通信过程造成很大影响。为了实现高质量的星间激光通信,必须对光学天线设计和杂散光抑制进行研究。不同于其他空间光学系统的是,收发一体的星间激光通信终端不仅要考虑空间环境的外部杂散光,还要考虑发射光束被各个光学元件后向反射产生的内部杂散光。本文以此为出发点进行了如下几方面的分析研究:1)对各种典型的天线光学系统进行比较分析,根据设计指标,最终确定了以改进的同轴卡塞格林结构和离轴两反结构作为光学天线进行研究,使用Zemax软件完成了光学设计并对两种天线进行了像质分析。2)依据星间激光通信终端所处空间环境,对外部杂散光进行了对比分析。总结了空间光学系统杂散光的分析模型、常见的消杂光方法以及杂散光评价函数。以改进的卡塞格林天线为例,设计了各级消杂光结构,并通过仿真实验分析了消杂光效果。3)针对星间激光通信系统的光学天线,提出了一种提高系统隔离度水平的优化设计方法,该方法通过增大YNI值减弱天线各元件表面的后向反射能量强度,在Light Tools软件中进行仿真实验,分析结果验证了该方法的正确性。对典型通信终端整体隔离度进行了计算,结果表明天线隔离度决定了终端整体的隔离度水平。分别研究了在IM/DD体制和相干探测体制下,通信单元探测器输出功率信噪比的计算方法,分析了系统在不同隔离度水平的情况下,信噪比的变化趋势,阐明了隔离度高低对激光通信终端的重要影响。本文通过对收发一体星间激光通信终端光学天线设计和杂散光抑制的研究,为实际工程提供了有价值的参考。