随着低轨卫星搭载轻小型低功耗小体积通信载荷以及卫星组网通信日益增长的技术需求,空间激光通信中以信号光束扫描覆盖不确定区域的无信标捕获与跟踪技术为代表的新型捕获跟踪策略应运而生。深入研究影响无信标捕获与跟踪系统通信终端控制精度和跟踪性能的主要因素,以及优化控制策略和扫描算法等是建立高速数据通信链路的关键。高捕获概率、高稳定跟踪精度是实现可靠星间激光通信的重要保障。但受限于通信终端间相对运动、卫星平台振动以及系统信号光束散角小等原因的影响,无信标捕获技术难度增加。因此,本文从无信标捕跟技术的扫描策略、补偿算法以及跟踪控制策略等方面入手,对空间激光通信系统的无信标捕获与跟踪伺服系统进行了深入的理论研究、关键技术攻关和实验验证。首先,介绍了无信标捕获与跟踪技术的工作原理及实现方案。针对现有无信标扫描方式无法覆盖较大范围不确定区域的问题,提出了转台与振镜相复合工作的新型扫描方式——分子区域扫描。在此基础上,建立了扫描模型,通过仿真对其进行验证并对各参数进行优化设计。针对小束散角会降低系统捕获概率的问题,采用基于卫星振动功率谱的高斯白噪声滤波方法来模拟平台振动,实现了由振动引起漏扫的定量分析,从而选择合适的重叠因子,更有效地在捕获过程中对漏扫进行补偿,提高系统捕获概率。其次,基于无信标潜望式捕跟系统,分析了潜望式转台自身存在坐标耦合的原因和耦合问题对跟踪控制造成的影响。针对潜望结构中平面反射镜与跟踪相机间相对位置改变导致光学传递关系变化的问题,建立了通信终端的光束传输矩阵模型。结合光路内轴系耦合误差等影响光路指向精度的因素,建立了基于潜望式二维伺服转台的解耦模型。通过仿真数据与实验测得数据的比对,验证了上述模型的准确性,从而实现了粗瞄准机构的坐标解耦,削弱了结构因素对系统跟踪精度的影响。然后,为实现高精度稳定跟踪,提出采用先进的控制算法增强伺服系统的抗干扰能力,提高了系统的动态响应性能和低速平稳性。分析了基于永磁同步电机的潜望式捕跟系统中影响伺服系统性能的主要因素,包括逆变器的死区效应和电机输出相电流的检测误差等。为实现扰动条件下的高精度稳定跟踪,重点研究了周期性转矩脉动对控制系统跟踪精度产生的影响。设计了基于新型迭代学习算法,通过改变输出的控制量对潜望式终端主轴伺服系统中的速度回路进行了校正,提高了伺服系统的速度平稳性以及复合跟踪过程的动态响应性能,在有效抑制转矩脉动的同时增强了系统的鲁棒性。最后,针对无信标捕跟系统性能优化方法,开展了室内与室外的实验验证工作。通过10米平行光管模拟平行入射光,进行了室内单端动态跟踪实验,跟踪精度优于2μrad,验证了解耦模型的准确性和高精度单端稳定跟踪。通过4.62km外场双端激光通信实验,在捕获阶段,验证了振镜与转台相复合的分子区域扫描的可行性,捕获时间优于49.1s。在跟踪阶段,通过六自由度摇摆台模拟卫星间相对运动,在此扰动条件下系统粗精复合跟踪精度优于6μrad。本论文的研究工作为空间激光通信无信标捕获与跟踪系统的优化设计提供了参考,对未来轻小型激光通信系统、空间组网以及构建天地一体化信息网络的发展具有一定的借鉴意义。