空间交会对接是航天领域的重要研究方向之一,以其重要的战略意义和经济价值受到广泛重视。就空间技术的发展状况来看,传统空间应用中对合作目标的交会对接技术已日趋成熟,而对非合作目标的交会对接和停靠技术则处于飞速发展阶段,具有广阔的应用前景,如空间碎片捕获、在轨服务以及空间拦截等。不同于对合作目标的交会对接,对非合作目标的交会对接过程由于目标航天器无法主动提供精确的位姿信息,从而给相对位姿的控制技术带来了严峻的挑战。此外,在航天器的末端交会过程中,航天器的轨道控制和姿态控制间存在着严重的耦合作用,传统轨道控制和姿态控制“分而治之”的控制策略已无法满足新形势下对高精度控制的要求。所以,考虑一体化建模与控制方式的航天器姿轨耦合控制在理论和工程应用中均具有重要价值。本文以对非合作目标的末端交会过程为研究背景,对航天器姿轨耦合控制的二阶滑模控制算法进行了深入的研究。此外,在动态滑模控制器设计、任意阶滑模控制、二阶滑模的抗饱和控制以及逼近完全非合作目标的二阶滑模算法等问题中也取得了一定的研究成果。本文的主要研究内容包括:针对传统建模方法依赖于高精度相对导航滤波的问题,基于视线坐标系推导了适用于任意轨道形式且无需复杂滤波的航天器姿轨耦合动力学模型,并作为后文控制系统分析和设计的基础。针对滑模抖颤及系统不确定性影响高精度姿轨耦合控制的问题,研究了航天器姿轨耦合的二阶滑模控制问题。首先,将动态滑模与终端滑模相结合,改进了一类非线性系统的一阶及任意阶动态滑模控制律设计方法。其次,通过对追踪航天器参考轨迹的设计,将航天器间的相对位置控制和姿态同步旋转问题转化为对参考轨迹的跟踪问题。最后,将动态滑模与终端滑模相结合,并通过设计估计复合干扰导数上界的自适应律,提出了自适应二阶终端滑模控制律并给出了严格的稳定性分析。所设计的控制律可消除滑模抖颤问题且同时兼顾滑动模态的不变性,数值仿真验证了所设计控制律的有效性。针对逼近非合作目标过程中需要高精度和强机动控制的问题,研究了航天器姿轨耦合的有限时间控制问题。首先将任意阶滑模控制问题转化为含不确定性的n重积分链的控制问题,并针对n重积分链系统基于齐次理论提出了含线性补偿和切换机制的有限时间控制律,该控制律可使系统状态在远离和接近平衡点时均有较快的收敛速度。其次,设计了两类任意阶终端滑模面,即可令任意阶系统状态在有限时间内镇定的一类终端滑模面及其含线性补偿和切换机制的改进形式。在此基础上,针对任意阶滑模控制,设计了任意阶终端滑模控制律。最后,为实现航天器姿轨耦合高精度和强机动的控制目标,基于前述任意阶滑模控制方法,提出了航天器姿轨耦合二阶滑模有限时间控制律,该控制律消除了滑模抖颤且兼顾滑动模态的不变性。针对航天器姿轨耦合控制中存在执行机构饱和的问题,重点研究了航天器姿轨耦合控制的二阶滑模抗饱和控制问题。为建立关于滑模抗饱和控制的有关理论,首先提出了饱和型滑模面的概念并给出三类饱和型滑模面的严格定义,进一步研究了考虑控制输入约束的任意阶滑模控制律的存在条件。其次,重点研究了考虑控制输入饱和约束的二阶滑模控制问题,提出了基于饱和型滑模面的二阶滑模抗饱和控制律的改进设计方法及其含幂次项的改进形式,并分别给出了严格的数学证明以及抗饱和控制律的参数选取规则,从而有效克服了滑模控制的输入饱和问题。最后,在上述研究基础上,针对考虑执行机构饱和的航天器姿轨耦合控制问题,设计了航天器姿轨耦合二阶滑模抗饱和控制律。仿真结果表明,所设计控制律具有良好的抗饱和性能。最后,研究了逼近完全非合作目标的二阶滑模控制问题以及二阶滑模算法的对比分析和性能评价。针对逼近完全非合作目标的航天器姿轨耦合控制问题,综合考虑抖颤消除、收敛速度以及控制输入饱和约束等因素,设计了一类航天器姿轨耦合二阶滑模控制律。此外,考虑到二阶滑模算法进一步理论研究及工程应用的需要,本文在大量仿真实验和理论分析的基础上,对本文提出的四种二阶滑模算法与经典Super Twisting二阶滑模算法进行对比分析和性能评价,进一步得出有关结论。首先,以逼近完全非合作目标为应用背景,将Super Twisting算法与本文提出的四种二阶滑模算法分别应用于该控制问题中,在此基础上分别给出了仿真分析。其次,以上述仿真分析为研究基础和数据来源,对前述五种二阶滑模算法的控制性能进行对比分析。在此基础上,给出了五种算法的综合评价,归纳了各自的主要优缺点。最后,以结论的形式概要归纳了本文所提四种二阶滑模算法及Super Twisting算法的控制性能以及各自特点。