近年来,诸如深空探测、空间碎片清除和在轨服务等项目受到了极大的重视并逐渐得以实施。面对这类复杂多样的任务,航天器姿态控制系统起到至关重要的作用。对于姿态控制系统的设计应主要关注以下几方面问题:首先是鲁棒性,从可靠性角度考虑,要求姿态控制系统具有应对恶劣空间环境带来的干扰和不确定性的能力。另一方面是挠性附件结构的振动抑制,航天器大尺寸、轻质量的结构增加了系统的挠性程度,将会影响系统的性能及稳定性。此外,为更好的完成各种困难的任务,控制性能需求也急剧增加。因此,姿态控制系统的设计仍是一个具有挑战性的研究课题。出于对上述问题的考虑,本文深入研究了挠性航天器的高性能、强鲁棒性姿态控制及有效的振动抑制方案。其结构与所采用的方法有如下的突出特点:(1)充分发挥将挠性振动当作干扰或不确定性处理的集中式控制以及主动控制各自的优势,根据这两种思路分别研究了基于扰动补偿和结合主动振动抑制的挠性航天器姿态控制策略;(2)采用预设性能控制方法进行姿态控制器与主动振动控制器的设计,保证姿态误差能够获得预先设定的动态及稳态性能(如超调量、收敛速度和稳态精度等),而挠性振动的模态坐标可以始终保持在预先给定约束边界之内,以达到理想的振动抑制效果。论文具体完成了以下几方面工作:首先给出了研究所需的定义、引理等基础知识以及挠性航天器姿态运动学方程、动力学方程和挠性附件结构振动方程。设计了几种常见及改进型干扰观测器,并初步研究了基于干扰观测器的PD控制方案,进而比较了各干扰观测器的优劣,为后续研究提供参考。针对存在外界干扰的挠性航天器姿态集中式控制问题,基于扰动补偿思想,分别提出了神经网络自适应和低复杂度无模型预设性能控制方法。采用神经网络逼近干扰和挠性附件振动影响的总和,并自适应估计所产生逼近误差的上界,进而结合自适应律给出了完整控制器。仿真结果表明,该方法可以有效补偿集总干扰影响,并使姿态控制系统获得平稳快速的动态过程和期望的稳态精度。考虑到神经网络逼近计算量较大且存在可能影响稳定性的特定问题,采用预设性能控制和反步法思想设计了一种简单形式的控制器。该控制器不需要用到姿态系统的动力学信息,且不使用任何逼近、观测器及自适应方法便能应对干扰及挠性振动影响,极大的降低了复杂程度。通过仿真验证了方法的有效性。针对存在外界干扰的挠性航天器姿态集中式控制问题,进一步研究了基于观测器的预设性能控制方法。为提升姿态控制系统收敛性能,设计了一个新的性能函数。与常用的指数形式相比,改进的性能函数具有显式可预设的终端时间,用以决定姿态控制系统的最长收敛时间。分别设计了模态观测器和非线性干扰观测器来处理挠性振动和外界干扰。当考虑执行器输出力矩存在饱和时,提出了一种采用抗饱和补偿方法的改进策略。通过Lyapunov理论分析了包含观测器的整体闭环系统的稳定性。仿真结果表明,姿态系统获得了期望的控制性能。针对存在外界干扰的挠性航天器姿态主动控制问题,研究了采用压电传感器与执行器的预设性能主动振动控制及自适应姿态控制方案。首先对于存在外界干扰和参数不确定性的挠性空间结构,提出了采用状态观测器的主动振动抑制方法。为应对速度传感器不可用的情况,设计了一种神经网络状态观测器估计模态速度。神经网络逼近的引入可以有效处理不确定性的影响进而得到更准确的观测结果。进一步利用独立模态空间控制和反步法推导控制器和自适应律,并证明闭环系统的稳定性。通过仿真说明了所提方法的振动抑制性能。然后对于带有挠性附件结构的航天器,提出了姿态与振动的预设性能复合控制策略。为减小主动控制在实际应用中的实现复杂度,采用模态观测器代替压电传感器获取模态信息。基于模态观测值,设计了具备干扰抑制能力的自适应姿态控制器,以及用于处理姿态运动所激发振动的主动控制器。通过Lyapunov理论分析了整体闭环系统的稳定性。不同情况下的仿真结果验证了所提复合控制方案的有效性。