挠性航天器是一类刚柔耦合的多输入多输出的复杂动力学系统,具有明显的非线性、挠性、不确定性和外部干扰特性。这些特性对高指向精度和高稳定度的姿态控制研究提出了挑战,是当前挠性航天器控制领域的难点和热点问题。本论文直接以挠性航天器姿态系统的非线性模型为研究对象,采用Lyapunov稳定性理论并结合多项式平方和（Sum-of-Squares,SOS）技术,研究这类系统的非线性以及鲁棒非线性姿态控制设计问题,以期为挠性航天器的姿态控制设计提供一套有效的新设计理论和新设计方法,主要研究内容如下:（1）考虑挠性航天器的大角度姿态机动及挠性结构的被动振动抑制问题,提出了一种基于挠性模态观测的非线性镇定控制设计方案。通过建立挠性航天器姿态系统的多项式型状态空间方程,利用Lyapunov稳定性理论和SOS技术,给出了基于挠性模态观测的非线性镇定控制器的存在性条件,并通过数值仿真验证了所提控制设计方法的有效性。该方法充分考虑了刚柔耦合动力学特性,仅通过对刚体姿态的控制,便达到了被动振动抑制的目的。（2）针对存在外部干扰影响的挠性航天器的姿态控制问题,提出了一种基于输出反馈的非线性H∞控制设计方案。通过引入辅助变量,建立了挠性航天器非线性姿态系统的状态空间方程。在此基础上,针对挠性模态的难以测量性,构造了一类基于非线性挠性模态观测器的输出反馈控制器。通过选取合适的Lyapunov函数并利用矩阵解耦的思想,建立了具有状态依赖的线性矩阵不等式（Linear-Matrix-Inequalities,LMIs）形式的控制器存在性条件,该条件可直接转化为具有SOS约束的凸规划问题进行求解,有效地解决了非线性输出反馈控制设计中的计算困难性。（3）针对外界干扰和惯性参数不确定性同时存在的控制输入受限挠性航天器的姿态控制问题,提出了一种基于输出反馈的鲁棒非线性H∞控制设计方案。首先,在（2）的研究基础上,同时考虑外界干扰输入和惯性参数不确定性的问题,并将惯性参数摄动引起的不确定性处理为凸多面体的形式。利用Lyapunov稳定性理论、SOS技术及广义S-procedure,建立了具有SOS约束的鲁棒非线性H∞输出反馈控制器的存在性条件,并证明了控制器设计中分离特性的成立,极大地降低了控制器设计的复杂性,有效地克服了非线性控制设计中构造Lyapunov函数的困难。然后,在上述非线性控制设计的基础上,进一步考虑了控制输入的幅值受限问题,建立了满足控制输入受限的非线性控制器的存在性条件,并通过数值仿真验证了所提控制设计方法的有效性。（4）基于以上研究思想,将研究对象拓展为一类更一般的不确定多项式非线性系统,考虑基于输出反馈的鲁棒非线性混合H2/H∞保性能控制问题,建立问题可解的凸可行/凸优化条件,将研究工作一般化,完善已有结果。