船舶运动具有本质非线性、模型不确定、干扰难以精确测量等特点，所以船舶运动控制属于典型的非线性系统控制理论的研究范畴。此外，船舶运动控制的执行机构具有饱和、死区、迟滞等一系列的硬非线性特性，需要在控制器设计时考虑这些影响。船舶运动控制是船舶自动化的核心，直接关系到船舶航行的操纵性、经济性，航行的安全性和舰艇的战斗力，基于不确定性非线性数学模型设计航向控制器并在设计中考虑执行器非线性特性是有必要的，具有较重要的理论价值和现实意义。为此，本文系统的分析了船舶航向控制的特点，基于无源理论研究了海浪滤波问题，基于反步控制方法研究了船舶航向运动的非线性自适应控制和非线性鲁棒优化控制等问题，具体研究内容如下：第一，为实现船舶航向运动的状态重构和海浪滤波，基于无源理论设计了船舶航向运动非线性观测器。首先给出了带有海浪扰动成形滤波器的船舶航向运动系统模型、状态观测器和估计误差系统的非线性方程，进而通过对估计误差系统无源化得到状态观测器的参数设计方法。为适应不同海况和航行条件，应用递推最小二乘方法对海浪扰动频率进行在线辨识以实现这种无源状态观测器参数的自动调整。最后利用一单螺旋桨集装箱船的四自由度模型进行仿真，结果表明这种基于无源理论的状态观测器能较好的实现海浪滤波和状态重构。第二，针对船舶航向运动的非线性、参数不确定性问题，设计了船舶自适应反步控制器，并综合前文提出的无源状态观测器，给出了输出反馈控制算法。为了补偿常值稳态误差和应对未建模动态、参数不准确性的影响，在反步和自适应反步控制中引入积分作用，然后参照PID控制给出了反步控制器的参数调整方法。综合第3章给出的无源状态观测器和反步控制及自适应反步控制方法，分别给出了船舶航向输出反馈控制器和自适应输出反馈控制器，并证明系统是输入-状态稳定的。最后我们引入了死区方法以避免自适应控制器的参数漂移。仿真结果表明，所提出的控制算法提高了控制性能，对船舶航向运动的不确定性参数具有良好的自适应性。第三，为考虑船舶舵机饱和特性问题，基于AWBT(anti-windup and bumpless transfer)控制思想提出了一种抗饱和反步控制方法。首先描述了船舶航向运动的抗饱和控制问题，并将此问题扩展为一类参数不确定非线性严格反馈系统的抗饱和反步控制问题。针对这类系统，我们分两步设计抗饱和反步控制器，先不考虑执行器饱和特性，利用自适应反步法设计非线性控制器，再在此基础上以执行器输入输出之差为输入设计抗饱和补偿器，将抗饱和补偿机制引入到控制器中。然后，将这种抗饱和反步控制方法应用于船舶航向运动控制，降低了舵机饱和对系统稳定性和控制性能的影响。仿真结果表明，船舶航向反步控制中引入抗饱和补偿器，可有效降低系统能耗、提高控制性能。第四，基于Norrbin模型，综合考虑了加入状态观测器所带来的观测误差和船舶运动的模型参数不确定性等因素，为实现船舶航向运动的非线性优化控制，引入了一种基于反步法的非线性H_∞优化控制方法。首先对带有状态观测器的船舶航向控制问题进行了分析，给出了控制的局部和全局优化性能指标。然后将问题归结为一类典型非线性严格反馈系统的H_∞优化控制问题，利用反步法将这类系统进行转化，并采用逆优化方法进行求解，设计了满足H_∞干扰抑制的非线性优化控制器。然后基于这种方法设计了船舶航向非线性H_∞优化控制器。由仿真结果可以看出，与LQR方法相比较，非线性H_∞优化控制器具有更好的控制性能和鲁棒性。