在过去的几十年时间里,伴随着海上的恐怖事件及濒海战争的升温和人口增长对资源需求的不断升级,导致水面无人艇的研究和应用得到了快速发展。而无人艇航行控制算法的优劣对整个航行系统至关重要。变结构控制是一种非线性控制方法,在处理非线性系统对象的控制问题上效果显著。但由于系统对象的不确定性及外部的干扰,单一的变结构控制方法在无人艇航向的控制效果方面仍有待提高。本文着眼于通过引入其他的控制方法与变结构控制方法相结合,构成复合的变结构控制策略,并将其运用于无人艇航向、航迹控制领域。主要内容如下:以水面无人艇为研究对象,采用一种基于系统浸入与流形不变的自适应反演滑模控制方案。将反步法和滑模方法的产物super-twisting相结合,而设计一个自适应反演滑模控制器。其中对扰动估量的设计采用浸入与不变方法,其主要特点就是在整体自适应律中加入其他补偿项,并且在此基础上建立一个对扰动估量的误差流形,通过灵活设计自适应律使误差流形为不变,从而保证扰动估计误差的收敛。仿真结果表明:利用该方法能准确估计设计的控制器外部扰动估计准确,无人艇航向的控制性能优于与采用自适应反演滑模控制。针对传统滑模控制方法和传统滑模趋近律在航向控制中存在收敛速度慢的问题,采用一种基于新型幂次趋近律的终端滑模控制方法。充分结合终端滑模的控制理论和新型趋近律的思想设计了新型Terminal滑模控制器。仿真结果表明,与传统幂次趋近律、指数趋近律相比,设计的新控制器具有更快的收敛速度和更好的运动品质。在前文对无人艇航向的滑模控制的研究基础之上,进一步研究滑模控制方法对欠驱动无人艇的航迹控制上效果如何。基于滑模控制和新型幂次趋近律分别设计纵向控制律和横向控制律。仿真结果表明:利用该方法设计的控制器可以准确的跟踪虚拟无人艇行驶的参考轨迹,对不确定参数及较强的外部扰动有着很强的鲁棒性。