小型无人直升机由于其独特的性能在军事和民用领域具有很大的应用价值,成为目前自主控制领域的研究热点之一。其高度非线性、强耦合、时变、开环不稳定等特点,给飞行控制带来了很大的挑战。本文以浙江大学“玉泉之翼”小型无人直升机作为研究对象。完成了飞行控制系统软件架构的搭建；建立了多模态任务调度的有效机制；构造了协调转弯模态下的控制器；并且引入了动态矩阵控制(DMC)的方法对前飞模态下的航迹跟踪进行了优化。本文的主要工作及贡献如下：1.系统介绍了目前国内外小型无人直升机的研究概况和相关飞行控制技术的研究现状,分析了主流的技术方法与研究手段,指出了面临的主要问题与发展趋势。2.介绍了小型无人直升机系统的实验平台,包括硬件体系、软件架构以及仿真系统的设计。给出了实时操作系统下软件架构和功能模块的具体实现,具有良好的可靠性和可扩展性。3.在分层控制结构的基础上,建立了自主航线飞行中的任务调度机制,可满足复杂航线任务的需求。对多模态任务调度和切换策略进行了详细介绍,并通过实际飞行实验和半实物仿真实验验证了调度机制的有效性。4.对小型无人直升机的动力学特性进行了分析,提出了协调转弯模态的控制策略；在此基础上,设计了PID串级控制器,并在半实物仿真平台上取得了良好的控制效果,‘为小型无人直升机执行更复杂的任务奠定了基础。5.提出了航迹跟踪的DMC方法,通过在线优化、反馈校正抑制不确定性的影响。将系统经姿态环和速度环镇定后作为广义对象,设计了DMC控制器,并对DMC参数进行了整定。半实物仿真实验证明,采用DMC方法后,系统具有较好的动态响应,航迹跟踪效果明显改善。