现代物理学发展已经证实,相对于基于传统微积分描述的整数阶系统,很多真实的物理系统都可以更加精确地用基于分数阶微积分理论的分数阶系统描述。目前,分数阶系统控制已经成为非线性系统领域的一个新的研究热点。本文结合国家自然科学基金项目“不确定分数阶混沌系统同步控制及其在保密通讯中的应用研究”和浙江省自然科学基金项目“分数阶非线性系统的渐近稳定性”,对分数阶非线性系统控制理论进行了初步研究。首先,给出了分数阶系统的一些基本概念,包括状态空间模型、伪态、状态、初始化问题和能量函数等。初步讨论了基于分数阶李雅普诺夫稳定性的分数阶系统控制理论,构造了一类基于幂指数函数的分数阶李雅普诺夫函数,给出了分数阶非线性系统的稳定性充分条件。此外,推广了经典的控制李雅普诺夫函数,定义了控制分数阶李雅普诺夫函数以及自适应控制分数阶李雅普诺夫函数,将分数阶非线性系统镇定问题转化为一系列不等式条件的满足问题。本文将传统的反步设计思想引入到分数阶非线性系统中,基于控制分数阶李雅普诺夫函数设计的框架,提出了分数阶反步设计法。利用控制分数阶李雅普诺夫函数设计法,给出了分数阶非线性系统可实现米塔格-列夫勒镇定的充分条件,并利用分数阶反步设计法,分别设计了确定性分数阶非线性系统和不确定性分数阶非线性系统的分数阶镇定控制器。由此所设计的分数阶控制器能保证闭环控制系统的全局稳定性。分数阶非线性系统也常常存在扰动,例如参数不确定性或噪声。本文研究了含扰动的不确定性分数阶非线性系统的控制问题。针对分数阶非线性系统的控制输入端存在扰动,或者在模型的任意位置存在扰动,分别在扰动最大上界已知和未知的情况下,利用分数阶反步设计法,提出了分数阶连续控制器和分数阶切换控制器。由此所设计的分数阶控制器能保证分数阶控制系统收敛到平衡点。