自适应动态规划(Adaptive dynamic programming, ADP)是求解非线性系统最优控制的有效方法。近年来,为了实现非线性系统的有限时间最优控制,一种新的有限时间ADP算法被提出。然而现有的有限时间ADP算法需要已知一步容许控制序列,并采用BP网络实现。本文针对该算法的不足以及BP网络的缺点,研究了有限时间ADP的改进算法及其回声状态网络(Echo state network, ESN)实现,并将改进算法用于求解输入含死区和跟踪控制问题。主要研究工作及结论如下：1.现有的有限时间ADP算法要求被控系统一步控制到零,即已知一步容许控制序列,这一条件限制了该算法的应用。针对现有算法的不足,本文提出了两种改进思路,分别命名为改进算法1和改进算法2。改进算法1需要已知初始容许控制序列,但序列长度任意,去掉了原算法序列长度为1的限制。改进算法2无需初始容许序列,它的初始代价选取与容许序列无关。在给出两种改进算法的迭代过程后,严格证明了改进算法1和2的收敛性。为了实现有限时间控制,引入误差限ε,推导出ε-最优控制,并证明它的近似最优性。2.讨论了ADP算法神经网络实现的收敛性。以改进算法2为例,分别对评价网络近似误差和双网络近似误差进行分析。在满足某些假设条件时,证明了神经网络近似代价序列能够收敛到理论最优代价的有界邻域。仿真算例说明所提出的收敛性分析方法是有效的。3.针对输入含对称死区的非线性系统,使用改进算法1求解有限时间最优控制问题。首先构造新的效用函数形式处理死区,其次在改进算法1的结构图中,引入死区网络对死区进行辨识。最后通过仿真实验证明了改进算法1能够有效处理死区约束。4.以改进算法2为基础提出了有限时间优化跟踪控制方案,并采用ESN实现。模型、执行和评价ESN的输出权值均采用LM算法调整。仿真实例验证了所提出的跟踪控制方案的有效性。