近些年，交通拥挤已成为制约社会经济发展的一个重要因素，越来越受到重视。交通信号控制系统已成为管理路网交通流的重要措施和手段，对其进行优化已成为提高交通运行效率的重要方式。本文采用强化学习中的TD学习算法对单交叉口信号控制方法进行研究，是利用人工智能理论提高控制系统性能的有益尝试，目的是提出交叉口信号控制的新方法和新思路。本文对传统的绿灯时间等饱和度概念进行了扩展，提出了分级绿灯时间等饱和度。在此基础上，针对分级绿灯时间等饱和度目标，构造了奖赏函数，采用状态离散方法和模糊方法解决流量状态空间维数爆炸问题,建立了定周期和变周期两种模式下的八种离线TD学习配时优化模型。通过Matlab编程，开发了这八种模型的计算程序，相对于在线TD学习模型，离线TD学习模型更适合交叉口信号配时优化。以一个两相位控制的单交叉口配时优化作为算例，对比分析了八种模型的性能。总体上状态模糊的TD模型优于状态离散的TD模型，变周期模式的离线TD学习模型可以获得解的结构、最优解的分布，这是传统配时理论不具备的。定周期条件下，奖赏分级的效果不明显；变周期条件下，奖赏分级效果明显，交通性能更优。