循环神经网络是神经网络序列模型的主要实现形式，并在最近几年得到了迅速发展。循环神经网络现在基本是机器翻译，机器问题回答，序列视频分析的标准处理手段，也是对于手写体自动合成，语音处理和图像生成等问题的主流建模手段。本文对循环神经网络的各分支按照网络结构进行详细分类，大致分为三个大类：第一类是衍生循环神经网络，这一类网络是基于基本RNNs模型的结构衍生变体，即对RNNs的内部结构进行修改；第二类是组合循环神经网络，这一类网络将一些经典的其他网络模型或结构和第一类衍生循环神经网络进行组合，得到更好的模型效果，是一种非常有效的手段；第三类是混合循环神经网络，这一类网络模型既有不同网络模型的组合，又在RNNs内部结构上进行了修改，是同属于前两类网络分类的结构。为了对循环神经网络理解的更加深入，本文还将介绍和循环神经网络经常被混为一谈的递归神经网络结构以及递归神经网络与循环神经网络的区别与联系。在详略描述上述模型的应用背景、网络结构以及模型变种后，对各个模型的特点进行总结和比较，并在最后对循环神经网络模型进行展望和总结。