卷积神经网络(Convolution Neural Network,CNN)是一种可以自动提取图像多层次特征的深度神经网络,因具有权值共享、稀疏连接和池化操作的特点,使得其被广泛应用在目标检测、人脸识别和自然语言处理等领域。但目前的CNN算法普遍存在训练时间成本较高的问题,这使得其占用了大量的计算资源;同时CNN在小样本数据集上表现不佳,容易出现过拟合现象。如何解决这两个问题是目前CNN优化算法的研究重点。另一方面,回声状态网络(Echo State Network,ESN)作为一种特殊的递归神经网络(Recursive Neural Network,RNN),其训练过程高效简洁并且可以有效避免过拟合现象,因而被广泛应用在时序信号处理和模式识别等领域。但由于ESN存在浅层性和随机性的特点,使得其在处理复杂特征时性能较差,这也限制了ESN在工程领域的进一步推广应用。本文研究发现通过结合CNN与ESN有机会使二者发挥各自优势并弥补彼此劣势。因此本课题分别从优化CNN模型和优化ESN模型两个角度出发,提出两种结合模型:1)基于回声状态网络分类的卷积神经网络(Echo State Network-Classification Based Convolutional Neural Network,E-CNN)模型。E-CNN模型提出用ESN代替CNN模型中的全连接层,并推导出了新的残差迭代公式,在此基础上该模型继续沿用CNN的反向传播算法(Back propagation algorithm,BP算法)训练CNN的隐藏层参数,以及使用线性回归法则训练ESN的输出权重。通过在MNIST数据集、Fashion MNIST数据集和ORL数据集上的仿真实验证明了新算法的可行性,同时实验结果反映出该模型既保留了CNN多层次特征提取的能力,又通过引入ESN模块减少了算法的训练时间以及提升了其在小样本数据集上的性能。2)基于卷积神经网络特征提取的回声状态网络(Convolutional Neural NetworksFeature Extraction Based Echo State Network,C-ESN)模型。C-ESN模型将CNN网络中的卷积层和池化层引入ESN模型中作为其特征提取部分,为了保留ESN的优势,该模型提出使用预训练的CNN模型并继续遵循线性回归法则训练ESN的输出权重。通过在数据集MNIST和Fashion MNIST上的仿真实验验证了新算法的可行性,同时实验结果反映出新模型既保留了ESN训练简洁高效的特点,又通过引入CNN模块弥补了ESN的浅层性和随机性。