论文部分内容阅读
极限学习机(ELM)作为一种新型的单隐藏层前向神经网络,在许多分类和回归问题上都取得了优异的表现。然而,在面对许多复杂问题时,由于未能从原始数据中提取有用的深层次表示,ELM这种浅层结构仍存在一定的局限性。近些年,一些深度ELM模型,比如层叠式ELM(H-ELM),堆栈式ELM(Dr-ELM)等已经广泛应用于机器学习的多个领域。在本文中,针对时间序列预测问题,首先提出了一种双深度ELM异构集成系统(Double deep ELMs ensemble system,DD-ELMs-ES),在DD-ELMs-ES中,除了将H-ELM,Dr-ELM作为基模型外,也提出了一种新的受限H-ELM(CH-ELM),并将其用作第三种基模型。CH-ELM通过限制输入层到隐藏层的输入权值,从而获得更好的特征映射。此外,一种新的集成选择算法self-adaptive ReTSP-Trend将在DD-ELMs-ES中展现。在整个DD-ELMs-ES系统中,深度模型保证了对数据有用特征的提取,而集成学习的过程提高了整个系统的鲁棒性。实验表明,相比于基模型和其他优秀算法,DD-ELMs-ES在人工和真实数据集上获得了更好的泛化性能。然后,本文还提出了一种新的深度ELM结构,称为基于弱结果的深度层叠式模型(Cascading Deep Architecture based on Weak Results,CDA-WR),主要用于解决金融股票领域的时间序列预测问题。CDA-WR颠覆传统时间序列预测模式,它分为3个阶段,在第一阶段,通过构造的弱预测器获得相关的弱结果;在第二阶段,通过将弱结果与原样本重组,获得新的样本,再交给栈式自编码器(SAEs)获取有用特征;在第三阶段,利用在线极限学习机(Online Sequential ELM,OS-ELM)完成最后的预测。在5个金融股票时间序列数据集上的结果表明CDA-WR比其他ELM变体模型拥有更加优异的预测性能。