论文部分内容阅读
当前,深度学习与群体智能优化算法都是比较热门的研究课题。其中,非监督深度学习能够获得数据中抽象、本质的特征,群体智能优化算法可以应用在高维数据的聚类研究中。本文选择深度信念网络作为研究的非监督深度学习模型,蝙蝠算法作为聚类应用的算法。为了使得深度信念网络模型获得更本质的特征,蝙蝠算法聚类应用获得更好结果,本文提出非监督深度学习与群体智能优化一体化算法,最终根据一体化算法获得一个精简的深度信念网络结构与较好的蝙蝠算法聚类应用结果。本文研究内容主要包括以下几个方面内容:1、改进的蝙蝠算法。为了使得本文提出的一体化算法中优化的聚类应用能够获得较高的聚类准确率,提出一种改进的蝙蝠算法。改进的蝙蝠算法中,蝙蝠个体朝着适应度值较低的某个个体移动,这样可以避免陷入某个局部极值。那些被更新的蝙蝠个体也存在全局最优解,所以保留部分被更新的蝙蝠个体指导蝙蝠种群寻优。适应度值较高的个体周围存在全局最优解的概率较低,所以每次迭代后随机初始化1/3种群代替那些适应度值较高的蝙蝠个体。选择UCI中的Iris,Wine,Sonar,MNIST中部分数据集作为改进的蝙蝠算法与原始蝙蝠算法、差分进化算法等智能算法聚类应用的数据集。实验结果表明,本文提出的改进蝙蝠算法能够获得更高的聚类准确率,鲁棒性更强。2、基于蝙蝠算法的DBN网络结构确定方法研究。深度信念网络(DBN)结构的确定归结为隐含层神经元个数与层数的确定。DBN网络训练是以重建样本与原始样本误差最小为目标,所以最佳神经元数对应DBN结构的样本重构误差最小。本文提出将蝙蝠个体当做隐含层神经元个数,以DBN网络重构误差当做蝙蝠个体寻优的适应度函数,最终获得最佳的隐含层神经元个数,获得DBN初步结构以提取输入数据特征数据。然后根据提出的改进蝙蝠算法对这些特征聚类研究,最终增加隐含层获得的特征对应的聚类准确率远小于记录的聚类准确率,停止增加隐含层。可以看出本文提出的基于蝙蝠算法确定的DBN网络结构与改进的蝙蝠算法构成一体化算法,将UCI中的Iris数据集作为一体化算法中优化应用数据集,实验结果显示,本文提出的一体化算法能够获得精简的DBN网络结构与较高的优化聚类应用准确率。3、基于DBNSD算法的DBN网络结构确定方法研究。本文提出的DBNSD算法从单个样本与所有样本角度增加隐含层神经元,在DBN网络训练过程中,如果某个样本对应的权值与偏置变化非常大那么考虑增加一个隐含层神经元。从所有样本角度考虑,如果权值与偏置能够拟合大部分样本,那么不需要增加隐含层神经元,继续对当前DBN网络训练。然后对当前DBN提取的特征进行聚类测试研究,如果增加隐含层能够得到更高的聚类准确率,那么增加隐含层,否则不改变当前DBN网络结构。可以看出本文提出的DBNSD算法与改进的蝙蝠算法构成一体化算法,二者互相促进。从MNIST数据集中选择部分数据集作为提出的一体化算法中聚类测试数据集,最终获得一个精简的DBN结构并且改进的蝙蝠算法能够获得较高的聚类准确率,说明提出的DBNSD算法的有效性,也说明了本文提出的一体化算法的可行性。