基于KL散度的深度脉冲神经网络无监督学习算法研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:liongliong506
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据技术的快速发展,研究和开发类脑计算模型及平台受到研究者越来越多的关注。深度神经网络凭借对大规模数据出色的处理能力在各个行业大显身手,但是传统人工神经网络模型和生物神经系统在信息编码等方面存在一定的差距,使得具有生物可解释性的深度神经网络计算模型需要进一步的研究与发展。脉冲神经网络应用精确定时的脉冲序列编码与处理神经信息,与基于脉冲频率编码信息的传统人工神经网络相比,拥有更强大的计算能力,非常适合于实现复杂时空模式的处理问题。此外,在深度神经网络模型训练中,无监督学习不需要对数据添加标签,并且无监督学习更加符合大脑学习的特征。因此,结合脉冲神经网络的信息处理方式与深度神经网络的计算模式,构造具有广泛适用性的深度脉冲神经网络的无监督学习方法,将是机器学习研究中极富挑战性的任务。基于以上描述,本文构建了一种用于深度脉冲神经网络的无监督学习算法,主要的研究内容如下:(1)分析了脉冲神经网络的无监督学习规则和深度学习方法,然后介绍了传统的对比度散度算法。在此基础上,重点分析比较了脉冲神经网络基于脉冲驱动的对比散度学习算法,分别包括基于脉冲频率的对比散度和基于STDP机制的对比散度方法。(2)对于脉冲序列编码的脉冲神经网络,提出了一种基于KL散度的无监督学习算法。首先介绍了本文使用的脉冲神经元模型,构造了构成深度脉冲网络的脉冲神经机模块,然后在该模块上使用所提出的无监督学习算法进行脉冲序列学习任务,通过重建误差验证无监督学习规则的学习性能。最后对实验结果进行分析,结果表明所提出的无监督学习算法可以学习具有时空特性的脉冲序列,并且学习性能良好。(3)通过模块叠加的方式设计了脉冲神经网络的深层结构,并提出了相适应的逐层预训练方法。为了验证脉冲神经网络深层结构的计算性能,将计算模型应用到了图像分类问题中,先通过无监督逐层预训练对特征进行学习,然后在最后一层添加监督学习算法对网络进行微调。在本文中,误差反向传播算法仅对最后一层隐含层的突触权值进行微调,不对整个网络进行反向传播。通过实验结果表明,应用基于无监督学习算法的逐层预训练及反向微调方法,可以很好的解决图像分类问题,并得到了较高的精确度。
其他文献
目的:通过免疫组化法检测舌鳞状细胞癌患者癌组织及癌旁组织中的FIP200、ATG7的表达差异,分析FIP200、ATG7与舌鳞状细胞癌的相关性及临床意义,为舌鳞状细胞癌的靶向治疗提供前期实验依据。方法:选取2012年-2019年于右江民族医学院附属医院就诊的36例舌鳞状细胞癌手术患者的石蜡标本用于FIP200免疫组化染色;34例舌鳞状细胞癌手术患者的石蜡标本用于ATG7免疫组化染色。经HE染色,镜
随着我国日化市场不断加大对外的开放力度,日化行业得到迅猛发展,已经成为世界上最具发展潜力的日化消费市场。在激烈的日化市场竞争中,JEUNESSE公司以其独特的创新市场营销战略突出重围,在欧美市场稳步增长的同时赢得了在华日化产品市场快速发展。JEUNESSE公司在中国市场如何通过符合中国市场环境的营销策略,实现复合增长率五年两位数的持续增长,为中国日化企业带来了深刻的借鉴意义。与此同时,JEUNES
目的:机械通气患者很容易发生呼吸机相关性肺炎,影响患者的总体预后,本研究将胸肺物理治疗应用于呼吸机相关性肺炎患者,与进行药物等常规治疗和常规护理的患者进行比较,探讨
近年来,中值滤波操作作为一种常用的图像后处理手段,越来越多地被用来掩盖其他图像篡改操作遗留下来的痕迹,图像中值滤波篡改操作的检测已经成为数字图像篡改取证领域的一个
随着协同制造模式的飞速发展和广泛应用,协同制造服务吸引了越来越多的用户,协同制造环境下的服务呈现海量增长的趋势,用户如何从大量的服务中准确选择满足其需求的服务,是当
同步辐射光是一种用途非常广泛的光源,可用于多种基础前沿学科的研究,同步辐射装置对于推动各学科发展发挥了重大作用。上海同步辐射装置总体性能位居国际前列水平,已在生命科学、凝聚态物理、材料科学、化学、能源与环境科学等学科的前沿基础研究和高新技术的研发领域取得了一些重要成果。在上海光源光束线站的各系统设备中,光束位置测量装置是其中非常重要的设备之一,它用于测量X射线的具体位置及其光斑大小。X射线的位置参
在生物学上,突触之间信息的传递是经过各种神经递质直接或间接地将刺激信号从一个细胞输送到另一个细胞,从而导致受体接收到的信息会发生一定的变化,最终各个信号的输入在突
呼叫中心(Call center)自上世纪九十年代进入中国,并一直呈现发展迅速的趋势,截至2013年末,中国呼叫中心市场投资达到900多亿美元,然而呼叫中心的发展仍旧存在很多问题,诸如
在当今世界,每时每刻都有大量的信息从各种渠道推送给人们,如何从这些信息中筛选出重要信息显得尤为关键,文本摘要就可以帮助做到这一点。本文主要针对句子级概括式文本摘要
近年来,随着知识经济的崛起以及全球经济一体化进程不断加快,国家间综合国力竞争的焦点逐渐转移到科技创新上来。中共十八大在提出完善社会主义市场经济体制的同时,强调了实