【摘 要】
:
循环神经网络是一个具有非线性、非局域性、非定常性、非凸性和混沌等特性的复杂动力系统,对这类网络的训练和学习一直是理论神经科学和机器学习领域的研究热点.由于网络神经元活动的混沌行为,使得不少传统解决方案都带有各种局限性.相较而言,近年流行的FORCE(First-Order,Reduced and Controlled Error)学习方案则是一种更加迅速和有效的方案.该方案源于对反馈回路的调整,但
论文部分内容阅读
循环神经网络是一个具有非线性、非局域性、非定常性、非凸性和混沌等特性的复杂动力系统,对这类网络的训练和学习一直是理论神经科学和机器学习领域的研究热点.由于网络神经元活动的混沌行为,使得不少传统解决方案都带有各种局限性.相较而言,近年流行的FORCE(First-Order,Reduced and Controlled Error)学习方案则是一种更加迅速和有效的方案.该方案源于对反馈回路的调整,但文献中对反馈网络所起的作用缺乏系统的研究.FORCE学习的关键是设计合适的成本函数来确定权重修改规则,本文将前人的成本函数进行了修改和推广,对含有目标信号、目标输入电流或发放率的成本函数采用RLS(Recursive Least Square)方法进行处理.在前人研究的基础上,针对自发混沌的循环神经网络,改进和设计了10种带有不同网络结构和反馈回路的FORCE学习方案.通过数值实验,考察几种重要的统计指标,如训练用时、读出信号的瞬时误差和平均误差、效能矩阵的特征值等,结合网络动力学现象来分析反馈回路和网络结构所起的作用.本文发现反馈信号的存在能有效抑制网络的混沌,进而在不同的网络结构下比较各种FORCE学习方案的优劣.实验结果表明:仅修改外部连接的方案具有较好的准确性,但学习效果不稳定;而只修改内部连接的方案具有较好的稳定性,但是准确性较低;同时修改内外连接的方案,能同时兼顾到准确性和稳定性.在同时修改内外连接的方案中,通过教师网络来间接提供反馈的方案具有更好的稳定性和准确性,而且权重修改更符合生物实际.
其他文献
图G的一个正常k-全染色是指一个映射φ:V(G)∪E(G)→{1,2,…,k},使得V(G)∪E(G)中任意两个相邻的或相关联的元素染不同颜色.G的全色数是使G有一个正常k-全染色的最小整数k,用χ"对(G)表示.令Cφ[v]={φ(v)}∪{φ(uv)|uv∈E(G)}表示点v的颜色与v的关联边的颜色组成的集合.如果在图G的一个正常k-全染色φ下,对任意一条边uv∈E(G)有|Cφ[u]\Cφ[
图上的随机游走是图论研究的热点课题之一,在计算机科学、信息科学、电网络等多个分支中有着重要的应用.Hitting time是图上随机游走的重要问题之一,hitting time及其相关的不变量已经被学者广泛研究.Doyle等人的专著对电网络与图上随机游走之间的关系做了全面的阐述.Klein等人提出了有效电阻的概念,并建立了有效电阻和随机游走之间的关联.从图的结构出发,有学者研究了树和单圈图的hit
本文主要对几类非局部椭圆方程(组)正解的存在性以及性质进行研究,一共分为五章.在第一章,我们介绍几类问题的研究背景以及得到的主要结果.在第二章,我们研究带Hartree型非局部项的积分方程组正解的性质,其中N ≥ 3,p ≥ 1且0<μ,τ
随着科学技术的不断发展,网络的应用越来越广泛.如人们应用传感器网络完成监控城市交通、监视入侵者、维护设备等任务,而这类任务可以模型化为最小加权顶点覆盖问题及其相关变形.最小加权顶点覆盖问题是经典的组合优化问题,已有好的集中式近似算法.但在高度动态、大规模的网络背景下,人们更倾向于自组织的分布式算法.本论文应用博弈论研究最小加权(连通)顶点覆盖问题,并设计分布式算法.研究的关键在于对异质权重的博弈处
本文共分两部分.第一部分主要研究了p次微分分次Poisson代数的平凡扩张,证明了扩张代数也是p次微分分次Poisson代数.第二部分引入了 p次微分分次Poisson子代数,p次微分分次Poisson理想,p次微分分次Poisson子模,p次微分分次Poisson代数的上同调等,并探究了其相关性质.
汽车的诞生改善了人类的交通运输方式,与此同时带来的能源与环境问题同样不容小觑。未来汽车行业将向着低能耗、清洁环保的新能源汽车方向发展。CVT混合动力汽车(Hybrid Electric Vehicle,HEV)将纯电动汽车和传统燃油汽车的优点结合起来,可实现更高的燃油经济性和更低的污染排放性,以及传动系与发动机工况的最好匹配,因此受到了越来越多的重视。混合动力汽车只有通过有效的能量管理策略(Ene
覆盖问题是一类经典的组合优化问题.在生产生活中有着广泛的应用,如:扮演电子警察的控制集问题.本文主要应用博弈论的方法来研究控制集问题的两个变形:连通控制集问题(connected dominating set)与安全控制集问题(secure dominating set).连通控制集问题的产生是基于人们对网络监控系统中无线传感器之间保持信息共享的需求.对于给定的图G=(V,E),如果对任意的点vi
本文主要研究一类带有Stein-Weiss型卷积的椭圆方程.一是运用移动平面法、正则性提升引理以及其他椭圆型计算技巧研究其在全空间中正解的性质.二是运用能量估计、分类定理以及Poho(?)aev等式研究方程变号解的Liouville型定理.第二章,在RN空间上,考虑方程正解的性质,其中N≥3,0<μ
图的谱理论研究是图论研究中一个重要的领域.它主要借助图的相关矩阵所描述的参数来刻画图自身的结构性质,并研究图的拓扑参数与其结构之间的内在联系.图的边扩展是指,采取一定的方式增加图G中边的数量以构成新的图.近年来许多学者致力于刻画边扩展图的拉普拉斯特征值,本篇论文在前人研究基础上进一步推广了其结论.本文主要研究了团扩展图,广义四边形图以及作强乘变换后所得图的谱及相关参数问题.具体内容包括:第一章,介
随着我国社会经济的快速发展,社会力量的快速壮大,社会工作专业越来越得到社会上的广泛认可,社工机构提供的服务也越来越专业和全面,同时政府也在积极转变职能,通过购买服务的方式,将公共服务进行外包,这样专业的社会组织成为了政府购买服务的首要选择对象,因此非营利社会公益组织以及社工机构的数量也呈现出上升的趋势。另外,为提升社会组织为政府选择购买服务提供参考,第三方评估应运而生,取得了长效的进步与发展。但在