基于强化学习的脉冲神经网络模拟电路设计

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:shshay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息时代的到来,现代社会对超大数据量计算的需求越来越大,传统的冯·诺依曼计算机体系结构以串行的方式进行信息处理,很多情况下,难以满足现在的需求,类脑计算也因此成为研究热点。类脑计算本质上是对生物神经网络结构进行模拟和借鉴,而脉冲神经网络由于其网络结构与生物神经网络相似,因此成为类脑计算的重点研究方向。作为类脑计算的重要组成部分,脉冲神经网络主要通过突触前后脉冲之间的时间差来修改权重,即STDP(Spike Timing-Dependent Plasticity)法则。这种学习机制在特征分类方面效果很好,但是与任何无监督学习算法一样,它在决策和诊断等功能方面效果并不理想。生物神经网络中,大脑的奖励系统在判断和决策中起着至关重要的作用,而奖励的过程也被称为强化学习(Reinforcement learning)。因此,将强化学习和脉冲神经网络相结合,在脉冲神经网络中添加奖励机制,从而产生了新的学习法则R-STDP,而这一法则也成为了脉冲神经网络研究的重要内容。目前脉冲神经网络的研究还不够深入,用硬件完成脉冲神经网络设计的更是不多,且已实现的脉冲神经网络大部分在应用上比较单一,不具备通用性。为了对脉冲神经网络硬件方面进行更加全面的研究,本文基于强化学习完成了脉冲神经网络模拟电路设计,并验证了其功能。本文主要完成的工作内容和成果如下:(1)本文设计了基于CMOS模拟电路的突触电路。其中主要包含了初始权重随机化模块和基于R-STDP的突触可塑性模块。初始权重随机化模块加大了神经元之间的激发间隔时间,避免了由于侧向抑制失灵而导致的贪婪学习和重复学习;突触可塑性模块在脉冲神经网络中引入了强化学习的奖励机制,通过奖励信号对权重进行调制,提升了脉冲神经网络的通用性。(2)本文基于漏电积分点火模型,完成了多功能的CMOS神经元电路设计,较好的复现了生物神经元中阈值自适应和不应期等特征。并且利用加权求和模块,将兴奋性突触和抑制性突触映射为权重的正负,两种突触合为一体,为整个脉冲神经网络结构减小了硬件开销。(3)本文利用上述的突触和神经元电路模型完成了脉冲神经网络电路设计,并将该网络应用于异或运算的检测。
其他文献
学位
学位
随着信息技术的发展和产业规模的增大,将信息通讯网络与物理对象紧密联系的信息物理系统(Cyber-Physical Systems,CPSs)广泛应用在现代工业中,并在其中占据至关重要的地位。它们的出现吸引了诸多研究领域的关注,比如电力系统,供水系统和交通运输系统。信息网络的广泛应用使得信息物理系统更容易受到恶意攻击的侵害,进而造成物理对象受到严重破坏,而传统的网络安全技术难以解决这一问题。例如,伊
学位
由于实际系统中经常存在复杂的非线性动态,因此对于非线性系统的研究得到了广泛的关注。T-S模糊模型提供了一个普遍的形式来处理非线性动态,进而被应用到了许多工业系统中。随着系统复杂程度的不断提升,对系统安全性能和可靠性能的要求也在不断提高,因而故障诊断技术得到了广泛的重视并且已应用到各个领域内。本文针对T-S模糊系统进行了故障诊断问题的相关研究。现将本文的主要创新点总结如下:针对一类描述成T-S模糊模
五甲川菁染料(Cy5)是阳离子菁染料中重要一族,其最大吸收与荧光发射波长,已属于近红外区域,被广泛应用于肿瘤治疗、分子检测、荧光成像等生物医用领域。然而传统的Cy5合成方法步骤多,后处理繁琐、且需要缩合剂参与,迫切需要开发一种简单新颖的策略用于Cy5合成。基于此,本文首次设计了一种通过可见光诱导的五甲川菁染料合成方法,该方法无需缩合剂、光敏剂,具有良好的空气耐受性,一锅即可得到最终产物五甲川菁染料
随着医疗信息化建设的不断发展,电子病历因其高效便捷、易于查询、便于统计分析等优点,逐渐受到众多医疗机构的认可。但是病历中包含大量的敏感数据,交互过程中会存在隐私数据泄漏的风险,因此跨域电子病历互访已经成为一个亟待解决的问题。本文的研究内容主要是提出一个医院间电子病历互访模型,将多色集合理论应用于互访模型的业务过程的形式化描述上,同时在基于角色任务的访问控制模型的基础上,利用多色集合实现对电子病历互
有机-无机杂化钙钛矿太阳电池(Perovskite Solar Cells,PSCs)因光电转换效率高、原料丰富和制作工艺简单等优点,近年来受到了人们的广泛关注。NiOx因自身良好的载流子传输性能、优异的化学稳定性和低廉的成本常作为空穴传输材料被应用到倒置平面型PSCs的制作中。磁控溅射法是一种能够实现大面积制备NiOx薄膜的方法,所制备的NiOx薄膜表面均匀、平整度高,但是薄膜的电导率偏低且与钙
民航飞机根据4D航迹飞行是从起飞、爬升、巡航、下降、着陆全阶段进行空间三维和时间维度的精细化控制,而基于4D航迹的运行将是未来空管系统的核心运行概念。空中交通情况复杂多变,飞机的轨迹会受到天气、管制等诸多因素的影响,但在实时系统中,如何充分利用飞机的位置和状态信息做出快速有效的分析和预测,为系统或管制员提供实时的参考信息,已成为该领域的一个研究热点。随着广播式自动相关监视(ADS-B)的推广,各飞
学位