面向多核的新型HTM研究

来源 :江苏大学 | 被引量 : 0次 | 上传用户:standups_wu
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
层级时序记忆(Hierarchical Temporal Memory,HTM)是一种模拟生物大脑皮层结构的神经形态机器学习算法。通过对数据空间特征和时序特征的提取及稀疏分布表征(Sparse Distributed Representation,SDR),HTM将复杂问题转化为模式匹配与预测,实现数据流的在线分析和预测。与现有人工神经网络模型相比,HTM更接近于人脑认知世界的方式,特别适合于序列数据的分析与建模。但是,HTM模型训练的时间复杂度较高,特别是HTM空间池(Spatial Pooler,SP)的训练需要搜索整个模型空间查找活跃微柱,算法时间复杂度与模型规模成正比且查找操作不适用现有加速方法,如GPU进行加速,成为影响HTM模型训练效率的瓶颈。另外,HTM时间池(Temporal Memory,TM)在学习数据的时序依赖关系时,仅显式利用当前时刻激活态神经元与前一时刻激活态神经元之间的突触连接,随时间推移模型保存和记忆的历史信息逐渐减弱,导致HTM在长序列学习任务中的准确性受到影响。针对这些存在的问题,本文研究面向多核的新型HTM以提高模型的训练效率和预测准确性。论文的主要内容如下:1.在分析HTM模型算法特点及现有研究工作的基础上,总结了制约模型性能进一步提升的主要因素:HTM空间池算法缺乏并行机制,无法有效利用多核计算资源导致训练效率较低;HTM时间池仅显式依赖神经元之间的单步连接学习序列数据的时序关联,在长序列预测时准确性较低;对称性的训练与推理策略导致HTM的推理效率无法满足部分应用场景的实时性要求。针对此提出面向多核的新型HTM系统,并给出系统整体结构。2.针对现有HTM空间池算法中缺乏并行机制的局限,提出面向多核的并发HTM空间池算法。利用多核处理器的并发计算能力将空间池的训练分布在多个计算核心上并行完成,以加快活跃微柱的查找速度,减少空间池训练所需的时间开销。面向多核的并发HTM空间池算法包括基于分区的微柱激活策略和并发的近端树突调整算法。在多核大数据平台Phoenix上实现了算法原型MCHTM(Multi-core Concurrent Hierarchical Temporal Memory),使用NAB、NYC-Taxi和MNIST数据集进行了测试。实验结果表明相较于传统HTM,MCHTM在NAB和NYC-Taxi数据集上的训练时间开销分别降低97.29%和97.25%,SDR重叠率分别提高3.28%和1.83%,均方根误差分别降低0.031和0.026,在MNIST数据集上训练时间开销降低96.29%,准确率提高0.91%。3.针对现有HTM时间池算法中神经元时序关联局限性,提出基于多步反馈的HTM时间池算法,包含了基于多步反馈的时间池训练方法和非对称的时间池训练与推理策略。在神经元单步连接的基础上,将更多历史时刻的活跃神经元与当前活跃神经元建立远端树突连接,使得神经元能够记忆、保存更多历史信息,提高序列预测的准确性,并通过在训练与推理阶段激活不同数量的微柱和神经元提高HTM的灵活性。实现了算法原型MFHTM(Multi-timestep Feedback Hierarchical Temporal Memory)并进行了测试。实验结果表明相较于传统HTM,MFHTM在NAB和NYC-Taxi数据集上的SDR重叠率分别提高1.18%和1.04%,均方根误差分别降低0.015和0.024。4.基于Phoenix多核计算平台实现了面向多核的新型HTM原型系统,在NAB和NYC-Taxi数据集上对原型系统进行了测试,实验结果表明,相比于HTM原型系统训练时间开销分别降低52.51%和50.79%,SDR重叠率分别提升1.62%和1.39%,均方根误差分别降低0.022和0.031,验证了采用本文所提出的方法设计开发的原型系统的有效性。
其他文献
近年来随着海上平台石油开发、大型码头等工程的兴起,立式长轴消防泵的需求量不断增加,这也对其性能提出更高的要求。受潮汐、海浪、台风等影响,立式长轴消防泵在高淹没深度无空化激励的条件下,电机功率随着流量的增大而极剧增加,存在电机功率过载的危险;又因该类装备动力系统复杂,烧毁损失巨大,所以通常采用较大安全系数配套,不过因此也存在着能源浪费的问题。采用离心泵无过载理论进行设计,可以在水力设计阶段控制功率极
碳颗粒物(PM)排放一直是各类柴油机动力机械尾气后处理技术的控制重点。PM粒径分布广泛,其中粒径小于100纳米的超细颗粒对人体和环境都极具危害。柴油机颗粒物捕集器(DPF)能将排气流中的PM高效过滤,但必须对沉积在过滤孔道中的积碳进行适时清除,即DPF的再生。低温等离子体(NTP)具有强氧化性,能将PM在远低于起燃温度的条件下氧化分解,是一种新型的动力机械尾气净化技术,而填充床介质阻挡放电(PB-
近年来,随着互联网逐渐地深入人们的生活,用户已经习惯了在各大平台上分享和发表自己的观点,这些包含着大量用户行为数据的评论文本为开展文本情感分类研究提供了强有力的数据支持。文本情感分类作为自然语言处理领域的研究热点,相关的模型研究和应用拓展一直以来都备受研究者的关注。根据文本情感粒度的不同文本情感分类可分为句子级文本情感分类和目标级文本情感分类。当一个句子中包含多个目标实体和情感时,句子级情感分类任
本文采用多粒子有限元法(MPFEM)对纯WC粉末和WC-Ni复合粉末的热压成型过程进行了数值模拟。从粒子尺度系统研究了 WC颗粒尺寸比、颗粒数、Ni含量、以及压力和温度等因素对纯WC烧结件及WC-Ni合金烧结件的致密度、内部应力/应变的大小、应力分布、颗粒变形及孔隙填充规律的影响,并对致密化的动力学及机理展开了分析。得出的创新性结果如下:(1)在纯WC粉末热压过程中,应力主要集中在小颗粒上,因此小
镍基高温合金具有良好的综合力学性能、抗氧化性和组织稳定性,被广泛应用于制备航空发动机的热端部件,其主要强化方式是固溶强化、γ’相强化及碳化物强化。高合金化是提高合金固溶强化水平的主要方法之一,而金属W是一种能明显提升合金承温能力且低价的合金元素。W含量的控制对于高W合金化镍基高温合金极为重要,同时元素Hf对镍基高温合金的组织转变与性能提升起着重要作用,而W、Hf含量变化对于高W合金化镍基合金组织、
目的:肝类疾病是威胁人类健康的罪魁祸首之一,大量临床试验证明四逆散对肝类疾病有较好的治疗效果。本课题通过构建小鼠急、慢性肝类疾病模型,研究四逆散的肝保护机理是否与肝干细胞相关,进而研究Wnt信号在四逆散诱发肝干细胞增殖分化过程中扮演的角色。同时,在体实验上构建大鼠2/3肝切除模型诱导肝干细胞产生,探讨四逆散促进肝再生是否与肝干细胞分化有关。为进一步论证四逆散对肝损伤的治疗机理提供实验基础和科学依据
航空涡轮发动机通用规范要求,发动机压力平衡系统应提供合适的单向轴向载荷,轴向力过大甚至超过止推轴承所允许的负荷将损伤轴承,轴向力过小甚至方向变换会引起轴承轻载打滑蹭伤,为保证轴承能在设计使用寿命期内正常工作,在飞行前规定实验阶段应完成转子轴向力分析和实测验证。旋转机械轴向力研究方法主要有间接估算法和直接测量法,其中总性能法,摆动耙法和燃气喷管/流路法等间接测量法不能够准确测量轴向力。国内外主流方法
“人机交互”技术已经成为这个时代理论探索的热点、社会关注的焦点之一。随着数字技术问世所带来的对现实世界的种种数字化变革,在现实世界的基础上已经分化出一个虚拟世界,使得人作为实践主体置身于一个新的赛博时空,人类第一次在实践的对象、中介和体验中突破了过去物质形态世界的某些限制。虚拟世界在“人机关系”发展历程中具有里程碑式的意义和价值,它正全面而深刻地拓展人们对于“人机关系”的理论视野,并且将引起人们对
随着海军舰船技术的不断发展,新一代舰船对耐压壳体用钢的性能要求日益提高。J80钢是我国自主研制的第二代耐压壳体用钢,是我国现有强度级别最高的舰船用钢之一。J80钢传统的生产工艺是电炉(转炉)冶炼经过真空处理后,浇铸获得扁锭,浇铸扁锭虽能满足厚度要求,但凝固质量较差,成材率较低。采用电渣重熔生产扁锭,可改善扁锭的凝固组织,提高成材率,减小加工压缩比,节省工时。在对国内某钢厂的单电极扁锭电渣炉现场调研
随着自动驾驶技术不断发展,人们生活水平不断提高,自动驾驶汽车逐渐走向大众用户。自动驾驶是一个集定位定姿、环境感知、决策规划与运动控制等复杂功能于一体的精密系统,精准的定位定姿是这些功能发挥作用的先决条件。激光雷达采用激光测距技术,能够精确测量载体周围障碍物的距离,具有测量精度高、探测范围广、时间和空间分辨率精细、快速响应环境变化等优点,能够支持精准定位和环境感知,是目前自动驾驶汽车上不可或缺的传感