【摘 要】
：
当前基于LSTM结构的神经网络语言模型中,在隐藏层引入了LSTM结构单元,这种结构单元包含一个信息储存较久的存储单元,对历史信息有良好的记忆功能.但LSTM中当前输入信息的状态不能影响到输出门最后的输出信息,对历史信息的获取较少.针对以上问题,笔者提出了基于改进的LSTM(long short-term memory)网络模型建模方法,该模型增加从当前输入门到输出门的连接,同时将遗忘门和输入门合成一个单一的更新门.信息通过输入门和遗忘门将过去与现在的记忆进行合并,可以选择遗忘之前累积的信息,使得改进的LS
【机 构】
：
太原科技大学计算机科学与技术学院;
【基金项目】
：
国家自然科学基金资助项目(61202163);“十二五”山西省科技重大专项资助项目(20121101001);山西省教研项目(J2017078)
论文部分内容阅读
当前基于LSTM结构的神经网络语言模型中,在隐藏层引入了LSTM结构单元,这种结构单元包含一个信息储存较久的存储单元,对历史信息有良好的记忆功能.但LSTM中当前输入信息的状态不能影响到输出门最后的输出信息,对历史信息的获取较少.针对以上问题,笔者提出了基于改进的LSTM(long short-term memory)网络模型建模方法,该模型增加从当前输入门到输出门的连接,同时将遗忘门和输入门合成一个单一的更新门.信息通过输入门和遗忘门将过去与现在的记忆进行合并,可以选择遗忘之前累积的信息,使得改进的LSTM模型可以学到长时期的历史信息,解决了标准LSTM方法的缺点,具有更强的鲁棒性.采用基于改进的LSTM结构的神经网络语言模型,在TIMIT数据集上进行模型测试,结果表明,改进的LSTM识别错误率较标准的LSTM识别错误率降低了5%.
其他文献
福建省厦门市翔安区司法局新圩司法所坚持"主动创稳",加强对刑满释放人员的教育引导及帮困扶助,有效预防和减少重新违法犯罪,为维护社会和谐稳定,推进基层社会治理能力现代化
首先阐述了档案职业的定义,从档案职业的主体、客体分析了新时期对档案职业的要求;最后,从档案人才培养与档案职业教育、建立档案职业资格认证制度、档案工作内容来分析新时
薄膜是分振幅干涉装置。薄膜干涉定域的原因是光源为扩展光源．设光源横向有效宽度为b（图1），则要使P点出现可分辨的干涉条纹，
多年生香豌豆是1998年初从美国引进的豆科牧草之一,经过在黄土高原地区 3年的引种试验研究表明,其具有适应性强、生长迅速、耐旱、耐瘠薄、耐盐碱、产草量高 、适口性强、覆
机票折扣力度加大国庆黄金周刚过,记者从各机票销售点了解到,福建省飞往各地市的机票价格已经回落,预计各航空公司票价下调将持续到11月初,届时,从厦门出发到北京、上海、广
本文采用XRD、XRF、SEM等分析方法,对不同批次的酸洗氧化铁粉进行了分析,讨论了不同杂质元素的影响规律,并进一步分析了不同方法的杂质处理,测得了不同杂质元素下的磁性能,讨
明代永乐、宣德时期,郑和下西洋以后,由于海路交通的拓展,促进了我国瓷器生产的发展。青花瓷在烧制上,得到了郑和下西洋从东南亚地区带回的＂苏麻离青＂为釉料,制品极为美观精致,
文章对现有α-Fe203生产工艺进行了改进,新工艺省去了用空气氧化过程,采用提纯的硫酸亚铁与碳铵反应,抽滤洗涤后的碳酸亚铁直接干燥,煅烧得氧化铁成品.成品化学指标达到YHT1
以景泰风化煤作吸附剂，常温下对水溶液中的Cr（Ⅵ）进行了吸附实验研究，探讨了吸附动力学、吸附平衡、pH的影响和吸附机理。结果表明，普通风化煤和活化风化煤对Cr（Ⅵ）有良好的吸附和还
<正>本厂是国内最早生产遮阳网、防虫网的厂家之一,生产的遮阳网、防虫网具有防老化、抗拉力强、无毒无味、轻便耐用等优点。遮阳网替代了笨重落后的树枝、稻草、芦苇等遮荫