【摘 要】
：
深度神经网络目前已被广泛应用于众多领域.尤其在自然语言处理领域,基于循环神经网络的模型训练效果明显优于其他传统方法.然而模型复杂度不断提高,有限存储空间成为进一步训
【机 构】
：
中国科学技术大学计算机科学与技术学院;
【基金项目】
：
国家重点研发计划项目(2016YFB1000403)资助
论文部分内容阅读
深度神经网络目前已被广泛应用于众多领域.尤其在自然语言处理领域,基于循环神经网络的模型训练效果明显优于其他传统方法.然而模型复杂度不断提高,有限存储空间成为进一步训练大规模任务的瓶颈,例如使用图形处理器(GPU)进行加速训练.本文提出一种基于语音识别模型,对循环神经网络进行训练加速的有效方法.首先,基于输入训练集序列的长度分布,对每一批训练样本进行划分,并重新组织;其次,通过对GPU显存的高效使用,每一批次训练样本数增多,从而提升计算效率,减少训练时间.本文分别从不同的批样本数及不同序列组织方法,通过对比单位时间处理序列数衡量优化效果.实验表明,基于3层循环神经网络的语音识别模型训练中,单GPU训练可达到1. 7倍加速比.
其他文献
甲状腺相关性眼病是一种自身免疫性疾病[1] ,存在自限性的特点 ,在选择治疗方案时应首先判断其严重程度、病情活动程度 ,根据病情选择不同的治疗方案。病情轻微者 ,即使处于
《边城》中以"水"为中心的意象系统传达了中华民族传统文化中的道家精神和生命的意义,由此可窥见作家沈从文在小说中欲探索的一种"优美、健康、自然,而又不悖乎人性的人生形
作者研究了极大螺旋藻在20000 lx,40000 lx和100000 lx光照下,分别经2h,4h,6h培养后,其超氧化物歧化酶(SOD)和过氧化氢酶(CAT)活性的变化,结果发现:SOD的活性在不同光照胁迫
<正>"小组生"新农村综合体,是成都市始于两年前的一项创新试点,即按照体现田园风貌、体现新村风格、体现现代生活和方便农民生产的"三体现一方便"要求,打造农村居民的现代乡
社会主义市场经济体制的建立和社会的发展，呼唤着具有现代意识的一代新人。作为教育工作者，在给学生传授知识技能的同时，应注重现代意识的培养，以适应社会发展的需求。以下笔者结
辩证行为疗法源自传统认知行为理论,是一项综合性心理治疗。自20世纪70年代创立以来逐渐受到关注,被广泛应用于多种人群心理治疗中。本文将通过对辩证行为疗法概念、原理、目
<正>■5月28日,习近平就建设平安中国作出重要指示:把人民群众对平安中国建设的要求作为努力方向,确保人民安居乐业、社会安定有序、国家长治久安。面对复杂多变的国际国内形
采用废旧轮胎橡胶粉改性沥青作为一种新型的改性沥青,由于其独特的路用性能和环保效益及相对较低的成本投入,正在得到普遍的推广和应用。本文结合工程实例,详细阐述了高速公
本文从物质型文化、经典型文化、心理型文化、社会关系型文化四个方面对老子文化思想作了重新认识。发掘了其中一些曾经被人们忽视的民主性精华，也指出其消极因素，并针对否定老