基于低延迟鲁棒性建模的同传语音翻译关键技术研究与实现

来源 :中国科学技术大学 | 被引量 : 0次 | 上传用户:trebleclefj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
同声传译在源语言说话人表述过程中同步进行翻译,显著改善了跨语种沟通交流的效率。随着通信、互联网技术特别是移动互联网的迅速发展,全球化沟通的日益频繁,跨语言沟通交流成为日渐普遍的基本需求。作为最快捷方便的语音翻译方式,同声传译有着广泛的应用。受限于人工同传译员培训困难、工作强度大等问题,人们对于基于计算机的自动同声传译的需求日益明显。因此,面向同声传译的自动语音翻译成为当前机器翻译研究的一个重要方向。在面向同声传译的语音翻译中,级联语音翻译系统面临模块间误差传播的问题,而端到端语音翻译系统主要受限于训练数据规模。此外,所有同步语音翻译系统都需要解决延迟与翻译质量间的权衡折中,尤其是低延迟条件下的翻译质量问题。本文针对上述问题,围绕鲁棒性建模、语义单元分割、端到端语音翻译建模及同步翻译的延迟优化等方面开展研究工作,并设计实现了自动同声传译系统。本文的主要工作与创新点如下:1)提出了一种针对级联语音翻译的鲁棒性建模方法。针对级联语音翻译系统中语音识别输出和机器翻译输入模式不匹配的问题,提出了基于去规整及分句不敏感的鲁棒性建模方法,结合分句策略的改进,有效的缓解级联语音翻译系统级联误差扩散导致的影响。在演讲、会议、日常对话三个主要针对的应用场景上均取得较明显的翻译质量提升。2)提出了一种基于语义单元切分的同步语音翻译框架。针对基于子句切分的同步翻译系统延迟及翻译质量的问题,提出了一种基于贪心算法的语义单元划分方法,并针对子句独立翻译导致的上下文不连贯的问题,提出了基于历史约束的语义单元翻译方法。在文本同步翻译和语音同步翻译任务上都取得相对基线较显著的效果改进。3)提出了一种基于数据增广的端到端语音翻译建模方法。针对端到端语音翻译训练稳定性的问题,提出了结合预训练和序列知识蒸馏的模型训练方法;针对端到端语音翻译训练数据规模的问题,提出了基于语音合成和机器翻译的数据增广方法,有效的利用了语音识别及机器翻译大规模训练数据。在多个不同场景实验数据集上,本文方法取得和级联语音翻译系统相当的翻译效果。4)提出了用于同步翻译的注意力增强转换器网络结构。针对流式翻译中解码策略和翻译模型联合优化的问题,提出了注意力增强的转换器网络结构(Cross Attention Augmented Transducer,CAAT),显著改善了同步翻译的延迟与翻译质量。相对目前业界最优的wait-k、MMA等方案,本文提出的CAAT模型在低延迟条件下取得5 BLEU以上的效果提升。5)设计实现了一套自动同声传译系统。在上述研究工作基础上,设计实现了一套自动同声传译系统。针对跨语种的会议、演讲、日常对话等不同应用场景下对延迟和翻译质量的不同需求,分别采用基于语义单元切分和基于CAAT模型的两套同声传译方案,提供了针对不同延迟的同声传译,获得了较好的应用效果。
其他文献
本研究调查了18(18)个西非国家(贝宁、布基纳法索、科特迪瓦、喀麦隆、乍得、赤道几内亚、冈比亚、加纳、几内亚、几内亚比绍、利比里亚、马里、毛里塔尼亚、尼日尔、尼日利亚、塞内加尔、塞拉利昂、多哥)1985年至2020年的通货膨胀率和利率与经济增长之间的关系。利率和通货膨胀率的影响,在宏观经济表现的主题考试,许多研究者试图证明不同的推理基于实证和理论观点;从纯粹的假设检验的频率到广泛的实证研究各国。
学位
随着生活水平的提高,人们对图像和视频的质量要求越来越高,并对全景图像和视频等新兴媒体格式的需求日益增加。在现有的视觉信号传输系统中,这些视觉信号需要经过采集、压缩和传输等过程才能到达人们手中。而在这些过程中,部分视觉信号会由于不可避免的失真出现明显的主观质量下降。因此,优化视觉信号的传输策略、评估视觉信号的主观质量以及增强低质量的视觉信号对于视觉信号传输系统非常重要。然而,视觉信号的传输、评价与增
发生在八十年前震惊中外的皖南事变既是中国共产党在历史上经历的重大斗争考验之一,也是中国共产党在抗日战争时期成功应对重大风险挑战的典型案例之一。在皖南事变前后风云变幻的国际局势与极其复杂的国内斗争环境中,面对国民党的一连串反共图谋,中国共产党凭借着高超的斗争策略,成功应对了以皖南事变为中心的这场重大风险挑战,既为抗战坚持到底并最终取得胜利提供了重要保障,也为中国共产党应对各种重大斗争考验提供了重要的
作为联结社会生产各个方面,使之成为一个有机整体的重要纽带,物流在现代国民经济和社会发展中至关重要。泰国位于东南亚的中心位置,这一地理优势为泰国发展成为区域性生产和集散中心提供了得天得厚的条件和优势,但同时也伴随着一定程度的不确定性和不断涌现的新挑战。2013年9月和10月,中国国家主席习近平分别提出了“新丝绸之路经济带”和“21世纪海上丝绸之路”合作倡议,即“一带一路”倡议。2015年3月,中国国
闪蒸作为重要的蒸发浓缩方法及汽液分离工艺,具有汽化速率快、液体降温明显等特征,在冶金、化工、食品等相关工业领域中被广泛利用。但由于传统闪蒸工艺及现有设备的局限性,如易腐蚀和结垢、系统构成冗繁、单级闪蒸效率低等,使闪蒸技术的应用受到限制。化工过程强化为突破传统化工中的这类问题提供了指导思路和方法,将微波作为外场用于化工过程强化已发展为微波加热应用的研究热点之一。鉴于微波加热具有加热速度快、体加热、选
考察当下网络舆情事件的生发和演化规律可以发现,同类舆情事件之间呈现出类似物理学中“共振”的一些特征,同议题、同主体、同情绪等多起舆情事件往往被联想、关联到一起,使孤立发生的单一舆情事件演化为具有某些相同特征的舆情事件簇和事件集,形成舆情共振现象。作为网络舆情中的一种特殊现象,舆情共振一方面能够凝聚社会共识,弘扬社会正能量,提升社会认同感、民众自豪感;另一方面也给社会和谐稳定、经济健康发展和网络空间
铝合金轮毂作为车辆行驶系统中的重要承载部件,在汽车轻量化方面做出了重要贡献,已经在民用、特种作业和军事等领域获得了广泛应用。汽车轮毂不仅要有足够的整体强度、刚度,还需要具有良好的表面性能。然而,铝合金轮毂表面的强度、硬度低,耐磨性差,在高盐、湿热等环境下的抗腐蚀能力不足,这大大缩短了它的服役寿命,限制了其作为重型货车和特种车辆轮毂在恶劣环境下的应用。因此,通过采用表面处理方法来改变铝合金表层组织结
可移动永磁磁共振牺牲一定灵敏度,无需冷却液,相比于超导式磁共振具有购置成本低、检测成本低以及维护成本低的优势。此外其可移动的特性将磁共振应用从专门的超导实验室扩展至食品安全、药物检测、石油勘探等应用场景。对于永磁磁共振成像仪和波谱仪,磁场的均匀性直接影响信号的质量,高均匀度磁体研究是系统研发的难点和热点;对于永磁磁共振弛豫计,一个结合场景应用需求,新颖、高效的磁体设计是仪器研发的重点。本文将从磁体
潜在的有毒元素,如重金属,由于其致癌性,已经成为生态系统的潜在威胁。重金属是土壤中重要的污染物之一,其在土壤中的含量、赋存和迁移转化直接影响食品质量与安全,进而对人体健康构成严重威胁。对土壤重金属的固化、稳定和修复是当前土壤污染治理的研究热点。修复土壤重金属污染,适宜的材料研发是固化稳定土壤重金属的关键。近年来,生物炭作为一种环保经济且官能团丰富、孔隙结构优良的碳材料,其用于土壤污染修复和质量改善
切割是一个表面简单实质复杂的过程,尤其当切割对象属于纤维类材料时切割问题的复杂程度更高,原因在于切割对象结构组成的复杂性和多样性。单纤维通过机械编织形成登山绳、安全索和防护服等机械复合体,纤维的机械复合体失效往往导致生命财产安全问题,因此要求具有较高的抗切割能力;单纤维通过自然生长形成农作物茎秆等植物复合体,我国茎秆产量巨大,作为茎秆清洁化再利用第一步骤的切割或切碎浪费了大量的能源。然而近几十年来