【摘 要】
:
神经机器翻译目前在多种翻译任务中取得了突破性的成果。然而神经机器翻译对百万级的高质量平行语料的要求,使得它的推广性大打折扣,此外,当前的神经机器翻译仅仅依赖深度神
论文部分内容阅读
神经机器翻译目前在多种翻译任务中取得了突破性的成果。然而神经机器翻译对百万级的高质量平行语料的要求,使得它的推广性大打折扣,此外,当前的神经机器翻译仅仅依赖深度神经网络对语句内在的句法结构进行学习,损害了翻译的准确性。本文针对神经机器翻译的推广性和准确性这两个问题,提出了融合句法知识的无监督神经机器翻译,其中句法知识的融合意在提高准确性,无监督学习意在提升推广性。本文的基准模型,即无监督神经机器翻译模型,将神经机器翻译推向零资源这个极端,在语料处理、词向量生成、模型训练的过程中至始至终不需要任意一条平行语料,没有任何双语监督信号。模型以通过无监督学习映射而成的双语词向量为基础,以多次迭代的方法进行自学习。每次迭代,进行去噪和回译两步训练步骤:去噪步骤以加入了噪音的语句为输入并训练模型重构出没有噪音的原始语句,回译步骤用上一次迭代的模型实时翻译输入语句得到伪平行语料来训练模型。本文的改进模型,即融合了句法知识的无监督神经机器翻译模型,先对语料进行句法分析,用包含句法标注的语料进行词向量的生成和映射,并且将句法分析得到的短语结构树以线性序列的形式直接显式地整合到模型中。根据模型的输入是否是包含句法知识的线性短语结构树序列,可以分为树到树模型和串到树模型两种。这两种改进模型在训练时同样使用无监督的方式,不断进行去噪和回译两个步骤的迭代。本文对三种模型——基准模型、树到树模型和串到树模型一一进行了代码实现,并采用WMT14的英语和法语单语数据集对英法和法英两个方向的翻译任务进行了实验。本文以BLEU值作为衡量标准,定量评估了三种模型在句法信息占比和词向量映射方法亦不相同情况下的翻译结果。同时,本文在实验过程中还探究了句法信息占比对词向量质量、词向量映射质量的影响,以及词向量映射方法对映射质量的影响。本文通过实验证明了不论是英译法还是法译英,显式融入句法知识对无监督神经机器翻译的准确率有一定提高,其中串到树模型将英译法翻译任务的BLEU值从基准模型的9.82提高到了12.79,树到树模型将法译英翻译任务的BLEU值从基准模型的10.29提高到了10.94。
其他文献
两汉时期,方术在政治上运用频繁,统治者对方术的运用在中国古代王朝中达到顶峰。在政治生活中,不管是统治阶层还是平民百姓,他们对方术的利用,大都是通过方术的思想或手段,为
女性社区休闲行为是指女性在闲暇时间内,以社区为依托,利用社区资源,用自己喜欢的方式去放松身心、追求精神上的愉悦与充实,从事具有娱乐性、健康性、自发性休闲活动的总称。
目的:探讨老年人跌倒风险与双足静力性平衡及羧化不全骨钙素(UC oc)浓度的相关性。方法:1.收集我院2016年10月-2017年1月在西海岸医疗中心查体的95例老年人(分为1年内无摔倒
光伏和风电等新能源以及包括电动汽车在内的柔性负荷接入配电网后,新能源的间歇性和电动汽车负荷的随机性给配网运行带来了很大的挑战。考虑新能源与柔性负荷不确定性的主动
随着综合国力不断增强,我国在铁路和公路建设领域快速发展,正在打造覆盖面广、高效一体化的交通运输网,以实现人们多选择并快速出行,方便广大人民群众生活。全断面岩石隧道掘进机作为隧道等地下岩石层开挖的先进化大型机械设备,和传统爆破钻进作业相比,它具有施工环境友好、施工效率高、安全性好和长距离隧道施工经济性显著等一系列优点,被世界各国广泛应用于铁路、公路、水利等工程建设中。因此,TBM具有广阔的市场应用前
我国经济的发展使得环保问题、拥堵问题在加剧,同时消费者观念也在不断进步,越来越多的人愿意选择更加环保、便捷的出行方式,而电动自行车,特别是更高效、环保的电动自行车越来越受消费者欢迎,这也吸引着众多企业进入这一领域。在此背景下,电动自行车供需关系的动态变化程度加剧,国家政策在扶持电动自行车企业发展的同时,对电动出行的法规逐步完善,在新标实施后,不合标准的生产产品予以监管并加快淘汰,推动了市场的良币驱
在新的市场环境下,多种多样的创新销售模式不断涌现。过去人们基本只有依靠金钱才能购买产品,但如今人们获取产品的方式已经不仅仅局限在付出金钱,时间、精力等都可以成为消
随着道路交通的迅速发展,交通场景下视频图像处理系统的重要性日益增加。目标检测作为图像处理算法中的一个重要步骤,其精度和速度对于整个系统来说至关重要。传统的目标检测需要依靠经验由人工定义特征,检测性能不佳且鲁棒性差,而近年来深度学习的迅速发展使得基于深度神经网络的目标检测算法在检测精度和速度方面都有令人惊喜的表现。本文主要研究将基于深度学习的目标检测算法应用于交通场景中的视频图像处理中,利用深度学习
非晶复合材料出现的根源是改善非晶态合金的室温脆性,迄今为止,大量具有优异塑性变形能力的非晶复合材料已被成功研制。其中,钛基非晶复合材料不仅具有高强度和大塑性,还兼具