神经机器翻译模型的学习往往依赖大规模的平行语料,然而并不是所有语言对都有充足的平行语料。为了解决神经机器翻译中平行语料缺失的问题,研究人员提出无监督神经机器翻译,通过无监督预训练策略、去噪自编码器、反向翻译和共享潜在表示机制仅依赖于单语语料对翻译任务进行建模。本文针对无监督神经机器翻译,主要研究以下四个方面:1.基于伪平行数据的无监督神经机器翻译及不相似语言对分析。虽然无监督神经机器翻译在一些相似语言对上取得显著结果,然而它在诸如中英、日英等不相似语言对上表现很差。因此,本文首先从双语词嵌入质量、共享单词和词序三个方面深入分析在不相似语言对上无监督翻译性能低下的问题,并提出人工共享词替换和预调序策略来增加不相似语言对间的共享单词和减少它们句法结构的差异性,从而提升在不相似语言对上的翻译性能。无监督神经机器翻译中去噪自编码器和共享潜在表示机制仅在训练前期是必需的,学习共享潜在表示限制不同方向翻译性能的进一步提升,特别是对于不相似语言对,同时通过不断修改训练数据进行去噪自编码器训练也减缓模型的收敛速度。针对这一问题,本文提出基于伪平行数据的无监督神经机器翻译模型,利用无监督神经机器翻译系统生成的伪平行语料训练两个标准的有监督神经机器翻译模型,提升翻译性能的同时加快了收敛速度。2.基于双语词嵌入一致性的无监督神经机器翻译。无监督双语词嵌入只是被用于现有的无监督神经机器翻译初始化阶段,在翻译模型训练过程中双语词嵌入质量明显下降。然而,预训练的无监督双语词嵌入质量与无监督神经机器翻译性能呈正相关关系。本文提出两种基于双语词嵌入一致性的联合学习方法,双语词嵌入正则化方法和双语词嵌入对抗训练方法。双语词嵌入正则化方法是在反向翻译训练过程对词嵌入变化进行正则化约束;双语词嵌入对抗训练方法是将无监督神经机器翻译和双语词嵌入进行联合训练,使其与翻译模型产生更多的交互作用。双语词嵌入一致性方法有效缓解了双语词嵌入质量下降,并显著提高翻译性能。3.基于跨语言表示一致性的无监督神经机器翻译。随着预训练策略从双语词嵌入扩展到掩码语言模型,无监督神经机器翻译性能得到大幅提升。掩码语言模型与双语词嵌入一样只被用于初始化翻译模型。实验结果表明不仅在无监督神经机器翻译初始化阶段,而且在无监督神经机器翻译训练期间,掩码语言模型的质量对翻译性能都有显著的影响。因此,本文提出两种跨语言表示一致性方法,跨语言掩码语言模型一致正则化方法和跨语言掩码语言模型知识蒸馏方法,通过加入掩码语言模型训练来提升无监督神经机器翻译性能。跨语言掩码语言模型一致正则化方法,在反向翻译训练过程中同时在编码器端进行掩码语言模型训练,进一步丰富编码器的源端表示。跨语言掩码语言模型知识蒸馏方法将预先训练好的语言模型作为教师模型来指导语言模型训练,充分利用这个语言模型,来提升翻译性能。实验结果表明该方法可以丰富翻译模型的源端表示,并显著提高翻译性能。4.基于知识蒸馏的多语言无监督神经机器翻译。本文将无监督神经机器翻译研究扩展到多语言场景,提出一个多语言翻译模型框架。为了进一步改善多语言无监督神经机器翻译性能,本文提出两种知识蒸馏方法,自我知识蒸馏方法和语族知识蒸馏方法。本文认为在反向翻译训练过程中,源语言通过不同路径生成的重构翻译结果应该是相似的,自我知识蒸馏方法通过构造不同的重构路径更充分地利用多语言信息。语族知识蒸馏方法是将语族翻译模型作为教师模型提取更丰富的语言表示来增强多语言无监督神经机器翻译模型。实验结果验证了本文提出的多语言无监督神经机器翻译系统的有效性,缓解了在低资源语言对中性能低下的问题。