论文部分内容阅读
产品名称是一类特殊的专用词汇,是组织机构在官方注册生产出售货物时所用的名称。和商品名不同,产品名是为了精确描述该物品而起的名称,不是口号性的简短名。另外,产品名称和自然语言处理中的命名实体、术语等概念有共通之处,也有其独有的特点。分类描述是对一批产品名称进行概括的短语,和产品名称有很多相似之处。由于产品名称及其分类名并不在日常语言中使用,目前针对产品名称等专业名词的机器翻译研究尚有待完善。本文从方法和实现两个方面描述了一整套利用全网网络数据源,对这些短语进行自动翻译的方案。在当前对特殊词汇的机器翻译研究中,有很多值得借鉴的方法可以应用到产品名称及分类的翻译上。这些方法集中描述了如何对术语、命名实体以及其他未登录词的翻译方案。主要的手段有:从双语语料中抽取翻译对;从网络资源中训练出某种模式匹配翻译对;以及利用本体库来组织专业词典库等。但是,由于产品名称的千差万别,并且可以说包含了术语等各种词汇,现有的单一方法不能完全针对产品名进行很完整的翻译。另外,除去少量常见的产品名称,大多数产品名称在构词上有其特点。本文在总结前人研究的基础上,采用了多种方法来进行机器翻译,并且针对产品名称的特点,采用了一些特殊处理方式来补充翻译,这些工作主要如下:1.从网络词典直接获取翻译。为了翻译简短词语和为其他步骤做准备,在分析设计了网络词典的抽取方法后,从两个网络词典上直接抽取了大量基本词汇的义项,并对这些义项做了预处理,保证常见的义项优先选用。2.从维基百科锚文本获得翻译。在维基百科上,词条大多数都有不同语言的文本,连接这些页面的URL包含了不同语言的词条信息,获取这些信息,就可以找出词条在多种语言中的翻译。本文通过维基API,获得了所有维基上能找到的词条的锚文本。3.从双语句对中抽取翻译对。本文从有道词典和句酷两个数据源获取了超过30万包含产品名称的中英双语平行句对,在将这些文本作适当处理后进行了中文分词和中英词对齐。根据词对齐的结果,从中抽取对应的词组翻译。4.设计并实现了一系列翻译规则处理无法从网络数据源直接找到翻译的名称。能够实现对所有产品名称和分类的自动翻译。该部分在对名称进行分词后,返回数据给从网络词典获得翻译的模块,以得到每一部分的翻译。之后通过对规则列表的逐个匹配,向翻译结果中添加连词等和调整语序。实验结果表明,本文提出的一系列方法在实际产品名称和分类翻译中取得了一定的成果,能够将80%以上名称翻译成可理解的形式。