基于统计学习的词义识别方法研究

被引量 : 0次 | 上传用户:jimislg
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
如何解决语言的歧义问题一直困扰着自然语言处理技术的研究人员。语言的歧义最重要的一个表现就是一词多义现象。如何根据歧义词出现的上下文语言环境识别出正确词义是词义识别要解决问题。在自然语言理解领域,词义识别是应用基础研究课题,也是自然语言理解的重点和难点之一。早期的词义识别研究以基于规则的方法为主,近些年来随着计算技术和存储技术的改进和提高,统计学习方法越来越受到广泛的欢迎,迅速成为了主流的研究方法。有监督的学习方法应用于词义识别可以获得较高的识别精度,但是该类方法需要有规模足够大的训练样本,这样的样本不是容易获得。无监督的方法不需要人工标注训练样本,但是词义识别相对效果不是十分理想。本文分析了统计词义识别研究需要解决的几个关键性问题。从词典资源和语料库资源的建设到词义识别问题的建模方法,以及词义分类问题的特征选择,对所涉及的问题都一一进行了讨论。在这些基础上,本文最后给出了词义类扩展思想,并探讨了如何将其应用于统计词义识别的研究上。本文研究成果和创新如下:1.从词义的可计算性角度探讨词义刻画与词义识别的关系,探讨如何通过科学控制词义刻画粒度来重新整合现有的词典资源,建设新的机读词典,更好地为词义识别的应用服务。实验分析说明词义刻画粒度的大小直接影响了词义识别的精度,适当控制词义粒度再不产生二义性的前提下可以提高词义识别的精度。本文提出在词义再刻画的基础上整合现有词典资源,建设面向词义计算的新的分类词典;2.在探讨面向词义识别的特征选择方法的基础上提出以信息增益改进贝叶斯模型的词义识别新方法。实验中以朴素贝叶斯模型、最大熵方法和支持向量机建立的词义分类器作为参照模型,讨论信息增益改进贝叶斯模型的效果。实验结果显示参照系中使用最大熵和支持向量机构建的词义分类器都比朴素贝叶斯模型强,其中基于支持向量机的词义分类器最好,而经过信息增益改进的贝叶斯模型在词义识别上表现更突出,实验结果比SVM还要高出1.4个百分点,获得了对比实验中最优的识别结果;3.从语料库资源难于大规模建设的角度出发,实验分析和探讨了人造歧义词技术的使用问题,并在此基础上提出替换词的概念,以及基于替换词技术的词义识别新方法。实验结果表明,人造歧义词技术可以帮助研究者缓解训练语料短缺的压力,源于此的替换词技术可以让研究者避开人工标注训练样本,实现一种无监督的词义识别方法。实验结果表明基于替换词技术的词义识别方法具有较高的识别精度;4.针对词义识别训练语料规模不足够大的问题,提出了词义类扩展思想和基于词义类扩展的词义识别新方法。该方法通过词义类扩展,可以在有限训练语料中获得更多的词义信息,提高训练的效率,改善词义识别的效果,此外词义类扩展技术可以从无词义标注(无词义标记等先验知识)的生语料中统计相关词语信息,以此来为小规模的训练样本提供补充。实验结果表明基于词义类扩展思想的方法提高了训练语料的使用效率,改善了有监督词义识别的效果,这为增强小规模训练样本的统计学习效果提供一个崭新的思路。综上所述,本文在资源建设、词义识别的建模、特征选择,以及如何突破训练语料规模的限制实现无监督词义识别和改善有监督的词义识别方法上都作了一些有益的尝试,取得了一些初步成果。随着词义识别研究的不断深入,会涌现出更多更好的新的解决思路和方案。
其他文献
高校思想政治理论课程的教学改革,是加强和改进大学生思想政治教学工作的一项战略性措施。创新思想政治教学,需要教师在围绕教学目标的基础上,通过创新教育观念、改革教学体
目的:观察中西医结合护理对脑出血患者的临床效果。方法:将98例脑出血患者随机分为观察组与对照组,每组各49例。2组患者均采用脑出血的中西医结合常规疗法治疗。观察组采用中
<正>设计说明:回流茶坊地处四川雅安地区著名的茶山名山,环境空气潮湿温润,空气质量优良,具备茶的生长环境和肥沃土壤。回流茶坊的经营理念注重保护茶叶的天然口味,制作工艺
期刊
在教育事业不断发展的背景下,思想道德修养与法律基础课程教学面临全面的革新。传统思想道德修养与法律基础教学以及无法满足学生学习发展的需求。因此,在随着新课改的提出与
调质是饲料加工过程中的重要工段,饲料调质效果直接影响饲料产品加工质量,进而影响畜禽对营养物质的消化吸收及生长性能。调质温度、蒸汽类型等是影响调质效果的主要因素,但
质子交换膜燃料电池(Proton Exchange Membrane Fuel Cell,PEMFC)能否稳定、高效、可持续地输出电能是实现商业化的关键问题,本文着重于质子交换膜燃料电池输出特性的研究和
和谐的现代体育传播是和谐社会建设不可或缺的精神文化富矿。文章通过文献研读、归纳法、演绎法、逻辑分析法等,梳理了现代体育传播与和谐社会构建的关系,并在构建和谐社会的
期刊
《说文通训定声》是第一部对词义做全面探究的专著,朱骏声在书中明确提出"别义"概念,将"别义"和"引申义""假借义"并列起来作为独立的义类进行说解并且使之系统化。朱骏声所界
针对以往用户建模信息来源单一,用户兴趣判断模糊等缺点,本文以"淘宝网"及其用户为研究背景,将眼动跟踪、人机交互行为记录技术和回归分析相结合,研究用户人机交互行为和眼动