中文词性标注的研究与实现

被引量 : 0次 | 上传用户:sherryholmes
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息检索和自然语言处理的发展,在信息检索中引入自然语言处理技术是信息检索发展的重要趋势之一,而词性标注作为自然语言处理领域的基础,可以提高信息检索的效果和效率,因此在信息检索领域有着非常重要的作用。因此,本文围绕词性标注对其中的关键问题进行了系统研究,并着重实现一个词性标注系统。本文首先对词性标注的基础技术——中文分词作了系统的研究。中文分词模块采用了逆向最大匹配作为基本分词方法,结合规则和统计的方法解决分词歧义问题,并对中文姓名和高频未登录词分别采用相应策略进行识别,所设计和实现的中文分词系统具有较高的分词准确率和较快的分词速度,可以为词性标注提供良好的基础。本文主要对基于统计的词性标注技术进行了研究,所实现词性标注系统主要通过隐马尔可夫模型对训练语料库进行数据统计,获取所需词性和词汇概率信息,并采用Viterbi算法进行标注。针对训练语料库规模较小导致的数据稀疏的问题,运用了简单而高效的Katz算法进行数据平滑处理,有效地避免了因数据稀疏导致词性标注准确率下降的问题。同时,针对Web文档中未登录词较多的特点,增加了对未登录词的词性进行猜测的范闱,提高了对未登录词词性识别的力度。实验证明,本文所设计和实现的中文词性标注系统能达到较高的正确率和消歧率,满足基础教育搜索引擎系统上层模块的需求。最后,本文对所设计与实现的词性标注系统的模块结构、逻辑单元设计等方面进行了详细阐述,并对系统总体性能进行测试。
其他文献
永生的凤凰──郭沫若性格初探罗建中郭沫若一生行事,对后人始终具有无穷的吸引力。迄今,为郭沫若立传,对郭沫若一生成就进行评说的著述,已十分丰富,但在这百家争鸣的大合唱中,对郭
<正>"虽然发生在河南信阳境内的这起特别重大事故可能是携带易燃化工产品所致,但它仍然是一起特大的客运安全事故。"中国公路学会客车分会秘书长、中国公路车辆机械总公司副
<正>改革开放以来,我国的经济快速发展与资源相对稀缺的矛盾日益凸显,一些地区在资源开发过程中‘短期化’倾向十分突出,‘粗放型’的产业发展模式成为我国资源开发面临的最
中西方绘画艺术是两个不同的话语系统,其造型观念、审美意识、表现手法都有较大差异,其根本原因在于历史、地理、文化背景的差异。作为对应的两大艺术体系,在新的时代新的艺术观
以沃州湖雕塑景观为例,呈现浙江水利风景区的创新与实践探索。通过景观艺术与水利风景区的结合,体现山水浙江、诗画江南的人文内蕴。
近年来,国内经济环境逐步恶化,许多劳动密集型产业、原材料输出需要转移出去,而"一带一路"倡议提供了新机遇。境外经贸合作区是我国企业"走出去"的重要途径,但境外经贸合作区
新鲜大豆芽经匀浆、磷酸缓冲液抽提、硫酸铵分级沉淀、DEAE-Sepharose离子交换层析、Superdex-200凝胶过滤层析,获得电泳纯的过氧化氢酶。该酶酶活回收率为30.92%,纯化倍数为
17世纪中叶至18世纪中叶,在欧洲掀起中国热的背景之下,荷兰德尔夫特小镇的陶器厂用本地的锡釉陶工艺仿制中国外销瓷(兼及日本外销瓷),将源自东方的装饰纹样与适应欧洲人生活
随着素质教育的不断深入,如何有效减轻小学生课业负担,受到越来越多的教育专家的重视。小学生课业负担过重不仅给学生的身心健康产生不利影响,而且不利于素质教育的贯彻实施
儒商人格一直是中国古代传统商人的理想人格追求,由此造就了中国古代文学作品中一系列光辉灿烂的儒商文学形象,他们以其独特的形象特征在中国文学的殿堂里占据重要的一席之地