汉语自动分词是中文信息处理领域的基础课题,也是中文信息处理发展的瓶颈之一,其中对歧义字段的处理是影响分词精度的关键,国内外许多研究人员在这一领域都进行了深入的研究,但就目前现状来看,仍不能满足实际应用的需要。 本文针对分词中的两个方面:切分速度和歧义处理,进行了深入的研究。在速度方面,它首先对词典中的词进行排序,并对首字索引,同时还利用字符串顺序排列时的规律,大大提高了查找词时的速度,同时还对N-最短路径的粗分模型进行改进,通过过滤无覆盖型歧义切分结果的切分方案,使得剩余粗分结果数量大大减少,同时还使得在不考虑未登录词的情况下,粗分结果的召回率达到100%。最后通过分析目前算法的缺陷,提出目前算法的最大不足是语料信息的不完备性,然后介绍了一种在利用词的多元信息进行分词的基础上,通过收集切分错误歧义句,经过人工修正,由系统自动调节多元信息库,增强语料信息库的完备性,以此提高分词正确率的方法。 在分析阶段,本文就分词系统的速度与精度,与中科院计算所的汉语分词方法进行了全面的比较,在分析了本系统的优势的同时,也指出了本系统存在的一些不足之处,并由此作出了展望。