论文部分内容阅读
随着网络技术的迅速发展,网络上的信息量急剧增加。如何对这些在线文档进行有效的组织和高效的管理,成为人们迫切需要解决的问题。文本分类也成为解决该问题的一项关键技术。文本分类是文本挖掘的一个重要分支,因其独特的知识发现功能而得到较为深入的研究。文本分类技术已经在信息过滤、检索技术、数字图书馆服务等领域得到了广泛的应用,具有广泛的应用前景。粗糙集理论能处理模糊和不确定性知识,它不要任何先验信息,就可以有效的分析和处理不完备、不一致、不精确的数据,使知识可以用数学的方法来分析处理,并从中发现隐含的知识,揭示潜在的规律。其主要思想是在不影响分类精度的前提下降低特征向量的维数,得到最简的分类规则。本文主要对基于粗糙集理论的文本自动分类算法进行了系统的研究,以及将该算法应用在公安情报分类系统中。具体的研究内容概括如下:(1)介绍文本分类的相关技术,并对一些常用文本分类算法进行了详细的分析和比较。(2)针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足。提出了一种结合信息熵的TFIDF文本特征权重计算的改进方法。该方法采用特征项在类间和类内信息分布熵来调整TFIDF方法,从而使特征项的权重更加合理。(3)针对传统基于频率阈值过滤的特征选择方法会导致有效信息丢失,影响分类精度的不足,提出了一种新的基于粗糙集理论的属性约简文本自动分类算法。该方法首先对加权后的特征属性进行离散化,建立一个决策表;然后根据基于依赖度的属性重要度对决策表中条件属性进行适当的筛选;最后采用基于条件信息熵的启发式算法实现文本属性特征的约简。(4)将文中提出的基于信息熵改进的TFIDF特征权重计算方法和基于粗糙集理论文本分类算法应用到具体的公安情报分类子系统中。实际应用表明该系统能提高了情报处理的效率和正确性。