论文部分内容阅读
随着数据的爆炸式增长,信息处理已经成为人们获取信息和知识不可或缺的工具。文本分类是信息处理的重要研究方向,它是指在既定的分类体系下,根据文本的内容自动判别文本类别的过程。本文对文本分类中所涉及的关键技术,包括向量空间模型、实值词频向量模糊化、基于粗糙集理论的知识获取、知识库中规则强度的计算、各规则分类结果不一致时的冲突消解等内容进行了研究和探讨,并给出了该方法与其它分类方法的复杂度比较,最后应用该方法实现了一个文本分类系统,获得了分类准确程度方面的实验结果。本文的研究内容主要包括以下两个方面: 一.基于粗糙集理论的知识约简研究 1.Skowron区分矩阵的改进。对Skowron区分矩阵中元素应满足的条件作了改进,使得对条件的判断较原来更为简单,并且满足该条件的元素较原来更少,有效降低了借助区分函数计算知识约简的复杂度; 2.各种知识约简方法相互关系的研究。对于决策表,人们从不同的角度出发,提出了正域约简、熵约简、分布约简、分配约简、近似约简等约简理论与方法。本文证明了熵约简与分布约简等价,而对于协调决策表,正域约简、熵约简、分布约简、分配约简、近似约简相互等价; 3.知识约简的逻辑特征。决策表中的知识体现为规则的形式,可以理解为非经典逻辑系统中的公式,本文借助逻辑手段研究知识约简的逻辑特征,证明了在熵约简与分布约简之下,决策表约简前后所获得的规则是等价的。 二.粗糙集理论在文本分类中的应用研究 1.本文结合仅对一维空间进行划分的特点,对FCM算法进行了调整,使其能得到两相模糊数弱划分的结果,并将语言值引入规则,提高了知识的简洁性和可理解性,为人参与知识库的分析与修正提供了方便; 2.对应用粗糙集理论获取的规则提出了一种计算规则强度的方法,该方法综合考虑规则对应的实例数、规则与实例的匹配度以及规则前件的长度,为分析规则库中规则的重要性程度提供了一个指标,方便了不一致结果的冲突消解,使得分类结果更加准确有效; 3.在以上研究工作基础上,设计并实现了基于粗糙集理论的文本分类系统,经过查全率和查准率比较,分析了本文提出的文本分类系统的特点,并给出了冲突消解策略。