朴素贝叶斯分类器及其改进算法研究

被引量 : 0次 | 上传用户:wangying428
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类是数据挖掘中一项非常重要的任务,在现实生活中有着广泛的应用。例如,根据电子邮件的标题和内容判断其是否为垃圾邮件。构造分类器的方法很多,常见的有贝叶斯网络、决策树、基于实例的学习、人工神经网络、支持向量机、遗传算法、粗糙集、模糊集等等。其中,贝叶斯网络正以其独特的不确定性知识表达形式、丰富的概率表达能力、综合先验知识的增量学习特性等成为众多方法中最为流行的方法之一。鉴于学习最优的贝叶斯分类器如同学习贝叶斯网络是一个NP难问题,学习朴素贝叶斯分类器得到了广大学者的重视。朴素贝叶斯分类器基于一个简单而不现实的假设:在给定类标记时属性值之间相互条件独立。可最近的有导师学习表明:即便是这样一个惊奇简单且具有很强的属性条件独立性假设的贝叶斯分类器,简称为朴素贝叶斯分类器,其分类性能仍然可与决策树算法、k-近邻算法等经典算法相当。一个自然的问题是:释放朴素贝叶斯分类器的属性条件独立性是否可以使得它的分类性能更好?为回答这个问题,学者们提出了许多改进朴素贝叶斯分类器的方法,概括起来主要可以分为三类:1)结构扩展,这一类方法用有向边来表达属性之间的依赖关系;2)属性选择,这一类方法在属性空间搜索一个属性子集;3)局部学习,这一类方法在测试实例的局部构建一个朴素贝叶斯分类器。本文以朴素贝叶斯分类器为基本对象,研究朴素贝叶斯分类器的各种改进方法,提出了隐藏扩展的朴素贝叶斯分类器、演化选择的朴素贝叶斯分类器、动态局部的朴素贝叶斯分类器三种算法。在许多现实的数据挖掘应用中,排列也非常重要。因此,本文调查研究了朴素贝叶斯分类器的排列性能,并提出了一种局部克隆的朴素贝叶斯排列算法。此外,本文还调查研究了改进朴素贝叶斯分类器的一些其他方法:属性加权方法、实例加权方法、组合学习方法,提出了一种基于相似度的实例加权的朴素贝叶斯分类算法和一种基于C4.5和NB的组合分类算法。最后,探讨了新算法在若干实际问题的应用价值。本文的最主要的贡献包括:1)给出了学习扩展的朴素贝叶斯分类器的算法框架、综述了改进朴素贝叶斯分类器的结构扩展方法、提出了一种隐藏扩展的朴素贝叶斯分类算法(HANB)。HANB为每个属性结点产生一个隐藏的父亲结点,该结点对其儿子结点的影响为其他所有属性结点对该属性结点影响的加权平均,其中权值的大小为属性变量之间的条件相互信息。2)给出了学习选择的朴素贝叶斯分类器的算法框架、综述了改进朴素贝叶斯分类器的属性选择方法、提出了一种演化选择的朴素贝叶斯分类算法(ESNB)。ESNB的适应度函数为当前朴素贝叶斯分类器的分类精度。编码方式为二进制编码方式,二进制串的长度为原始属性的个数,二进制位“1”或者“0”分别代表属性被选择或没有被选择的状态,停止搜索的条件为演化的代数。3)给出了学习局部的朴素贝叶斯分类器的算法框架、综述了改进朴素贝叶斯分类器的局部学习方法、提出了一种动态局部的朴素贝叶斯分类算法(DLNB)。DLNB在训练实例集上利用留一交叉验证法来动态地选择一个最能拟合训练实例集的k值,一旦最佳的k值被学习到,它就可以被用来分类所有的测试实例。4)综述了排列算法的研究状况、调查了朴素贝叶斯分类器的排列性能、提出了一种局部克隆的朴素贝叶斯排列算法(LCNB)。LCNB首先运用k-近邻算法发现最接近测试实例的k个邻居,然后根据测试实例和每个邻居之间的相似度对每个邻居进行克隆,最后在增加了克隆实例后的训练实例集上构建朴素贝叶斯分类器。5)给出了学习属性加权和实例加权的朴素贝叶斯分类器的算法框架、综述了构造组合分类器的四类方法、提出了一种基于相似度的实例加权的朴素贝叶斯分类算法(IWNB-S)和一种基于C4.5和NB的组合分类算法(C4.5-NB)。6)探讨了新算法(HANB、ESNB、DLNB)在若干实际问题的应用价值。
其他文献
随着人类社会的进步和发展,保护动物的观念和意识也日益深入人心。保护生态环境、人与自然和谐、保护人类的好朋友动物,已经成为人类的共识。近年来连续出现“刘海洋硫酸伤熊
土地革命战争时期,在党创建的各个革命根据地中,中央革命根据地最具有代表性,发挥着最重要的作用。主要表现为:对中华苏维埃共和国的建立和发展、对中共中央的历练并走向成熟
在经济区域化浪潮兴起的今天,对任何一个国家或地区而言,首当其冲的问题不是争论经济全球化或区域化的经济体系,哪个对全球经济的长远发展更有利,而是研究如何在这一浪潮中做
凉山州烤烟自然条件优越,在《全国烟草种植区划研究报告》中被列为西南部烟区烤烟生态类型最适宜区之一。近几年来,由于缺乏技术支撑,缺乏适用本地生产特点的自主技术创新,制
三电平中点箝位型(NPC)逆变器由于其等效开关频率高、单管承受电压低、输出电压波形好等优点,已经成为当今电力电子和电力传动技术的研究热点。而PWM控制方法是三电平NPC逆变
浅谈教育工会在高校改革发展中的作用王观龙,王建英社会主义市场经济的建立和发展为我国高等教育的改革发展提供了良好的机遇,同时又使高等教育面临着严峻的挑战。作为高校党政
观察肌内效贴扎术对运动员半月板损伤术后早期康复疗效。方法:临床搜集37例42膝半月板损伤术后运动员,随机分成治疗组19例21膝和对照组18例21膝。治疗组采用肌内效贴扎术配合
<正> 《中华人民共和国水法》颁布以来,各级水行政主管机关在立法、执法体系建设方面开展了大量的工作,取得了一定的成效。但要健全和完善水法制,还必须建立起水行政复议与应
<正> “说不尽的莎士比亚”,这是德国伟大诗人歌德的一句名言(见《古典理论译丛》第3册《说不尽的莎士比亚》1962年人民文学出版社)。这句名言高度概括了莎士比亚作品所拥有