基于改进朴素贝叶斯算法的垃圾文本分类研究

来源 :长江大学 | 被引量 : 0次 | 上传用户:strongstrongqiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着通信技术的飞速发展,5G通讯的普及,电子邮件数据呈现爆发式增长。垃圾邮件日益泛滥,对垃圾邮件的分类和过滤变得越来越迫切。对于数据量如此庞大且形态多样的垃圾邮件数据的处理,朴素贝叶斯(Naive Bayes)算法起到了非常好的效果。但由于Naive Bayes算法是基于特征相互独立属性的实验原理,以及样本数据集单一的局限性,导致在实验过程不充分,数据冗余度较大,实验准确度不够高的现象。本文提出了基于传统朴素贝叶斯在垃圾文本过滤中的优化和改进策略,不仅在样本数据上弥补了数据集的单一局限性,也在特征分类策略上提出特征加权的改进策略。本文的主要贡献如下:(1)针对传统的Naive Bayes算法基于相互独立特征属性的局限性,本文提出了一种基于Naive Bayes分类模型结合分词特征加权的改进策略,根据样本数据集在多类别多特征的情况下,根据为样本数据添加信号量引入了分词特征权重的方法,对每个特征属性添加权重数值和特征分类,从而拓展了分词向量的特征提取。最后促使Naive Bayes分类模型通过条件概率计算样本后验概率从而实现分类模型对于垃圾文本的分类与过滤。(2)针对Naive Bayes分类模型的构建需要庞大的数据集对模型进行充分的测试与训练,但本文所选取的样本数据量还不够。为了解决数据集单一的局限性和模型训练不充分的问题,本文引入了十折交叉验证的建模策略,通过在数据集预处理阶段,利用交叉验证的实验原理划分标准数据集,再进行Naive Bayes分类模型的构建。通过这种策略有效解决了数据集的局限性。实验结果表明,本文提出了的方法和策略在垃圾文本分类应用中起到了明显的改进,从数据集单一局限性来看,结合十折交叉验证的方法,不仅增大了样本数据,也对分类模型的构建提供了充分的训练。从引入分词特征权重的策略有效规避了特征相互独立的局限性,并且改进的方法具有良好的执行效率,不仅降低了数据冗余,也提高了垃圾文本分类的准确度。
其他文献
目的:本课题通过观察培补肾阳汤加味治疗类风湿关节炎继发骨质疏松症在症状缓解情况、实验室指标、疗效指标、骨密度、骨代谢相关指标及血清中致炎因子的变化情况,确定此方法的有效性,从而提供真实可靠的数据支撑。方法:选取于2019年11月至2020年11月来河南省中医院风湿病科就诊的RA继发OP的患者62例,采取SPSS 22.0对纳入的试验研究患者进行完全随机分组,分为两组,每组31例。其中对照组:甲氨蝶
胚胎着床是哺乳动物妊娠早期重要的繁殖事件,也是关键节点。人和家畜的大多数妊娠失败发生于这一时期,极大的降低了哺乳动物的繁殖效率。而着床期间,母体与胎儿之间的信息交流是影响胚胎着床过程的重要因素之一,对于成功妊娠的建立是必要条件,但是目前尚不清楚具体的分子机制。因此,了解在胚胎着床过程母胎信息交流对于提高妊娠成功率具有重要的促进作用。外泌体是细胞分泌的一类包含有活性分子的细胞外囊泡,在机体生理和病理
自Mona Baker首次提出基于语料库的翻译共性研究以来,众多学者对此进行了激烈探讨并展开了一系列实证研究,以证实或证伪翻译共性假说。然而,这些研究多以印欧语系语言和非少数民族文学作品为研究对象,对于语言和文本类型的关注有待加强。我国少数民族史诗既是少数民族文化的重要载体,也是中华民族文化的重要组成部分。苗族作为我国最具代表性的少数民族之一,其标志性文献——《苗族史诗》的英译在国内外学界引起了巨
随着时代的发展,互联网技术的不断普及,各行各业都在网络的连接加持下蓬勃发展。但是随着技术的发展,所带来的安全问题也不容小觑,稍有不慎就会带来严重的安全后果和经济损失。在现实生活中,各类病毒、木马侵害计算机系统,不同种类的垃圾短信和诈骗信息影响着日常生活,无处不在的网络攻击对各个行业都造成了巨大的影响。对于社会发展来说,针对网络安全问题带来的问题厄需解决。针对存在的网络安全问题,传统的网络防御体系已
学位
河流是人类文明的承载体,但随着经济的发展,人口密度增大,水资源开发利用程度越来越高,北方大部分河流存在严重的水体污染、断流、河岸带受损严重等问题,河流的生态功能逐渐丧失,河流生态健康状况愈加恶化。如何准确评价北方河流的生态健康状况,并根据评价结果,设计综合整治方案,是打造生态健康社会急需解决的问题。本文立足于杏花河的特点与现状,实地调查得到不同年份的生态健康数据,用主成分分析法筛选出15个评价指标
学位
本文以清代至民国中叶王氏家藏契约文书及王氏族谱资料为切入点,提供了王氏家族日常经济生活考察的个案,该案从以下几个方面来展开。首先,对田野点的了解,即对清水江岸少数民族村落菜园村与三德侗寨的社会环境、历史沿革、村落结构及地方文化等方面进行介绍。其次,通过对王氏族谱文本资料及田野口述资料互相整合,对王氏家族在三德侗寨中的发展历程、人物关系、族群互动及家族日常经济活动等内容有较为清晰的认识。其三,对王氏
金属镁(Mg)具有燃点低、沸点低、可燃性好,燃烧形成气相扩散火焰、燃速较高等优势,广泛应用于粉末冲压发动机和固体火箭推进等航空航天领域。相对于金属铝(Al),单位质量的Mg与氧燃烧时释放的热量较低,所以通常在固体推进剂或粉末冲压燃烧室内添加Al粉的同时加入少量的Mg粉或者制备成Mg合金形式,利用Mg的易燃性来改善其点火性能。本文选择以Mg和Al-Mg-Zr三元合金为研究对象,针对Mg和Mg合金的燃
学位