【摘 要】
:
随着信息化社会的发展,来源于互联网的文本信息越来越多。如今文本数量巨大且更新速度很快,人工进行文本分类要耗费大量的时间和人力成本,因此文本的自动化分类具有重要的应用价值。文本分类的第一步是将非结构化的文本转换成结构化的语义向量,语义向量可以对文本进行降维、过滤,筛选出重要的信息,为后续的文本分类带来性能和效率的提升,但是目前构建的文本语义向量在对分类效果的提升上还有待改进。文本分类的第二步是将文本
论文部分内容阅读
随着信息化社会的发展,来源于互联网的文本信息越来越多。如今文本数量巨大且更新速度很快,人工进行文本分类要耗费大量的时间和人力成本,因此文本的自动化分类具有重要的应用价值。文本分类的第一步是将非结构化的文本转换成结构化的语义向量,语义向量可以对文本进行降维、过滤,筛选出重要的信息,为后续的文本分类带来性能和效率的提升,但是目前构建的文本语义向量在对分类效果的提升上还有待改进。文本分类的第二步是将文本向量通过分类器进行文本分类,并输出结果,目前的常见分类器在分类的精度和运行的效率还可以有所提升。集成学习近些年发展迅速,也可以作为分类器进行文本的分类。本文构建了新的语义向量tdCHI,并将构建的语义向量输入到改进的XGBoost集成学习算法进行文本分类。本文的主要创新点如下:(1)构建了便于文本分类的改进的语义向量tdCHI。tdCHI语义向量结合了word2vec和改进的卡方检验,具有丰富的语义信息且维度较低。针对卡方检验存在的低频词缺陷问题,引入了t检验增加词频的权重;针对卡方检验的值只代表相关性,卡方值大的时候可能是负相关的问题,加入了过滤函数对结果进行过滤;针对卡方检验只考虑特征项对类别的区分度,不考虑特征项在具体文章中重要性的问题,引入了TF-IDF算法。并以实验证明tdCHI语义向量对于文本分类性能的提升。(2)针对应用于文本分类环境,对XGBoost集成学习算法做出了改进。针对XGBoost默认的处理缺失值方法没有考虑文本分类特性的问题,结合tdCHI语义向量,循环选取排名靠前的特征项填补缺失值,改进了XGBoost处理缺失值的方法。并以实验证明了改进的缺失值处理方法相比于默认的处理缺失值方法、其他常见缺失值处理方法,更能提升文本分类的准确性。然后针对不平衡样本的问题,分析了XGBoost默认得分函数的不足,并引入了宏平均,设计了新的得分函数。并以实验证明了设计的得分函数不论在平衡样本还是不平衡样本的情况下,都具有较好的文本分类性能。最后在总体实验中证明了基于tdCHI语义向量的XGBoost集成学习分类器,能够提升文本分类的性能,并拥有较好的运行效率。
其他文献
利用两个实例,阐述了如何在数控机床单独加工和修复设备,有困难时利用计算机辅助设计结合数控机床来制造、修复的一些关键备件。
生命因相拥而美丽 一考生 没有任何一个生命可以孤立无援地活下去。只有在与其他生命的相拥中,人们才可以感受到生命最本质的温暖与意义。其实,生命的过程很简单,只不过是一次次偶然、必然的相遇与分离。 让相遇化为相拥,生命将因此而美丽。 生命相拥,展现共赢智慧。 “独木桥”上,一对同学在桥中间抱住转身,双双通过。简短的故事,寓含互助共赢的智慧。聪明的少年,靠智慧将你优我劣的残缺,改编成你我双赢的
新形势下,高职院校日常管理和学生教育工作需要完善的法制规范,但是要想培养德才兼备的高素质技术技能型人才,真正成就学生的全面发展,高职院校学生管理工作中不可缺少体现师
一位哲人曾经说过:“智慧的代价是矛盾,这是人生对人生观开的玩笑。”随着年龄的增长,我知道的东西越来越多了,但是却也更加迷惘。即使没有这种迷惘,我也绝不敢说自己懂得了多少真
新形势下改进医学院校学生管理工作已是大势所趋。为适应学生管理体制从集中管理到分散管理的变革,针对管理理念滞后、管理机构权责不明确、管理工作队伍建设不规范及考核激励
课堂是高职教学工作的主阵地,是实现高职院校培养目标的根本途径,课堂教学的改革是高职教学改革的最终落脚点。介绍高职课堂教学的任务,高职课堂教学理念的更新,对高职课堂教学实
永远的屈原 郑 婕 那个片段开始反复在我脑海里出现。 我仿佛看见你一步一步走向河岸,眼里闪烁着晶莹的泪光,那回头的一瞥,不是对安危的牵挂,不是对生命的留恋,而完完全全是对故土的挚爱,对祖国的想念,对人生的叹息,对政治的无奈。狂风吹乱了你的长发,翩翩白衣如脱尘的仙人。可是你没有洒脱,怀抱着冰冷的巨石,你终于站在了波涛汹涌的汨罗江的滔滔江水之畔。在这生命的最后时候,关于你的一些已经遥远的过去,如
本文针对目前日用细瓷存在的问题,以提高高档日用细瓷的内外性能为目标,选择Li2O-Na2O-K2O-MgO-Al2O3-SiO2多元系为坯体的基本组成物系,通过坯料釉料试验研究,研制出一种高档
摘 要:45mm×45mm小规格陶瓷马赛克产品由于尺寸小,需要铺在垫板上烧成,而要把垫板加热到烧成温度,需消耗大量的能源。为节能减排,取消垫板承载,本文研究直接在辊棒上传送烧成小规格马赛克。采用小辊棒、密排布的砖坯传送机构,调整前后段砖坯运行间距,使砖坯运行平稳;收窄窑炉内宽、合理布局各窑段内高,改善传热均匀性;调整烧成带和冷却带的温度分布及均匀性,实现了小规格陶瓷马赛克免垫板烧成。同时,充分利用