文本分类的研究与改进

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:NMGYXK110
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于互联网和自媒体的快速崛起,人人都可以是内容生产者,各种信息文件呈爆炸式增长。我们不缺乏信息的来源,但找到需要的信息却愈加困难。为了便于用户浏览和搜索,需将文本进行合理分类。在文本分类中特征选择和特征加权是两个不可或缺的部分,因此,寻找有效的特征选择和特征加权的方法,对文本分类具有重要的理论意义与应用价值。本文对相关算法展开研究,主要的研究内容如下:(1)卡方统计算法的改进。特征选择模块是文本分类的重要组成部分,该模块将输入的高维特征向量经过算法的计算,输出具有类别代表性的特征子集。针对传统的卡方统计算法的3点不足,分别是夸大低频词作用、未考虑特征词在类别中的位置分布、以及未考虑与类别成负相关的特征词。基于此,本文通过引入了词频调节参数、类内位置参数以及负相关修正因子进行改进,从而提出了一种改进的卡方统计算法IMP_CHI,实验结果表明,改进的卡方统计算法IMP_CHI比传统的卡方统计算法CHI在查准率、查全率以及F1值都有所提升。(2)TF-IDF算法的改进。特征加权模块把特征选择模块得到特征子集作为输入,根据特征词对文本的贡献度的不同分别给予不同的权重。针对传统的TF-IDF算法的两点缺陷,只关注特征词的数量而不是文档数量,以及只关注类内特征词的分布,忽视类别间的分布状况。基于此,本文通过采用的TF-IWF算法以及引入类间权重因子进行改进,从而提出了一种改进的TF-IDF算法,再结合本文提出的改进的卡方统计算法IMP_CHI,选用支持向量机完成文本分类。实验结果表明,改进的TF-IDF算法比改进前的TF-IDF算法在查准率、查全率以及F1值都有所提升。
其他文献
在“新文科”视域下,法学教育应更加注重创新。随着《民法典》的实施,民事类课程案例库也应与时俱进,建构紧扣最新法条的优质教学素材。以《民法典》为中心的民事类课程案例库设计分为三个部分:明确案例库的设计理念,组建合适的构建团队;梳理课程知识点,依据教学需求进行案例的收集和编辑;调整与修正,完善案例库路径。根据以《民法典》为中心的民事类课程案例库在教学中取得的成果与反馈,高校应从四个方面进行完善:以课程
在国家大力推动实施"双碳"战略的背景下,新能源汽车市场前景广阔,这也为新能源汽车保险的发展带来了机遇。本文分析了我国财险业发展现状及新能源汽车保险发展面临的机遇与挑战,并借鉴全球新能源汽车保险发展经验,提出新能源汽车保险的创新解决方案,即通过汽车整车厂商、电池厂商、零部件厂商、维修机构以及保险企业等多方主体的通力合作,打造新能源汽车保险+服务生态体系,最后给出了新能源汽车保险助力实现"双碳"目标的
针对工业机器人在线编程低效和碰撞等问题,本文采用离线编程解决这些问题。在实际应用中离线编程也便于修改,满足不同设计需要。在RobotStudio中,搭建搬运工作站,规划搬运路径设计动作流程,根据搬运设计要求编制相关程序。图形仿真优化路径,避免碰撞和优化程序,达到最优效果。离线编程实现最优路径编程,避免在线编程碰撞,达到高效和安全的效果。ABB搬运工业机器人离线编程为解决工业机器人搬用问题提供了一定
本文将统计学中常用的LASSO(Least absolute shrinkage and selection operator)回归模型与深度学习中流行的神经网络模型相结合。利用LASSO回归模型对数据的多项特征进行筛选,并使用神经网络中的BP(Back Propagation)算法进行实际建模。以贵州茅台为例进行股票价格数据的拟合和预测,对影响股票价格的时间序列数据和截面数据组成的面板数据进行建
<正>暑热慢慢消散,空气里多了一丝凉意。走在街头,忽有清香袭来,不禁四下张望,循着这香气找去,竟然在角落里发现了一株桂花树。金色的花瓣藏在绿叶里,若隐若现,低调极了,只有那“一味恼人香”随着秋风散落在各处,香了无数行人的心。桂花古已有之,最早出现在战国时期的《山海经·南山经》里,书中提到“招摇之山多桂”,可见几千年前的古人已对桂花有所了解。往后的历史里记载最多的,还是桂花那清新而厚重的香气。
期刊
目的 探讨EBV、HSV-Ⅰ/Ⅱ、CMV及MP感染早期,固有免疫细胞对原发免疫性血小板减少症(ITP)骨髓巨核细胞和血小板的破坏特征及临床意义。方法 化学发光免疫法检测患者血清EB病毒(EBV)、单纯疱疹病毒Ⅰ/Ⅱ型(HSV-Ⅰ/Ⅱ)、巨细胞病毒(CMV)、肺炎支原体(MP)等IgM和IgG抗体,ELISA法检测血小板抗体(PA-Ig),流式细胞术(FACS)检测外周血淋巴细胞比例。瑞氏染色观察骨
花样跳绳是中国传统体育项目之一,相比于其他的中国传统体育项目而言,花样跳绳的动作更加多样,且极具观赏性与创新性。因此,参与人员必须通过大脑和肢体的密切配合,才能很好地完成花样跳绳。可能因为花样跳绳具有复杂性,其在我国大部分学校的开展较少,没有完全融入高校体育教学中,在校园活动中也没有得到较多的展现。因此,该文的研究重点便是花样跳绳在高校校园中的推广。
调查分析医学院校学生对卫生法学教学满意度及教学模式需求的影响因素。研究表明,医学院校学生对卫生法学教学满意度较高,教学改革需针对不同特征学生进行调整,学生、教师以及学校需共同努力来提升卫生法学课程的教学效果。
在国家科教兴国战略和“双一流”建设背景下,高校创新型人才培养成为重点任务之一。本科生是高等教育的主体,加强本科生科研创新能力培养是提升高校高质量创新型人才培养水平的重要抓手。通过分析现阶段高校本科生科研创新能力培养存在的问题及原因,并借鉴国外高校的先进教育经验,提出符合我国高校实际的本科生科研创新能力培养优化路径,为相关研究及实践工作提供一定的理论参考。
通过对热播电视剧《大考》中“家庭故事线”的解析,分析了高三学生与父母之间产生矛盾的原因:父母不信任孩子,在管教孩子的过程中过多地包揽和专制;父母的思维和认知存在局限性,忽视了孩子的感受;父母原地踏步,放弃了学习和成长等。由此提出了六条亲子沟通秘诀:(1)相互信任,彼此接纳;(2)转换思维,变化视角;(3)言传身教,作好示范;(4)关注心理,及时疏导;(5)放下姿态,积极化解;(6)关爱有度,管教有