基于语义特征的文本分类算法研究

来源 :北京邮电大学 | 被引量 : 2次 | 上传用户:hz9466894
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来信息技术和互联网技术飞速发展,给人类社会带来了极为广泛和深刻的影响。随着门户网站、搜索引擎、社交网络、电子商务等的井喷式发展,每天有海量文本信息在网络中产生和传播。文本是网络信息最主要的载体,如何过滤、组织、管理、挖掘海量的文本信息是一个很有必要并且有价值的研究课题。文本分类作为信息处理领域中的一个前沿课题,利用机器学习技术将文本自动分类,使得我们能够有效的管理海量文本并快速定位到我们需要的信息。文木分类已经在信息检索、新闻分类、邮件分类、舆情分析等领域得到广泛的应用。文本分类的关键技术有着重要的应用前景和重要的研究意义。向量空间模型(Vector Space Model,VSM)和主题模型(Topic Model)是当前最流行文本特征表示方法,这两个模型均为词袋模型,词袋模型忽略了词与词之间的顺序信息和词的上下文信息。然而,几个词的顺序不同,所表达的语义不同;词的上下文不同,其含义也不同。文本的类别和文档中的语义信息是强相关的,VSM和主题模型忽略的语义信息对于文本分类来说是有帮助的。鉴于VSM和主题模型存在的问题,本文结合深度学习(Deep Learning)的几种关键技术,深入研究了基于语义的文本特征表示方法,更有效的提取了文本中的语义特征,进而提升了文本分类的效果。深度学习的优点是它能通过深层网络结构学习到抽象的特征,即语义特征。本文使用了词向量(Word Embedding)、卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)等深度学习技术,从语义特征的方面对文本分类算法进行研究,主要工作包括:(1)提出了基于负采样的循环神经网络语言模型(Negative Sample based Recurrent Neural Network Language Model,Neg-RNNLM)来训练词向量。本文分析了当前各种词向量的训练方法存在的问题,改进了 RNNLM的模型结构,提出了基于负采样的RNNLM模型,不仅提升了训练速度(速度提升了 5倍),还提高了词向量的质量,进而提升了文本分类的效果。(2)将文本数据和知识库结合用来训练词向量(Word Embedding)。知识库(WordNet)中含有丰富且准确的语义关系,本文提出文本-知识库混合模型来训练词向量,将WordNet中的语义关系融入到词向量的当中,使词向量中的语义信息更准确。实验表明,文本-知识库混合模型提升了文本分类效果。(3)对比分析了 3种基于词向量的文档特征表示方法对于文本分类的影响。基于词向量,本文对比了3种文档特征表示方法,分别为Paragraph Vector、CNN模型和RNNLM循环层向量(RNNLM循环层向量是本文提出的新的文本特征表示方法),并比较了不同表示方法对文本分类效果的影响。实验表明,使用CNN模型来表示文档进行文本分类的效果最好。
其他文献
民营企业在我国的地位,可以从国家出台的保护企业家精神、降费减税、民企纾困等一系列保护民营企业的优惠政策看出.但是现阶段我国民营企业维护法律法规不强,喜欢钻政策空子,
随着时间的推移和时代的不断改革创新,就目前来说,我国社会经济发展以及综合国力的提升,与以往的时代进行相比较的话都有了非常巨大的提升,其中一种非常重要的表现就是人民群
农产品实现绿色营销,是实现可持续发展的生态农业的必然选择,是企业参与农产品国际竞争的新武器,也是中国农产品进军国际市场的有效通行证。绿色营销是指以满足产品消费者和
为贯彻中央全面从严治党要求,持续深化油气企业党风廉政建设和反腐败工作,迫切需要创新思考构建油气企业"三不腐"有效机制。通过分析新形势下油气企业党风廉政建设及反腐工作
对箔条弹反导过程进行分析,选取了有效雷达反射面积、假目标间最小距离、箔条充分散开时间等9个性能量度,分析了箔条弹的系统映射和使命映射,建立了反导效能指标体系,运用SEA
塑造负责任的公民是当今社会一个重大的理论和现实问题。从基本理论上看,公民责任建设是公民教育的重要内容,也是公民道德建设的重要内容,体现了公民教育与公民道德教育的共通性
计算机技术、通信技术以及通讯网络技术为代表的信息技术迅猛发展,促进了网络技术在证券行业的不断渗透,证券市场的电子联网成为了必然趋势,具有高效率、便捷、低成本、覆盖
本文作者认为,我们的比较教育研究应当以马克思主义哲学辩证唯物主义和历史唯物主义作为方法论基础,因此,必须遵循以下五项基本原则:求是性原则、实践性原则、系统性原则、过程性
目的研究大鼠坐骨神经结扎后降钙素基因相关肽(calcitonin gene-related peptide,CGRP)表达变化。方法SD大鼠随机分为假手术对照组和坐骨神经结扎组,实验组结扎后分别存活1、3、5
汉族传统女性婚礼服以其独特的文化内涵与颇具寓意的艺术表现形式,传达出人们对于生命的信仰和对子孙繁衍的希冀,彰显出中国传统社会心理和"天人合一"的哲学思想。通过对汉族传