基于卷积神经网络的短文本分类方法研究

来源 :西南大学 | 被引量 : 0次 | 上传用户:eqsd521
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,伴随着计算机技术、互联网及移动互联网产业的高速发展,网民数量呈现出了爆发式的增长,以微信、微博等社交平台为代表的互联网产品也日趋成熟。随着大量活跃用户加入其中,每天都有数以亿计的短文本数据在这些平台上产生,如聊天记录、用户评论等。无论是对于政府部门、科研单位还是互联网服务提供商来说,能够正确地应用短文本分类技术,从而挖掘出蕴藏在数据背后用户的真实意图,具有非常重要的研究意义和巨大的应用价值。自2006年深度学习概念第一次被提出,已经在图像识别和语音识别等领域中取得了极大的突破。大量研究成果都证明了相比于传统的机器学习算法,深度学习理论中的诸多模型都能够获得更加出色的性能。本文尝试探索更加适合短文本数据的特征提取方法,并且将深度学习理论中的卷积神经网络模型引入到短文本分类技术中来。为此,本文主要做了以下工作:首先,本文详细阐述了短文本分类任务中的详细流程,具体包括数据预处理、中文分词、特征提取、分类算法研究等步骤。在此基础上,通过对短文本数据自身的特点进行分析,进一步阐述了传统的文本分类方法中所面临的诸多问题,这为后续介绍本文所采用的特征提取和分类模型设计的研究工作奠定了基础。其次,在对短文本进行特征提取时,为了能够更充分地描述词与词在连续低维空间中的语义关系,即提高特征的表达能力,除了原始数据集以外,在训练中还引入了维基百科中文数据集。本文并未采用传统的人工构建特征的方式,而是利用Skip-Gram神经网络语言模型来训练出数据集中每个词的word embedding。再将每条样本中出现的所有word embedding组合为二维特征矩阵的形式,用来代表该条样本的分布式特征。再次,本文设计了一种具有3种不同大小卷积核的卷积神经网络结构,从而能够在原始输入特征的基础上,进一步完成多种局部抽象特征的自动提取过程。此外,在每次迭代训练的过程中,原始输入特征也将作为模型参数被逐渐更新。实验证明,比起传统机器学习方法,包括支持向量机、随机森林、逻辑回归等,本文所提出的基于word embedding和卷积神经网络的短文本分类模型成功将分类正确率提升了5.04%。最后,在总结全文的基础上,对下一步的工作方向提出了展望。
其他文献
采用阵列信号处理进行高分辨测向是近几十年来兴起的空域信号处理技术,在电子侦察、通信、医学等领域有着广泛应用。本文在总结高分辨测向技术研究现状和主要算法的基础上,针
目前为止,作为B3G技术重要组成部分的LTE Release9版本已发布有一年多的时间了。随着B3G技术的发展和日益成熟,提高系统吞吐量和频谱效率一直是其主要目标之一。由于MIMO技术能
在当今复杂的电磁环境中,如何将同时到达的多频信号进行分选、识别以及参数测量是电子战中非常重要的课题。其中接收信号的频率是极为重要的参数,它可以反应敌方雷达的功能和用
未来的网络发展中,异构网络融合是必然趋势。多网融合技术能给用户提供差异化的服务,简化网络管理,降低网络成本,且便于网络资源的共享。移动自组织网络组网方式灵活,成本低,
由于无线自组织网络的动态自组织和自配置特性,以及网络的构建不需要任何的基础设施,使得无线自组织网络特别适用于因经济条件或地理位置而不适合建立网络基础设施的地方。此
无线传感器网络(WSN)是一种全新的信息获取平台,在军事战场、环境监测等方面有着广泛的应用。WSN一般部署于工作人员不可达的环境中,并且网络中的节点数目巨大,网络的维护和
随着信息和网络技术的发展,视频编解码技术也在不断的进步和发展。新一代视频编码标准H.264/AVC与以往的视频标准相比,在同等图像质量条件下,获得了更高的压缩比,但是随之而
随着信息量的急剧增长和信息处理要求的不断提高,人们迫切需求更加智能化和微型化的信息处理系统。忆阻器的出现,使电路理论更加完备,有着巨大的应用潜能,给这种需求提供了可
无损检测技术即非破坏性检测,就是在不破坏待测物质原来的状态、化学性质等前提下,为获取与待测物的品质有关的内容、性质或成分等物理、化学情报所采用的检查方法。超声无损
地面动目标检测(ground moving target detection,GMTI)作为机载合成孔径雷达的一项重要任务,在军事和民用上都有广泛的应用价值。本文以提高目标检测性能为宗旨,主要研究了