基于多模态融合的微博分类

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:intaaaf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博分类作为处理和组织大量微博数据的关键技术,可以很大程度上解决微博信息爆炸的现象。但由于微博文本具有长度短、口语化等特点,传统的文本分类技术对微博文本不太适用。随着移动设备的普及,微博消息向着更加多媒体化的方向发展,越来越多的图片出现在微博中,微博文本与微博图像共同构成了微博的两个模态。每个模态的微博数据有着自己的特点,不同模态之间存在着一定的关联性和互补性。根据微博的这一特点,本文分别从文本模态,图像模态,多模态融合三个方面对微博分类问题进行了研究,主要贡献如下:  (1)实现了基于文本模态的微博分类方法  在文本模态,本文实现了一个基于Word2Vec语义扩充的卷积神经网络模型。针对微博短文本的特点,本文使用了大量的新闻语料训练出一个Word2Vec模型,在该模型基础上对微博文本进行语义扩充并构建特征矩阵。在特征矩阵的基础上,使用卷积操作模拟“滑动窗口”的效果,实现了基于Word2Vec语义扩充的微博分类模型。实验结果表明,基于Word2Vec语义扩充的微博文本分类方法效果整体上显著好于传统的词袋模型,F1值比词袋模型提升了约3.4个百分点,达到80.53%。  (2)实现了基于图像模态的微博分类方法  在图像模态,由于本文的训练数据规模较小,难以单独训练图像语义识别模型。针对这个问题,本文采用了迁移学习的思想,使用在ImageNet数据集上预训练的Inception-v3模型对微博图像进行特征提取,把模型中倒数第二层的输出作为图像的特征向量。在图像特征向量的基础上,使用深度神经网络把图像特征向量映射到微博分类体系中。实验表明,在微博文本模态信息缺失或含有很大噪声的情况下,基于图像模态的微博分类是可行的。  (3)实现了基于多模态融合的微博分类方法  在文本和图像两个单模态模型的基础上,本文实现了两种基于多模态融合的微博分类方法。第一种是基于语言模型的单模态微博分类结果融合,即在两个单模态模型输出的概率向量基础上,结合语言模型、文本长度、图像个数等特征进行单模态结果的融合。第二种是基于多模态特征融合的微博分类,该方法把两个模态的特征使用卷积等方法进行规格统一,构成一个数据流,使用LSTM模型对两个模态进行融合。实验表明,基于多模态融合的微博分类效果要显著优于单模态的模型。对比基于Word2Vec语义扩充的微博分类结果,特征融合的方法F1值提升了4.4个百分点,达到了84.94%。
其他文献
无线光通信在无线高速信息传输应用上有很多优点,但其性能受大气湍流影响严重。对无线光通信系统的数字基带传输形式和带通传输形式进行研究,分析其在传输信道上基带信号和带通
智能交通系统(Intelligent Transport System,简称ITS)是解决城市道路交通拥堵问题的重要方式之一,就城市道路交通管理部门的管理对象而言,无论是基础设施还是交通管理设施都
在过去的二十年中,我们目睹了软件对人类社会日益增长的影响。这一趋势与Marc Andreessen在2011年发表的著名宣言“软件正在吞噬世界”相呼应。此外,软件定义的任何东西被Gar
21世纪是信息技术飞速发展的时期,随着IT技术应用的普及和管理理论的发展,传统的按职能管理组织的企业内部问题逐渐显露出来,工作流程也显得尤为重要。然而不幸的是,依然有许多流
随着现代科技的发展,越来越多的儿童有机会接触到计算机等现代科技设备。面向儿童的编程研究为儿童提供了一个学习体验编程过程的机会。传统编程语言中的语法、复杂指令及大量
在现代信息社会,政府、企事业单位相继建立了各自的信息管理系统,这些独立的系统创建之初没有统一的规划,彼此之间数据的存储环境和存储形式差异大,很难实现有效的数据交换和共享
随着三维图形技术的迅猛发展,三维网格被广泛的应用在计算机图形和仿真中逼近三维模型。为了支持这些应用,三维网格的传输量也越来越大。同时,随着众多成熟的三维扫描和建模技术
无线通信的快速发展,嵌入式应用的日益复杂,对基带DSP(Digital Signal Processor)的处理能力提出了更高的要求,同时又需要满足一定的功耗、面积等设计约束,使得DSP的结构复杂度和
伴随互联网新型应用的广泛普及和飞速发展,传统程序设计方式面临着多核化、网络化等硬件变革所带来的分布并发程序设计的挑战。为了应对上述挑战,支撑互联网新型应用的高效开发
现在的数据中心每天必须处理成千上万的独立用户所产生的请求和数据,云计算和大数据类的应用负载使得数据中心的内部流量和外部流量占比发生了巨大的变化,占比已经从原来的5∶9