随着现代科技的飞速发展,社交媒体功能不断更新迭代,如Twitter,Facebook,微博等社交平台都支持用户发布多媒体信息。研究表明多数用户更倾向于选择利用图像与文本两种媒体进行信息发布,利用文字搭配情感图片,表达发送者情感情绪状态。因此,利用文本和图像的跨模态社交媒体数据进行情感分析,有利于如用户兴趣分析进而定向推荐,群体情感倾向分析进行舆情分析等,其研究成果具有潜在的应用前景。跨模态社交媒体情感分析是近年来发展起来的研究方向,特别是基于深度学习的研究方法逐渐取得了一定成果,然而目前研究尚存在以下难题,第一、缺少大规模的、开放的、标记良好的图文情感分析数据集;第二、现有图文情感分析更关注于利用深度学习方法提取文本特征和视觉特征,并没有关注到对多种模态数据进行特征对齐的重要性;第三、由于模态的异构特点,如何高效地将两种模态的特征融合成全局特征表示,是图文情感分类的研究重点和难点之一。考虑到现有的跨模态特征融合方法多采用将两种模态特征进行元素拼接、相加或者相乘的方式,未考虑特征融合中不同模态之间深层的关联关系,研究利用跨模态关系指导的有效特征融合方法仍是一个具有挑战性问题。因此,本文针对跨模态情感研究中,图文情感分析数据集,跨模态特征对齐和跨模态特征融合方法三个问题进行研究。主要内容和创新点如下:1、完成了图文情感分析数据集的构建及预处理。首先,利用Senti Word Net情感字典设置一个具有强烈积极情感关键字和消极情感关键字的关键字列表。然后,以网络爬虫为基础,通过Filckr API,用积极和消极关键词列表查询Flickr网站数据,构建了Flickr图文情感分析数据集。其中,积极情感倾向样本量为43452,消极情感倾向样本量为43187。将得到的图像数据使用Open CV统一图片尺寸大小,进行归一化处理。对于文本数据,使用标准停用词列表删除停用词和标点符号,将文本向量数值化方便后续实验使用。将预处理之后的数据集进行划分,80%用于训练,10%用于验证和10%用于测试。2、提出一种利用文本注意力机制进行文本与图像特征对齐的情感分析方法。在构建图像和文本双通道融合情感分析深度学习框架基础上,针对图像和文本两种模态特征之间的对齐问题,考虑到文本情感信息相对图像具有更显著的特点,以文本信息指导图像特征的提取,提出了att-LSTM(attention-LSTM)模型,利用文本注意力机制进行跨模态数据的特征对齐,实现视觉特征与文本特征之间的情感信息互补,最大化文本与图像的相关性,减少语义鸿沟。所提出的att-LSTM模型结合卷积神经网络(CNN)和长短时记忆网络(LSTM)的优势,使用VGG-19(Visual Geometry Group Network-19)作为图像子网络,对图像信息进行微调,提取图像特征;利用LSTM作为文本子网络提取文本特征;拼接两种模态特征生成全局表示,使用softmax算法进行情感分类。在所构建的Flickr图文情感分析数据集上进行实验验证,结果表明,相对多种主流图文情感分析模型,所提出的att-LSTM模型取得了更好的分类结果,预测情感倾向的准确率达到82.7%。3、提出一种基于双线性融合和Tucker分解的跨模态图文特征融合方法(Bilinear Tucker Fusion,BTF)。在基于文本注意力机制指导的文本和图像特征提取基础上,针对所提取视觉和文本情感特征的融合问题,提出了利用双线性算子进行图文特征融合计算,考虑到双线性模型融合特征维度高,分类计算代价大问题,利用Tucker分解方法进行降维计算。基于视觉和文本特征的双线性融合模型实现了文本信息和视觉信息之间高层次关联学习,使用Tucker张量分解,在降低融合特征参数维度基础上,进一步参数化双线性相互作用,提升了图文结合的跨模态情感分类性能。在Flickr图文情感分析数据集上进行验证,实验表明BTF模型预测情感倾向的准确率达到84.5%,与使用元素拼接、相乘、相加的特征融合方式为基础的情感分析基准模型,以及主流图文情感分析方法进行比较,都取得了更好的分类结果。