随着网络市场的高速发展和人们日益增长的沟通需求,微信、微博、推特等网络社交媒体受到越来越多人的青睐。另外,由于通讯形式多样化,线上以对话形式出现的情绪文本日益剧增,这些文本表达了个人的情绪、主张和态度。多模态对话场景（即包含文本、音频或视频模态信息的对话场景）更是其中的代表,它涉及到人们日常生活的方方面面,如日常对话、消费购物、时事热点等多个领域的话题。多模态情绪分析任务作为一个新兴研究领域,旨在结合不同模态信息识别说话人的情绪。近年来,在舆情分析、智能对话和用户画像等领域获得了越来越多的应用。本文主要基于深度学习方法开展多模态情绪分析的研究,分别从对话特性和多模态特征分析这两个角度开展实验探索,具体的研究工作如下:（1）针对面向对话特性的多模态多轮对话情绪分析任务,提出了局部上下文信息和说话者相关的层次多模态Transformer算法。具体地,该算法以层次多模态Transformer作为基本模型架构,并使用了带有辅助任务的多任务学习方法。此外,还设计了局部上下文和说话人相关的注意力机制用于捕获相关性较大的上下文信息。通过实验评估表明,该算法优于现有的其它多模态方法,可以有效地捕捉对话的局部上下文信息和情绪惯性现象对情绪预测的影响。（2）针对面向多模态特征的多模态多轮对话情绪分析任务,提出了基于BERT的对抗多模态表示学习算法。该算法首先引入了最新的预训练模型BERT,在保证初始模型参数接近最优点的情况下,解决一词多义的问题。其次,为了将来源不同的模态特征映射到模态不变嵌入空间设计了对抗学习模块。大量的实验证明了引入对抗学习和BERT模块的合理性和有效性,同时该方法在多模态多轮对话情绪分析任务中取得了最优的实验结果。