幽默是人类交流中一种独特的表达方式,它能够创造轻松愉快的氛围,促进人与人之间的沟通。幽默饱含智慧与创造力,研究幽默的产生机理,使用计算机对幽默建模,识别和生成幽默有助于计算机模拟人类的认知,对人工智能的发展至关重要。近年来已有许多基于文本的幽默识别研究,但是随着社交媒体的发展,幽默识别的对象不再局限于文本,音频、视频等多模态信息中也包含着丰富的幽默。多模态幽默识别成为该领域新兴的研究课题,它需要挖掘单一模态的内部信息和多种模态间的交互信息,是一项十分具有挑战的任务。本文重点研究了文本、音频和视频三种模态信息融合下的幽默识别。首先,针对多模态幽默识别领域现有公开数据集不足的问题,本文构建了一个包含多语种的多模态幽默数据集。本文详细介绍了数据采集、数据处理和数据标注的过程,并对数据标注的一致性进行了检测。数据分析部分展示了数据集的主要统计信息以及数据分布情况。本文将自制数据集与现有的多模态幽默数据集进行了对比,对该数据集的应用方向进行了展望。后续章节的实验会在公开数据集和自制数据集上展开。其次,本文提出了一种基于注意力机制的多模态融合方法。该方法设计了不同神经网络结构对不同模态进行句内建模,获取单模态句子表示。然后使用层级注意力机制对两种模态的特征序列进行混合编码,同时对段落上下文信息和模态间交互信息进行学习,挖掘多模态信息在上下文中的关联与交互。该方法在包含上下文的段落中能更好地融合多模态信息,取得了超过基线方法的结果。并且消融实验证明融合多模态特征和引入上下文给幽默识别带来了提升。最后,本文从多任务学习角度研究多模态融合。将不同模态信息视为不同任务,采用各模态独立网络进行单模态内部建模,并使用参数共享模块学习多模态交互信息。该方法在模型参数较少的情况下仍能取得较好的识别结果。此外,本文还在自制数据集上开展了幽默和情感多任务学习。模型通过共享层进行多模态融合,后使用任务独有的注意力模块整合上下文信息,完成情感和幽默各自的分类任务。实验结果表明,多任务学习比直接引入情感特征更能提升幽默识别的效果。