短文本分类是一种基于长度较短文本学习语义表征并用于分类的任务,其应用场景包括社交媒体上用户的实时评论,对于商品/作品的评价等,这些文本通常具有口语化的特点。目前,应用于短文本分类任务的一个有效方法是深度神经网络。具体地讲,这类方法旨在学习得到一个文本语义表征,表征的质量决定了方法的有效性,但短文本自身的语义稀疏问题使得学习一个高质量的完整的语义表征是极其困难的。为此,本文提出基于注意力机制的联合表征学习模型——AJRLN,该模型根据短文本场景特点设计了多模块语义提取机制,引入了正则约束项促使多模块结构分别提取具有判别性的文本语义特征,再应用注意力机制进行联合学习,得到包含完整语义的高质量表征。然而,AJRLN模型是基于传统词向量方法与神经网络结构设计的,其中前者会使模型受限于文本的“一词多义”情况,而后者则可能导致网络结构依赖性问题。在此基础上,本文进一步提出了基于BERT语言模型的句子表征学习网络——BSRLN,该模型基于预训练BERT与多头自注意力机制的联合,取代了AJRLN模型中传统的词向量方法与神经网络结构,充分利用了上下文词向量信息并进一步提取语义信息内部的多路相关关系加以融合,从而提升分类性能。本文在真实短文本数据集上进行了一系列实验来验证AJRLN模型与BSRLN模型的有效性。实验结果表明本文所提出的模型明显优于传统的深层神经网络模型,结合注意力机制设计思想的语义提取框架可以有效提升短文本分类任务中的表征提取质量,具有较高的应用价值。