文本分类是自然语言处理中的一项基本任务,被广泛用于垃圾邮件检测,情感分析和主题分类等各种应用中。最近,神经网络在自然语言处理中取得了显著成果。本文旨在从三个不同的角度研究基于神经网络的文本分类任务,包括新颖的方法或体系结构。本文的主要内容如下:1.对于文本分类,传统的局部特征驱动模型通过深度堆叠或混合模型来建模长期依赖性。本文提出了一种新颖的Encoder1-Encoder2体系结构,其中全局信息被集成进局部特征提取的过程中。具体来说,Encoder1充当全局信息提供者,而Encoder2充当局部特征提取器,其结果直接用于分类。同时,本文还设计了两种模式进行交互。由于具有了全局视野,本文的方法能够更好地学习到该实例特定的局部特征,从而避免了复杂的上层操作。在八个基准数据集上进行的实验表明,本文提出的体系结构大幅度提高了局部特征驱动模型的效果,并且在完全监督的环境下优于以前的最佳模型。2.神经网络是从数据驱动的模型,已在各种NLP任务中占据了主导地位。目前,不少学者通过集成符号知识来提高神经网络的性能,该方法引起了人们的广泛关注。与之前的方法不同,本文从知识驱动的角度研究了这两种强大范式的组合。本文提出了神经规则引擎(NRE),它可以从逻辑规则中显式学习知识,然后通过神经网络对其进行隐式泛化。NRE通过神经模块网络实现,其中每个模块代表逻辑规则的动作,并配有神经规则解析器将规则解析成特定的模块以及模块中的参数。实验表明,相对于传统的规则系统,NRE可以显著地提高召回率,从而大大提高逻辑规则的泛化能力,同时将精度保持在较高水平。3.丢弃(Dropout)通过在训练过程中从神经网络中随机丢弃单元来缓解过拟合。受此启发,本文提出了一种新颖的与全局信息集成的丢弃方法,GI-Dropout,以提高神经文本分类的效果。传统的丢弃方法是根据相同的概率随机丢弃单元,而本文基于数据集的全局信息使用显式指令来指导丢弃的过程。使用GI-Dropout,模型可以更加关注不明显的特征或模式。实验通过七项文本分类任务(包括情感分析和主题分类)证明,基于全局信息的丢弃可以提高神经网络的效果。