特征工程一直是机器学习任务的基础工作,特征的质量将直接影响整个模型和系统的性能。自然语言处理任务通常是以词为单元来进行,因此词的特征表示就成为了展开各类任务和研究的基础工作。传统的独热编码因其特征稀疏性的缺点而无法广泛适用于自然语言处理任务,因此基于分布式假说的词向量表示应运而生。常用的词向量训练方法都是基于分布式假说的模型,其原理是通过大规模语料对词的语义进行学习,所获得的词向量能够在低维空间中表达语义,因此在文本挖掘领域中得到了广泛使用。无监督的模型训练得到词向量在语义上具有普适性和通用性,但是缺点在于无法完全契合具体的语料,在关键词提取、情感分类、主题分类等具体问题中,词向量还有一定的提升空间。本文将词向量与主题发现和文本分类任务相结合,在关键词、情感词和主题词表示三个方面进行了研究,主要研究内容如下:(1)提出一种结合主题模型的关键词提取和表示方法。该方法基于词的分布式表示,将文本中的词语转化为向量形式,同时使用主题模型对文本进行主题聚类,将主题表示为单词的概率分布,以获得单词与主题的相关性。然后在每个主题中,利用词向量之间的相似度构建关键词网络,并通过计算每个主题网络的核心节点来获得主题关键词。(2)提出了一种面向文本情感分类的词向量训练方法。该方法首先使用预训练的词向量,通过两种不同的线性加权方法对文档特征进行表示,然后将文档向量作为分类的输入特征,训练一个基于神经网络的文本情感分类器,并通过梯度下降和反向传播过程,将文本的情感极性传播到词向量中,最终获得的情感词向量能够在文本情感预测、文本相似度计算和词的情感表达等任务上取得较好的表现。(3)提出了一种面向文本主题分类的词向量训练方法。该方法是在情感词向量的训练方法上进行了一定的拓展,首先使用预训练的词向量,通过两种线性加权方法对文档特征进行建模,并将其作为分类器的输入,然后使用多个二分类(One vs.Rest)方法替代多分类进行主题分类任务,即训练多个基于神经网络的文本主题分类器,通过梯度下降和反向传播的过程将文本的主题性传递给词向量。最终的主题词向量是多个分类器中词向量的加权线性组合。实验结果表明,这种主题词向量能够在文本主题类别预测、文本相似度计算等任务上获得很好的效果。