论文部分内容阅读
互联网技术的发展使得用户评论数据指数增长,如何将有效信息从海量数据中提取出来,是当前互联网技术中研究的一个重要热点。而情感分析技术正是用来处理和解决此类问题的。本文主要研究基于用户评论的情感分析,从多个方面不同层次来分析用户对于餐厅评论的情感倾向性。细粒度情感分析在近年来也取得了一定的研究进展,在实际中也体现出其应用价值与广阔的应用前景。针对于用户评论的情感分析问题,本文提出了基于注意力机制的情感分析模型和基于BERT的情感分析模型。本文的主要工作如下:1.使用XGBoost算法进行特征提取。利用XGBoost具有对特征排序的特性,对每一个细粒度进行分类任务,得到其特征重要性的排序结果,最终获取到每一个细粒度的方面特征词。2.提出了 BiLSTM-Att-GloVe模型,使用双向长短期记忆网络分别对上下文和特征词进行编码,得到其特征向量表示,然后通过注意力机制得到上下文中不同词对于方面词的注意权重,最后使用Softmax得到文本的情感倾向的概率分布。由于BiLSTM不能实现并行,而且存在梯度问题,又基于注意力机制提出了 Att-Con-GloVe模型,使用多头注意力机制对特征词和文本进行编码,从而提取文本垂直空间特征向量。实验证明Att-Con-GloVe模型效果更好。3.近年来提出的BERT模型在多个领域中位居榜首,因此考虑将其用于本文任务中,主要通过两种方式。一是使用基于BERT的情感分析模型,利用BERT模型的句子级输出,下接情感分析分类任务,通过预训练模型进行微调从而实现细粒度情感分析任务。二是提出了Att-Con-BERT模型,利用BERT的单词级输出,将BERT模型作为文本的词向量嵌入,然后输入基于多头注意力机制和卷积变换的模型中。实验证明基于BERT的模型准确性更高,其中Att-Con-BERT模型效果最好。4.设计并实现基于情感分析的用户评论系统,该系统可以直接调用训练好的情感分析模型,获取用户评论的情感分析结果。