论文部分内容阅读
摘要：随着网络电商的兴起，越来越多的用户在网上对商品进行评价。所谓评价对象与评价词，指的是在产品评论中用户所表达的态度的对象以及所使用的极性词。本文将评价对象与评价词的抽取看做为序列标注任务，并介绍了如何使用循环神经网络解决序列标注任务。同时，还说明了循环神经网络的局限性，并使用LSTM对评价对象与评价词进行抽取。最后，本文还与基于规则的双向传播算法进行了对比。从实验结果可以看出，LSTM在评价对象与评价抽取任务上的性能较双向传播算法来说有非常大的提高。
关键词： 循环神经网络； LSTM模型； 评价对象； 双向传播算法
中图分类号： TP391.4
文献标志码： A
文章编号： 2095-2163（2017）05-0095-03
Abstract： As more and more users do shopping online， product reviews become a big resource for NLP research. Aspects are the opinion targets in the reviews， and the polarities are the attitude of users towards aspects. The paper treats the aspect and polarity words extraction as a sequence labeling task， and introduces how to use Recurrent Neural Network to solve the sequence labeling task. Also， the paper points out the shortcoming of RNN and uses LSTM instead to extract the aspects and polarities. Finally， the results of experiments show that LSTM model can significantly improve the performance in contrast to the Double Propagation algorithm， a rulebased algorithm for aspects and polarities extraction.
0引言
如今随着社交媒体、网上论坛的兴起，以及淘宝、京东等互联网交易方式的流行，越来越多的消费者通过网络论坛、社交网站等途径来表达自己对于所购买的产品的评价。这些大量的产品评论对于消费者和生产厂家来说都是珍贵的参考。对于消费者来说，充分地阅览其他消费者的评价有助于提前了解这一款产品的情况，是对产品印象的重要参考；而对于生产厂家来说，大量准确客观的用户评价可以获得用户对产品意见，更有助于改进产品。
然而，一方面由于评论数量巨大，单靠人的浏览和阅读速度很难系统地整理出所有用户的评价，难以从中有效地提取出有价值的信息；同时另一方面，大量的评论使得人们难以客观准确地对产品之间的评论进行比较。针对目前已经进入的大数据时代，仅仅依靠人力来对大量的数据进行分析是不合适的。在这种情况下，就可以依靠计算机的力量，利用人工智能来解决这个问题。
不过，传统的文本情感分析主要是对句子或篇章进行情感分类，用以自动获得句子、篇章的整体情感极性。但是，文本情感分类无法提取出情感发生的对象，也不能获得真正表达出了情感的词语，在具体的应用上有所限制，而细粒度的情感分析则能够很好地解决这个问题。
而在产品评论领域中，用户的评论经常带有明确的指向，例如针对产品的某一部分或某一功能做出的评价。此时，找出用户评价的明确对象与评价词语就显得尤为重要。
[BT4]1使用LSTM网络抽取评价对象和评价词
对于评价对象和评价词的抽取，目前已经有很多相关的研究工作，主要包括2个方面：基于规则的方法与基于机器学习的方法。
基于规则的方法利用了词法分析及句法分析的结果，通过人为构造一些词性规则与句法规则来实现对评价对象与评价词语的抽取。例如，Qiu[1]提出了一种利用预先制定的规则，通过双向传播算法进行评价对象、评价词语与评价关系的抽取。Liu[2]则在此基础上进行了改进，使用2组不同的句法规则（一组高精确率、一组高召回率）分别对语料进行处理，再利用相似度、词语共现等信息从高召回率的结果中过滤出正确的部分，同时这种方法还采用了Life-long Learning[3]的思想，在预测中提高了模型性能。
此外，还可以将评价对象与评价词的抽取看做是文本序列标注的任务。序列标注将会对句子中的每一个词语打上一个标签，用来表示该词语的性质。例如，如果要对评价对象进行序列标注，输出样例如表1所示。
目前有很多较为成熟的模型，例如隐马尔科夫模型（Hidden Markov Model，HMM）[4]、条件随机场（Conditional Random Field，CRF）[5]、深度神经网络等方法。其中，从Liu[6]进行的深度神经网络实验中可以看出，深度神经网络模型对于序列标注任务有着比CRF更好的性能。同时，基于深度学习的方法对特征依赖较少，不需要太多的领域知识即可得到很好的效果。深度学习模型中的循环神经网络[7]比较适合用来解决序列标注问题。循环神经网络的示意如图1a）所示，将循环神经网络按照时间展开之后的示意如图1b）所示。
图2来自于https：//en.wikipedia.org/wiki/Long_shortterm_memory#/media/File：Long_short_Term_Memory. png。使用LSTM网络进行评价对象和评价词抽取的核心思想是，在判断某一个词语是否为评價对象或评价词时，[JP2]需要充分考虑其前后一定范围（即“窗口”）内的词语。在窗口范围内，将所有词语的词向量（Embedding）[10]作为LSTM的输入；同时最后一个词语的输出和一个采用Sigmoid激活函数的神经元相连接，以达到二元分类的目的。如图 3所示，当需要判断“镜头”一词是否为一个评价对象时，选取其前后的若干词语（此处为前后各2个词）组成的词向量一同作为LSTM模型的输入。[JP] 實验中，评价对象与评价词的抽取使用的数据是校订过的COAE评测语料，包含了手机、相机、汽车和笔记本四个领域。各个领域的语料规模如表2所示。
本文还将与基于规则的双向传播算法[7]进行实验对比。其基本思想是，首先给定一组预定义好的评价词语，以及一批人工定义的句法规则，通过规则扩展评价对象的集合；随后利用新的评价对象词语再次对评价词语集合进行扩展。最终，当评价对象和评价词语的集合均稳定后，算法即停止。例如，给定初始评价词语集合P={“好”，“不错”}，初始评价对象集合T={}，句法规则集合R={“名词主语” “形容词谓语”，“形容词定语” “名词”}，句子集合Q={“XX的手机还真是不错”，“YY是个优秀的手机”}。则第一次传播过后，Q中的第一句满足R中的第一条规则，同时“不错”还在评价词语集合P中，因此“手机”将被加入评价对象集合T中，即T={“手机”}。第二次传播过后，由于Q中的第二句满足R中的第二条规则，并且“手机”在评价对象集合T中，因此“优秀”将被添加至评价词语集合P中，即P={“好”，“不错”，“优秀”}。第三次迭代过后，T和P两个集合都没有发生变化，算法结束。由此，研究通过双向传播算法提取出了“手机”这一评价对象，以及“优秀”这一新的评价词。
[BT4]3实验结果
本文采用精确率、召回率和F值（Precision、Recall、F）对抽取出的评价对象和评价词进行评价。其中，精确率代表正确词语占抽取出的所有词语的比例，召回率代表正确词语占所有标准词语（Ground Truth）的比例，F值为精确率和召回率的调和平均值。
实验结果采用软匹配的方式，即提取出的词包含或被包含于标准词语中即算作正确。评价对象抽取的实验结果如表3所示，评价词抽取的实验结果如表4所示。
从实验结果可以看出，LSTM模型的性能在多数情况下要明显优于双向传播算法。双向传播算法在具体句子的应用上有较大的误差，例如：“好”字在某一句中可能用来修饰“屏幕”，在另一句中可能用来修饰“天气”，第二句中的“好”和“天气”就不是一个合理的产品评价搭配。因此其精确率普遍较低，导致模型整体性能表现欠佳。同时，双向传播算法非常依赖于句法分析的结果，如果句法分析有误的话，将会对传播结果产生较大影响。
4结束语
本文主要研究了循环神经网络以及LSTM网络，并探讨了如何利用循环神经网络解决序列标注任务。随后论述了这种方法的不足与LSTM的改进之处，进而设计提出了利用LSTM对评价对象和评价词进行抽取。最后还通过与双向传播算法进行对比试验，证明了LSTM网络模型在评价对象和评价词的提取任务上有着较好的性能表现。
参考文献
QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics， 2011，37（1）：9-27.
[2] LIU Qian， LIU Bing， ZHANG Yuanlin， et al. Improving opinion aspect extraction using semantic similarity and aspect associations[C]//Proceedings of Thirtieth AAAI Conference on Artificial Intelligence （AAAI-2016）. Phoenix， Arizona， USA：AAAI， 2016：2986-2992.
[3] SILVER D L， YANG Qiang， LI Lianghao. Lifelong machine learning systems： Beyond learning algorithms[C]//AAAI Spring Symposium： Lifelong Machine Learning. Stanford， CA： Stanford University， 2013：49-55.
[4] [JP3]JIN Wei， HO H H. A novel lexicalized HMM-based learning framework for Web Opinion Mining[C]// Proceedings of International[JP] Conference on Machine Learning （ICML）. Montreal， QC， Canada：ACM，2009： 465-472.
[5] JAKOB N， GUREVYCH I. Extracting opinion targets in a single-and cross-domain setting with conditional random fields[C]//EMNLP ’10 Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Cambridge， Massachusetts：ACM，2010： 1035-1045.
[6] LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]// Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal：dblp， 2015： 1433-1443.
[7] ELMAN J L. Finding structure in time[J]. Cognitive Science，1990， 14 （2）： 179-211.
[8] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997，9（8）：1735-1780.
[9] GERS F A， SCHMIDHUBER J， CUMMINS F. Learning to forget： Continual prediction with LSTM[J]. Neural Computation， 2000，12 （10）： 2451-2471.
[10]BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research ， 2003（3）：1137-1155.
关键词： 循环神经网络； LSTM模型； 评价对象； 双向传播算法
中图分类号： TP391.4
文献标志码： A
文章编号： 2095-2163（2017）05-0095-03
Abstract： As more and more users do shopping online， product reviews become a big resource for NLP research. Aspects are the opinion targets in the reviews， and the polarities are the attitude of users towards aspects. The paper treats the aspect and polarity words extraction as a sequence labeling task， and introduces how to use Recurrent Neural Network to solve the sequence labeling task. Also， the paper points out the shortcoming of RNN and uses LSTM instead to extract the aspects and polarities. Finally， the results of experiments show that LSTM model can significantly improve the performance in contrast to the Double Propagation algorithm， a rulebased algorithm for aspects and polarities extraction.
0引言
如今随着社交媒体、网上论坛的兴起，以及淘宝、京东等互联网交易方式的流行，越来越多的消费者通过网络论坛、社交网站等途径来表达自己对于所购买的产品的评价。这些大量的产品评论对于消费者和生产厂家来说都是珍贵的参考。对于消费者来说，充分地阅览其他消费者的评价有助于提前了解这一款产品的情况，是对产品印象的重要参考；而对于生产厂家来说，大量准确客观的用户评价可以获得用户对产品意见，更有助于改进产品。
然而，一方面由于评论数量巨大，单靠人的浏览和阅读速度很难系统地整理出所有用户的评价，难以从中有效地提取出有价值的信息；同时另一方面，大量的评论使得人们难以客观准确地对产品之间的评论进行比较。针对目前已经进入的大数据时代，仅仅依靠人力来对大量的数据进行分析是不合适的。在这种情况下，就可以依靠计算机的力量，利用人工智能来解决这个问题。
不过，传统的文本情感分析主要是对句子或篇章进行情感分类，用以自动获得句子、篇章的整体情感极性。但是，文本情感分类无法提取出情感发生的对象，也不能获得真正表达出了情感的词语，在具体的应用上有所限制，而细粒度的情感分析则能够很好地解决这个问题。
而在产品评论领域中，用户的评论经常带有明确的指向，例如针对产品的某一部分或某一功能做出的评价。此时，找出用户评价的明确对象与评价词语就显得尤为重要。
[BT4]1使用LSTM网络抽取评价对象和评价词
对于评价对象和评价词的抽取，目前已经有很多相关的研究工作，主要包括2个方面：基于规则的方法与基于机器学习的方法。
基于规则的方法利用了词法分析及句法分析的结果，通过人为构造一些词性规则与句法规则来实现对评价对象与评价词语的抽取。例如，Qiu[1]提出了一种利用预先制定的规则，通过双向传播算法进行评价对象、评价词语与评价关系的抽取。Liu[2]则在此基础上进行了改进，使用2组不同的句法规则（一组高精确率、一组高召回率）分别对语料进行处理，再利用相似度、词语共现等信息从高召回率的结果中过滤出正确的部分，同时这种方法还采用了Life-long Learning[3]的思想，在预测中提高了模型性能。
此外，还可以将评价对象与评价词的抽取看做是文本序列标注的任务。序列标注将会对句子中的每一个词语打上一个标签，用来表示该词语的性质。例如，如果要对评价对象进行序列标注，输出样例如表1所示。
目前有很多较为成熟的模型，例如隐马尔科夫模型（Hidden Markov Model，HMM）[4]、条件随机场（Conditional Random Field，CRF）[5]、深度神经网络等方法。其中，从Liu[6]进行的深度神经网络实验中可以看出，深度神经网络模型对于序列标注任务有着比CRF更好的性能。同时，基于深度学习的方法对特征依赖较少，不需要太多的领域知识即可得到很好的效果。深度学习模型中的循环神经网络[7]比较适合用来解决序列标注问题。循环神经网络的示意如图1a）所示，将循环神经网络按照时间展开之后的示意如图1b）所示。
图2来自于https：//en.wikipedia.org/wiki/Long_shortterm_memory#/media/File：Long_short_Term_Memory. png。使用LSTM网络进行评价对象和评价词抽取的核心思想是，在判断某一个词语是否为评價对象或评价词时，[JP2]需要充分考虑其前后一定范围（即“窗口”）内的词语。在窗口范围内，将所有词语的词向量（Embedding）[10]作为LSTM的输入；同时最后一个词语的输出和一个采用Sigmoid激活函数的神经元相连接，以达到二元分类的目的。如图 3所示，当需要判断“镜头”一词是否为一个评价对象时，选取其前后的若干词语（此处为前后各2个词）组成的词向量一同作为LSTM模型的输入。[JP] 實验中，评价对象与评价词的抽取使用的数据是校订过的COAE评测语料，包含了手机、相机、汽车和笔记本四个领域。各个领域的语料规模如表2所示。
本文还将与基于规则的双向传播算法[7]进行实验对比。其基本思想是，首先给定一组预定义好的评价词语，以及一批人工定义的句法规则，通过规则扩展评价对象的集合；随后利用新的评价对象词语再次对评价词语集合进行扩展。最终，当评价对象和评价词语的集合均稳定后，算法即停止。例如，给定初始评价词语集合P={“好”，“不错”}，初始评价对象集合T={}，句法规则集合R={“名词主语” “形容词谓语”，“形容词定语” “名词”}，句子集合Q={“XX的手机还真是不错”，“YY是个优秀的手机”}。则第一次传播过后，Q中的第一句满足R中的第一条规则，同时“不错”还在评价词语集合P中，因此“手机”将被加入评价对象集合T中，即T={“手机”}。第二次传播过后，由于Q中的第二句满足R中的第二条规则，并且“手机”在评价对象集合T中，因此“优秀”将被添加至评价词语集合P中，即P={“好”，“不错”，“优秀”}。第三次迭代过后，T和P两个集合都没有发生变化，算法结束。由此，研究通过双向传播算法提取出了“手机”这一评价对象，以及“优秀”这一新的评价词。
[BT4]3实验结果
本文采用精确率、召回率和F值（Precision、Recall、F）对抽取出的评价对象和评价词进行评价。其中，精确率代表正确词语占抽取出的所有词语的比例，召回率代表正确词语占所有标准词语（Ground Truth）的比例，F值为精确率和召回率的调和平均值。
实验结果采用软匹配的方式，即提取出的词包含或被包含于标准词语中即算作正确。评价对象抽取的实验结果如表3所示，评价词抽取的实验结果如表4所示。
从实验结果可以看出，LSTM模型的性能在多数情况下要明显优于双向传播算法。双向传播算法在具体句子的应用上有较大的误差，例如：“好”字在某一句中可能用来修饰“屏幕”，在另一句中可能用来修饰“天气”，第二句中的“好”和“天气”就不是一个合理的产品评价搭配。因此其精确率普遍较低，导致模型整体性能表现欠佳。同时，双向传播算法非常依赖于句法分析的结果，如果句法分析有误的话，将会对传播结果产生较大影响。
4结束语
本文主要研究了循环神经网络以及LSTM网络，并探讨了如何利用循环神经网络解决序列标注任务。随后论述了这种方法的不足与LSTM的改进之处，进而设计提出了利用LSTM对评价对象和评价词进行抽取。最后还通过与双向传播算法进行对比试验，证明了LSTM网络模型在评价对象和评价词的提取任务上有着较好的性能表现。
参考文献
QIU Guang， LIU Bing， BU Jiajun， et al. Opinion word expansion and target extraction through double propagation[J]. Computational Linguistics， 2011，37（1）：9-27.
[2] LIU Qian， LIU Bing， ZHANG Yuanlin， et al. Improving opinion aspect extraction using semantic similarity and aspect associations[C]//Proceedings of Thirtieth AAAI Conference on Artificial Intelligence （AAAI-2016）. Phoenix， Arizona， USA：AAAI， 2016：2986-2992.
[3] SILVER D L， YANG Qiang， LI Lianghao. Lifelong machine learning systems： Beyond learning algorithms[C]//AAAI Spring Symposium： Lifelong Machine Learning. Stanford， CA： Stanford University， 2013：49-55.
[4] [JP3]JIN Wei， HO H H. A novel lexicalized HMM-based learning framework for Web Opinion Mining[C]// Proceedings of International[JP] Conference on Machine Learning （ICML）. Montreal， QC， Canada：ACM，2009： 465-472.
[5] JAKOB N， GUREVYCH I. Extracting opinion targets in a single-and cross-domain setting with conditional random fields[C]//EMNLP ’10 Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Cambridge， Massachusetts：ACM，2010： 1035-1045.
[6] LIU Pengfei， JOTY S， MENG H. Fine-grained opinion mining with recurrent neural networks and word embeddings[C]// Conference on Empirical Methods in Natural Language Processing. Lisbon， Portugal：dblp， 2015： 1433-1443.
[7] ELMAN J L. Finding structure in time[J]. Cognitive Science，1990， 14 （2）： 179-211.
[8] HOCHREITER S， SCHMIDHUBER J. Long short-term memory[J]. Neural Computation， 1997，9（8）：1735-1780.
[9] GERS F A， SCHMIDHUBER J， CUMMINS F. Learning to forget： Continual prediction with LSTM[J]. Neural Computation， 2000，12 （10）： 2451-2471.
[10]BENGIO Y， DUCHARME R， VINCENT P， et al. A neural probabilistic language model[J]. Journal of Machine Learning Research ， 2003（3）：1137-1155.