基于注意力机制的aspect级别的情感分类

在情感分析中,aspect级别的情感分析是一个细粒度的任务。Aspect信息对情感分类任务至关重要,尤其是现在互联网上海量评论数据更加客观、更加多角度的情况下,准确把握用户对产品的各个aspect的情感态度,对企业改良产品、消费者选择产品、政府准确把握舆情,都具有重要的意义。

清华大学计算机系人工智能实验室朱小燕教授课题组在自然语言处理的顶级会议EMNLP2016上发表长文《Attention-based LSTM forAspect-level Sentiment Classification》(作者:王业全、黄民烈、赵立、朱小燕),提出了一种基于注意力机制(Attention Mechanism)的神经网络模型。论文使用注意力机制注意到文本中对给出的aspect最重要的部分,从而更充分地考虑文本对应的aspect信息,提高细粒度情感分类任务的性能。我们将该模型应用到了显性属性极性分类(Aspect-level Classification)和显性属性词极性分类(Aspect-Term-level Classification)两个任务中,取得了显著的性能提升。

由于aspect信息的重要性,我们的模型将aspect信息用于两个地方。一是在LSTM网络的输入端,将aspectembedding加入到输入词向量之后,使输入信息更加丰富;二是与将aspectembedding扩展为一个矩阵,并与隐层的表示矩阵拼接,从而使得根据这些信息获取的注意力机制能针对aspect获取针对当前aspect有效的信息。图1展示了模型的结构图。

                            

图1:基于注意力机制的aspect嵌入LSTM的结构图

为了更加直观的展示我们的注意力机制,我们将图1中attention的具体数值提取出来,并用热力图的形式进行了可视化展示。图2(a)的aspect是“服务”,“fastest delivery times是多义词,然而我们的模型可以正确注意到其对aspect为“服务”时的重要性(表现为红色特别深)。图2(b)则说明我们的注意力机制可以在多个重点词出现的时候同时注意到多个重点词汇(“tasteless”和“too sweet”均是深蓝色)。


图2:注意力的可视化

正因为前面机制的改进,我们的方法获取了很好的效果。我们可以从以下几个例子来表现前文所叙述机制的优势。图3是我们从测试集中找出来的一些结果,这些结果不能很好地被其他模型识别。3(a)表现出我们的模型可以成功识别包含多个aspect的不同情感倾向的句子;3(b)不仅能表现出我们的模型可以识别多个重点部分,而且没有被否定词“not”误导,具有鲁棒性;对于比较短的句子,依赖语法树的方法可能会有比较好的效果,但是对于长难句,依赖句法树的方法往往比较差强人意。3c)则说明我们的模型可以在长难句上也有比较好的表现。


图3:情感分类结果示例展示

 

情感分类的任务是及其复杂的,类似于“能穿多少穿多少”的问题对于现在的模型来说,仍然很难分析意图所在。我们的模型是在细粒度情感分析上的一个探索,在未来的工作中,我们将会试图把句子中给出的aspect信息删除,设计出一个可以直接将aspect以及对应的情感信息同时分析出的模型,以期获得更好的突破与应用。