基于语义特征的网络舆情正负面监测

基于语义特征的网络舆情正负面监测

Annie Qi

优捷信达科技研究员

在上一篇《网络舆情正负面信息识别的方法》（详见：http://www.eucita.com/blog）文章中，结合本人在优捷信达科技（http://www.eucita.com）研究工作，为您详细介绍情感分析中与舆情正负面密切相关的“极性分类”。本文将延续上一篇文章的主题，详细描述具体的正负面辨别方式，并分析优缺点，帮助您了解市场上流行“舆情监测”，”口碑监测“，“消费者调研”等信息处理系统的工作原理。

首先回顾上一章的介绍，网络评价和信息的正负面识别，包括优捷信达科技在内的技术领先型舆情口碑监测公司，都是通过极性分类（polarity classification）这一步骤来实现，极性分类首先将具有情感倾向的相关词语提取出来，叫做“特征提取”（feature extraction）。简单来说，如何通过计算机判别正负面，就是通过提取句子中的正负面词语，通过词语的正负面来判断文章的正负面倾向。

到目前为止,基于优捷信达科技的研究调查，目前业内主要特征提取技术分别是“基于语义”和“基于词出现及频率”两种模式。本文将重点讨论基于语义特征的模式，下一章将介绍基于词的出现及其频率的模式，并分别讨论它们的优缺点。

基于语义特征的特征提取模式，也就是根据词语表达的意思，即根据字面意思来辨析句子所表达的正负面。这一方式有三个重要的代表性方法。分别是：人工建构情感词条的方法；PMI-IR 算法(PMI-IR Algorithm)和同义词与反义词方法。

1.  人工建构情感词条

Tetsuya Nasukawa和Jeonghee Yi在2003年提出的特征提取的方法就是基于语义分析方法的原型之一。他们通过识别特定主题词和语气表达式之间的语义关系进行倾向性分析，采用自然语言处理技术分析特定主题和语气词之间的语义关联。具体方法如下：

第一步，他们首先手动构建了一个有3513个词条的情感词汇表。字典中每个词语都包括情感,词性标记和规范形式的情感词，比如（好，词性标记为正面，恶劣，词性标记为负面）。如果收录的情感词是一个动词,只要通过这一动词产生了情感，该动词的宾语也将会被收录（比如：优捷信达科技致力于以高科技产品满足客户需求。如果“致力于”作为一个收录的情感词并标记为正面，那么它所描述的“以高科技产品满足客户需求”就被认定为正面信息）。

第二步,他们使用了一些计算机工具（两个PoS-tags和一个句子结构解析器）,可以识别短语边界和局部依赖性, 比如：针对“我喜欢打球！”这个句子，通过工具可以识别短语边界为“打球”，“喜欢打球“，”我喜欢打球“，并且还可以分析出“打”的对象是“球”，” 喜欢”的对象是” 打球”这种短语之间的依赖关系，针对每一个句子他们只提取一个代表性的情感词，当一个句子中存在多个情感词时，这种方式就不够好用。

第三步，将提取出来的情感词，放到之前人工构建的情感词典里检索，找到情感词典中对应的词语以及它的正负面极性。这样就完成了一个文本片段的情感极性判断。

通过以上方法，他们实验的准确率（精度）大约是75% – 95%,但相对检索内容的查全率（召回率）较低，只有20% – 25%。也就是说，实验检索结果整体是非常准确的，但是也有大量的数据没有抓取到，查全率较低。

因为有来自于手工设定的情感词汇表，这种算法可以分析形容词、副词、名词和动词的情感极性。此外,他们还能理解否定句和被动句。而且，这种方法不仅可以分析情感正负面，还可以提取出正负面所对应的主题。

然而,这个系统也有几个较为明显的弱点。首先，这个系统需要大量的人工操作,当需要针对海量数据进行分析时，人工设定词库的工作量将会非常巨大。第二，尽管它可以解决否定句和被动句,但是在处理更复杂的句法结构，比如双重否定句时，就有可能发生误判。第三，因为查全率较低，该系统不能有效地区分哪些是对客观事物的描述，哪些是主观情感的抒发。导致查全率低的原因是系统的情感词库是由人工输入，而让人工输入全部的情感词是一件不太可能的事情。

2.  PMI-IR 算法(PMI-IR Algorithm)

PMI-IR算法是特尼在2002年设计的，与第一种人工建构情感词条的方法相比，它们特征选取方法基本相同，但是它不涉及太多人工手动工作，并且这一方法可以针对整个篇章进行分类,而不是仅仅针对一小段文字,来提取相关主题的正负面信息。

特尼将PMI-IR算法用于测定词汇的正负面倾向性。他评估了410篇评论，获得了74%的平均精度。他的算法的基本思路是，把情感极性待定的主观词提取出来，拿它和两个情感极性计算“词条距离”。一篇文章最终被归类为哪个情感极性，取决于该文章里面所有形容词性短语和副词性短语的平均“情感倾向分值SO”（semantic orientation）。

具体步骤如下：

首先，特尼对每篇评论文章，都进行词性标注。然后匹配两个相邻词的词性标签，如果他们的词性标签符合一定的规则（详细的规则表格过于复杂，在此不进行详细描述），则提取为一个情感短语。

第二步，将其中的每个情感词都看做一个可统计互信息的点，然后通过点式互信息的计算公式计算出各个情感词和参考词之间的互信息。点式互信息的计算公式如下所示：

第三步，通过下面公式计算，可以得出一个词组”w“的情感倾向分值SO，通过不同的分值，可以判断为正面或者是负面，这样，自动分类过程就做完了。

特尼的这种算法并不需要任何人工标注操作，更为重要的是，由于情感倾向分值SO（w）是一个数值，这个算法不仅能通过数值的正负数来分辨出情感的正负面，而且可以计算出情感强度，数值越高，代表正面情感越强烈。这能很好的帮助客户评估网络舆情正负面信息的强度。优捷信达科技的网络舆情和口碑监测采用这一算法进行辅助评估舆情强度。

然而，由于这种算法需要计算机进行大量计算，需要投入大量的服务器资源。在特尼论文的结论部分，他还指出对电影评论的准确度低于汽车评论。主要原因是，在电影评论中出现的情感表述未必全是针对影片好坏的评价，还有可能是影片情节中的情感，比如喜剧，悲剧带来的不同情绪。这其实是一个评述对象选择的问题，特尼的这种方法不能很好的处理评论对象的选择问题。

3. 同义词与反义词

同义词和反义词方法是Minqing Hu和Bing Liu在2004年提出的算法，这种方法会给每一个通过系统提取出来的主观评价句子或者段落赋予一个情感极性。这种方法将有效地解决了网络负担过重的问题。

首先，当他们在某一句话中发现了情感词，将会通过检查情感词数据库（WordNet）来对这个情感词进行分类，寻找这个词的同义词和反义词,直到他们找到一个词(可能是这个待定情感词的同义词或者反义词)和这个词已知的情感关系。这样，新发现的情感词就被标注为与同义词相同的情感趋势、与反义词相反的情感趋势。比如，通过系统发现一个情感词“溺爱”，通过数据库寻找，发现“喜爱”是“溺爱“的同义词，而数据库中又标注了“喜爱”的情感是正面的，那么可得“溺爱”的情感也是正面的。

第二，与之前描述的两种方法类似,他们还基于句子中出现的情感词所表达的情感倾向性，对每一个句子的极性进行分类。整个句子的语义倾向性是通过简单的加权平均，将整个句子里出现的每一个情感词的语义倾向性进行计算而得出。同上例，句子中出现了“溺爱”，没有出现其他情感词，那么可以认定这个句子从网络舆情来看是正面的。

这种方法的准确率达到56% – 79%,查全率（召回率）能达到67% – 80%。尽管他们只是改进了情感词的抓取算法，而不是情感倾向分值SO的计算方法，但是他们这种方式不需要完整搜索准确的词，而只是通过同义词和反义词来判断正负面，极大地减轻了网络的负担。

以上三种方式的运行原理很简单，就是通过计算机来辨析相关词语的正负面，然后进行统计。但是这种基于语义的方式存在很多无法彻底解决的问题，且工作量较大、实验精度和查全率不够高。基于此，科学界研究出另外一种特征提取方法——基于词条出现规律的特征提取方法。这种特征提取方法忽视了词的语义,而是重点评估出现更高频率的词语的情感极性。尽管这种统计方法看起来不符合我们的直觉,但却由于在处理复杂的句法结构甚至复杂的表达结构的上佳表现，得到了业界越来越多的关注。

对于这种不太容易理解但却表现优异的方法，优捷信达科技将在下一章进行详细描述。您也可以通过访问网站Http：//www.eucita.com 了解详情。