Python jiba 分词详解程序员

算法实现：

基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法

功能

功能 1)：分词

    jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2）cut_all参数用来控制是否采用全模式
    jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
    注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
    jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(…))转化为list
代码示例( 分词 )

#encoding=utf-8 
import jieba 
seg_list = jieba.cut("我来到北京清华大学", cut_all=True) 
print "Full Mode:", "/ ".join(seg_list)  # 全模式 
seg_list = jieba.cut("我来到北京清华大学", cut_all=False) 
print "Default Mode:", "/ ".join(seg_list)  # 精确模式 
seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式 
print ", ".join(seg_list) 
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式 
print ", ".join(seg_list)

Output:
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
【精确模式】: 我/ 来到/ 北京/ 清华大学
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦    (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

功能 2) ：添加自定义词典

开发者可以指定自己自定义的词典，以便包含jieba词库里没有的词。虽然jieba有新词识别能力，但是自行添加新词可以保证更高的正确率
用法：

jieba.load_userdict(file_name) # file_name为自定义词典的路径

词典格式和dict.txt一样，一个词占一行；每一行分三部分，一部分为词语，另一部分为词频，最后为词性（可省略），用空格隔开
范例：
自定义词典：

云计算 5 
李小福 2 nr 
创新办 3 i 
easy_install 3 eng 
好用 300 
韩玉赏鉴 3 nz

用法示例：

import sys 
import jieba 
jieba.load_userdict("userdict.txt") 
import jieba.posseg as pseg 
 
test_sent = "李小福是创新办主任也是云计算方面的专家;" 
 
words = jieba.cut(test_sent) 
for w in words: 
    print w 
 
result = pseg.cut(test_sent)#词性标注 
for w in result: 
    print w.word, "/",w.flag, ", ", 
 
print "/n========" 
 
terms = jieba.cut('easy_install is great')#带下划线的词会被分割 
for t in terms: 
    print t

之前： 李小福 / 是 / 创新 / 办 / 主任 / 也 / 是 / 云 / 计算 / 方面 / 的 / 专家 /
加载自定义词库后：　李小福 / 是 / 创新办 / 主任 / 也 / 是 / 云计算 / 方面 / 的 / 专家 /
词性标注结果：李小福 / nr ,  是 / v ,  创新办 / i ,  主任 / b ,  也 / d ,  是 / v ,  云计算 / x ,  方面 / n ,  的 / uj ,  专家 / n ,  ; / x 

功能 3) ：关键词提取

jieba.analyse.extract_tags(sentence,topK) #需要先import jieba.analyse

说明

setence为待提取的文本

topK为返回几个TF/IDF权重最大的关键词，默认值为20
代码示例 （关键词提取）

import sys 
sys.path.append('../') 
 
import jieba 
import jieba.analyse 
from optparse import OptionParser 
 
USAGE = "usage: python extract_tags.py [file name] -k [top k]" 
 
parser = OptionParser(USAGE) 
parser.add_option("-k", dest="topK") 
opt, args = parser.parse_args() 
 
 
if len(args) < 1: 
    print USAGE 
    sys.exit(1) 
 
file_name = args[0] 
 
if opt.topK is None: 
    topK = 10 
else: 
    topK = int(opt.topK) 
 
content = open(file_name, 'rb').read() 
 
tags = jieba.analyse.extract_tags(content, topK=topK) 
 
print ",".join(tags)

功能 4) : 词性标注

标注句子分词后每个词的词性，采用和ictclas兼容的标记法
用法示例

>>> import jieba.posseg as pseg 
>>> words = pseg.cut("我爱北京天安门") 
>>> for w in words: 
...    print w.word, w.flag 
... 
我 r 
爱 v 
北京 ns 
天安门 ns

功能 5) : 并行分词

原理：将目标文本按行分隔后，把各行文本分配到多个python进程并行分词，然后归并结果，从而获得分词速度的可观提升
基于python自带的multiprocessing模块，目前暂不支持windows
用法：

jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数 
jieba.disable_parallel() # 关闭并行分词模式

例子：

import urllib2 
import sys,time 
import sys 
sys.path.append("../../") 
import jieba 
jieba.enable_parallel(4) 
 
url = sys.argv[1] 
content = open(url,"rb").read() 
t1 = time.time() 
words = list(jieba.cut(content)) 
 
t2 = time.time() 
tm_cost = t2-t1 
 
log_f = open("1.log","wb") 
for w in words: 
print >> log_f, w.encode("utf-8"), "/" , 
 
print 'speed' , len(content)/tm_cost, " bytes/second"

实验结果：在4核3.4GHz Linux机器上，对金庸全集进行精确分词，获得了1MB/s的速度，是单进程版的3.3倍。

import jieba 
jieba.initialize()  # 手动初始化（可选）

jieba.set_dictionary('data/dict.txt.big')

#encoding=utf-8 
import sys 
sys.path.append("../") 
import jieba 
 
def cuttest(test_sent): 
  result = jieba.cut(test_sent) 
  print " ".join(result) 
 
def testcase(): 
  cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。")                                        

if __name__ == "__main__": 
  testcase() 
  jieba.set_dictionary("foobar.txt") 
  print "================================" 
  testcase()

基于 TF-IDF 算法的关键词抽取 
 
import jieba.analyse 
 
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=()) 
sentence 为待提取的文本 
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20 
withWeight 为是否一并返回关键词权重值，默认值为 False 
allowPOS 仅包括指定词性的词，默认值为空，即不筛选 
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件 
代码示例 （关键词提取） 

import jieba.analyse 
text = "我有一头小毛驴！" 
tags = jieba.analyse.extract_tags(text,3) 
print "基于 TF-IDF 算法的关键词抽取"," / ".join(tags) 

关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径

用法： jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py
关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径

用法： jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py
关键词一并返回关键词权重值示例

用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py

基于 TextRank 算法的关键词抽取

jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例
算法论文： TextRank: Bringing Order into Texts

基本思想:

将待抽取关键词的文本进行分词
以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
计算图中节点的PageRank，注意是无向带权图

使用示例

import jieba.analyse 
text = "我有一头小毛驴！" 
tags = jieba.analyse.textrank(text,3) 
print "基于 TextRank 算法的关键词抽取"," / ".join(tags)