Lucene 实战教程第七章七大分词器 Analyzer 介绍和使用

这一章也不算是什么新的内容了，前面我已经写过两篇关于 Analyzer 的内容了。它们分别是《深入理解 Lucene 的 Analyzer》、《详解 org.apache.lucene.analysis.Analyzer 使用教程》。这篇文章，我们在对七个常用的 Analyzer 做个介绍吧！

为什么要有 Analyzer 呢？

对于 Lucene 而言，不管是索引还是检索，都是针对纯文本而言，对于纯文本的来源可以是 PDF，Word，Excel，PPT，HTML等，Lucene 对此并不关心，只要保证传递给 Lucene 的是纯文本即可。

以我们使用谷歌和百度为例，我们在搜索框里输入内容后，搜索引擎会根据我们输入的内容扯分出关键字。这个过程对 Lucene 来说，就是 Analyzer 分词器的应用场景里。Analyzer 主要是用来构建 TokenStreams。TokenStream 是一个分词后的 Token 结果组成的流，通过流能够不断的得到下一个 Token。这个前面也有介绍，后面还会再来写，本文先略过。

下面我们一起来看看常用的 7 个 Analyzer 吧。

Analyzer 主要是用来构建 TokenStreams。下面我们来看看 WhitespaceAnalyzer，SimpleAnalyzer，StopAnalyzer，StandardAnalyzer，CJKAnalyzer，SmartChineseAnalyzer 这 6 大常用分词器的简单用法。它们分别具有对英文、中文、特殊符号及邮箱等的切分效果。

public class AnalyzerDemo {
    private static final String[] examples = {
        "The quick brown 1234 fox jumped over the lazy dog!", 
        "XY&Z 15.6 Corporation - xttblog@xttblog.com",
        "北京市北京大学"
    };
    private static final Analyzer[] ANALYZERS = new Analyzer[]{
        new WhitespaceAnalyzer(), 
        new SimpleAnalyzer(), 
        new StopAnalyzer(), 
        new StandardAnalyzer(), 
        new CJKAnalyzer(), 
        new SmartChineseAnalyzer()
    };
    @Test
    public void testAnalyzer() throws IOException {
        for (int i = 0; i < ANALYZERS.length; i++) {
            String simpleName = ANALYZERS[i].getClass().getSimpleName();
            for (int j = 0; j < examples.length; j++) {
                TokenStream contents = ANALYZERS[i].tokenStream("contents", examples[j]);
                //TokenStream contents = ANALYZERS[i].tokenStream("contents", new StringReader(examples[j]));
                OffsetAttribute offsetAttribute = contents.addAttribute(OffsetAttribute.class);
                TypeAttribute typeAttribute = contents.addAttribute(TypeAttribute.class);
                contents.reset();
                System.out.println(simpleName + " analyzing : " + examples[j]);
                while (contents.incrementToken()) {
                    String s1 = offsetAttribute.toString();
                    int i1 = offsetAttribute.startOffset();//起始偏移量
                    int i2 = offsetAttribute.endOffset();//结束偏移量
                    System.out.print(s1 + "[" + i1 + "," + i2 + ":" + typeAttribute.type() + "]" + " ");
                }
                contents.end();
                contents.close();
                System.out.println();
            }
        }
    }
}

运行效果我就不贴了，大家自己去看！

： » Lucene 实战教程第七章七大分词器 Analyzer 介绍和使用