ElasticSearch集成IK分词器


IK分词器简介

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初,它是以开源项目Lucene为应用主体的,结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。

IK分词器3.0的特性如下:

  • 1)采用了特有的“正向迭代最细粒度切分算法“,具有60万字/秒的高速处理能力。
  • 2)采用了多子处理器分析模式,支持:英文字母(IP地址、Email、URL)、数字(日期,常用中文数量词,罗马数字,科学计数法),中文词汇(姓名、地名处理)等分词处理。
  • 3)对中英联合支持不是很好,在这方面的处理比较麻烦.需再做一次查询,同时是支持个人词条的优化的词典存储,更小的内存占用。
  • 4)支持用户词典扩展定义。
  • 5)针对Lucene全文检索优化的查询分析器IKQueryParser;采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。

当我们创建索引时,字段使用的是标准分词器,所以在查询的时候时常出现问题,所以下面介绍一下分词器

  • Standard 标准分词:默认的,如果是英文按单词切分,并且会转化成小写,如果是中文的话,则按一个词切分。
#默认分词器测试
POST _analyze
{
 "analyzer": "standard",
 "text": "A man becomes learned by asking questions."
}

POST  _analyze
{
  "analyzer": "standard",
  "text":"我是中国人"
}

image

ElasticSearch集成IK分词器

IK分词器的安装

1)下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases

注意:下载时一定要下载与当前ES版本一致的分词器版本,免得出现一些其他问题。

2)解压,将解压后的elasticsearch-analysis-ik-7.17.3文件夹拷贝到elasticsearch-7.17.3/plugins下,并重命名文件夹为ik。

image

3)重新启动ElasticSearch,即可加载IK分词器。

cd /usr/local/elasticsearch-7.17.3/bin/
#启动命令
./elasticsearch

#后台启动命令
./elasticsearch -d

IK分词器测试

IK提供了两个分词算法ik_smart 和 ik_max_word

  • ik_smart:为最少切分
  • ik_max_word:为最细粒度划分

我们分别来试一下:

1)最小切分:

#分词器测试ik_smart
POST  _analyze
{
    "analyzer":"ik_smart",
    "text":"我是中国人"
}

输出的结果为:

image

2)最细切分:

#分词器测试ik_max_word
POST _analyze
{
  "analyzer":"ik_max_word",
  "text":"我是中国人"
}

输出的结果为:

image

原创文章,作者:wure,如若转载,请注明出处:https://blog.ytso.com/267193.html

(0)
上一篇 2022年6月14日
下一篇 2022年6月14日

相关推荐

发表回复

登录后才能评论