Analyzer（分词器）的作用是把一段文本中的词按规则取出所包含的所有词。对应的是Analyzer类，这是一个抽象类，切分词的具体规则是由子类实现的，所以对于不同的语言（规则），要用不同的分词器。如下图

 

 注意：在创建索引时会用到分词器，在使用字符串搜索时也会用到分词器，这两个地方要使用同一个分词器，否则可能会搜索不出结果。所以当改变分词器的时候，需要重新建立索引库

中文的分词比较复杂，因为不是一个字就是一个词，而且一个词在另外一个地方就可能不是一个词，如在“帽子和服装”中，“和服”就不是一个词。对于中文分词，通常有三种方式：单字分词、二分法分词、词典分词

就是按照中文一个字一个字地进行分词，效率比较低。如：“我们是中国人”，效果：“我”、“们”、“是”、“中”、“国”、“人”。（StandardAnalyzer就是这样）

Analyzer analyzer2 = new StandardAnalyzer();

按两个字进行切分，把相邻的两个字组成词分解出来，效率也比较低。而且很多情况下分的词不对。如：“我们是中国人”，效果：“我们”、“们是”、“是中”、“中国”、“国人”。（CJKAnalyzer就是这样）

Analyzer analyzer3 = new CJKAnalyzer(Version.LUCENE_30);

按某种算法构造词，然后去匹配已建好的词库集合，如果匹配到就切分出来成为词语。通常词库分词被认为是最理想的中文分词算法。如：“我们是中国人”，效果为：“我们”、“中国人”。（使用极易分词的MMAnalyzer。可以使用“极易分词”，或者是“庖丁分词”分词器、IKAnalyzer）。

Analyzer analyzer4 = new IKAnalyzer();

基本上可以把词分出来(经常用的分词器)

 

  1.         <!-- IK分词器-->
  2.         <dependency>
  3.             <groupId>com.github.magese</groupId>
  4.             <artifactId>ik-analyzer</artifactId>
  5.             <version>7.4.0</version>
  6.         </dependency>

 

停用词和扩展词以及配置文件

 

ext_stopword.dic为停用词的词库，词库里的词都被当作为停用词使用。

ext_dict.dic 为扩用词的词库，词库里的词都被当作为扩用词使用。

停用词：有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。停用词经常被过滤掉，不会被进行索引。在检索的过程中，如果用户的查询词中含有停用词，系统会自动过滤掉。停用词可以加快索引的速度，减少索引库文件的大小。

扩展词：就是不想让哪些词被分开，让他们分成一个词。比如传智播客、传智

IKAnalyzer.cfg.xml为IKAnalyzer的配置文件。

 

添加测试类

代码如下：

  1. import org.apache.lucene.analysis.Analyzer;
  2. import org.apache.lucene.analysis.TokenStream;
  3. import org.apache.lucene.analysis.cjk.CJKAnalyzer;
  4. import org.apache.lucene.analysis.standard.StandardAnalyzer;
  5. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
  6. import org.junit.Test;
  7. import org.wltea.analyzer.lucene.IKAnalyzer;
  9. import java.io.IOException;
  10. import java.io.StringReader;
  12. /**
  13.  * @author PC-Black
  14.  * @version v1.0
  15.  * @date 2019/7/20 18:39
  16.  * @description TODO
  17.  **/
  18. public class AnalayzerTest {
  19.     @Test
  20.     public void testIKAnalyzer()throws IOException {
  21.         //使用lucene 自带的标准分词器...
  22.         IKAnalyzer analyzer = new IKAnalyzer();
  23. //        Analyzer analyzer=new CJKAnalyzer();
  24. //        Analyzer analyzer=new StandardAnalyzer();
  25.         analyzer(analyzer,"最贵的苹果4");
  26.     }
  28.     public static void analyzer(Analyzer analyzer, String str) throws IOException {
  29.         StringReader reader = new StringReader(str);
  30.         //处理单个字符组成的字符流，读取Reader对象中的数据，处理后转换成词汇单元
  31.         TokenStream tokenStream = analyzer.tokenStream(str, reader);
  32.         // 清空流
  33.         try {
  34.             tokenStream.reset();
  35.         } catch (IOException e) {
  36.             e.printStackTrace();
  37.         }
  38.         CharTermAttribute attribute = tokenStream.getAttribute(CharTermAttribute.class);
  39.         try {
  40.             while (tokenStream.incrementToken()) {
  41.                 System.out.print(attribute.toString()+"|");
  42.             }
  43.         } catch (IOException e) {
  44.             e.printStackTrace();
  45.         }
  46.     }
  47. }

 

单字分词器

 

二分法分词

 

IK分词

 

版权声明：本文为yuanke-blog原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/yuanke-blog/p/11218851.html