1. 背景

分词器的应用十分广泛，西方语言的分词器只需要按照空格和标点符号来划分，但中文的分词，就需要维护词典。

现在已经有很多非常好用的中文分词器，大家都是基于词典进行分词。但是词典一般是常用词的词典，如果你的文章领域是计算机领域，可能就需要自己扩充词典。

比如“合并排序树”，在计算机领域可以作为一个单独的词，但使用未加载计算机词典的分词器可能就会分词为——二叉、排序、树。但有的时候我们也想让它作为一个独立的词出现，这样可能会在搜索逻辑中会获得更高的匹配得分，或有其它的更多用途。

2. 下载地址

点我免费下载

改词典是站长用ai训练并整理的，这一版本包含6万多个计算机领域的词汇，能为你的工作带来一些帮助，非常高兴！

但可能也有些不属于计算机领域的词汇被误整理了进去，但对分词逻辑应该是无害的。

词库txt文件一览（60721个词汇）：

建议：如果你的程序对分词比较敏感，请务必先小范围用少量样本测试试用，看看分词效果是否符合预期，没有问题再放入正式环境。

3. java示例

这里用IKAnalyzer举例，IKAnalyzer的示例网上有很多，这里简要描述。

3.1 依赖下载

这里提供一个阿里云的仓库，你可以搜索并下载得到对应dependency的坐标并引入到你的pom.xml里面：

阿里云仓库：https://developer.aliyun.com/mvn/search

    <dependency>
        <groupId>com.janeluo</groupId>
        <artifactId>ikanalyzer</artifactId>
        <version>2012_u6</version>
    </dependency>

初次以外，你还要引入一个lucene的依赖：

    <dependency>
      <groupId>org.apache.lucene</groupId>
      <artifactId>lucene-core</artifactId>
      <version>3.6.0</version>
    </dependency>

3.2 java代码

public static void cut(String text) throws IOException {
    List terms = new ArrayList();
    try (StringReader sr = new StringReader(text)) {
      IKSegmenter ik = new IKSegmenter(sr, false);
      Lexeme lex = null;
      while ((lex = ik.next()) != null) {
        terms.add(lex.getLexemeText());
      }
    }
    System.out.println(JSON.toJSONString(terms));
  }

用main函数或你代码中的上游逻辑调用上述cut代码，即可输出分词结果。

3.3 加入新的词典

你需要在classpath下面引入IKAnalyzer的配置文件：IKAnalyzer.cfg.xml

并把上边下载好的词典引入进去，如下图：

3.4 切换分词模式

熟悉IKAnalyzer的朋友都知道它有两个分词模式：ik_max_word和ik_smart

在3.2的代码中可以用“new IKSegmenter(sr, false)”的第二个参数做切换，为true则是ik_smart，为false则是ik_max_word。

4. 效果对比测试

这里对下面两个字符串做分词效果测试：

String text1 = "阿姆斯里克数据处理查询解析引擎";

String text2 = "基于java语言开发的轻量级的中文分词工具包";

4.1 未引入新词典的分词效果

4.2 引入新词典的分词效果

上图可以看到，比如“查询解析引擎”、“中文分词工具包”这类的词已经被分词器切割出来了，这在没有新词典的情况下是无法完成的。

5. 补充说明

尽管该文章以IKAnalyzer为例，但是这个词典是通用的，它的格式是“词汇1\n词汇2\n词汇3\n”，即用回车符分隔的一个个词汇。很多分词器都是通用的。

文章是原创的，词典是站长整理的，如有转载，请注明出处，表示感谢！