1. 背景

之前有一篇文章介绍了计算机领域的分词器词汇词典：点这里传送过去

但这里面只有计算机领域的术语，对于常用中文，比如“吃饭”、“逛街”...等词汇是不包括的。

所以，如果大家需要对日常中文文章或语料做分词，需要用这里的词典。两个词典可以并存，配置到分词器的配置文件中。

2. 下载地址

点我免费下载

词库txt文件一览（49万多个词汇）：

建议：如果你的程序对分词比较敏感，请务必先小范围用少量样本测试试用，看看分词效果是否符合预期，没有问题再放入正式环境。

3. 分词器使用

关于分词器的使用，见本文第一小节的链接，那个链接里面有介绍。

如果你是用的是IKAnalyzer，可以把新的词典加入到配置文件中：IKAnalyzer.cfg.xml

4. 补充说明

尽管该文章以IKAnalyzer为例，但是这个词典是通用的，它的格式是“词汇1\n词汇2\n词汇3\n”，即用回车符分隔的一个个词汇。很多分词器都是通用的。

分词器有很多，大家根据实际需求选择使用。比如：

• IK Analyzer：一款基于Java开发的开源中文分词工具，广泛应用于Elasticsearch和Solr中。
• Ansj：一个高效的Java分词框架，支持多种分词模式如最大匹配、最小切分等。
• Stanford Segmenter：斯坦福大学提供的分词器，基于统计模型和规则，具有较高的准确性。
• FudanNLP分词器：复旦大学自然语言处理小组研发的分词系统。
• jieba分词：Python社区中流行的开源中文分词库，支持精确模式、全模式、搜索引擎模式等多种分词模式。
• LTP（哈工大 Language Technology Platform）分词器：哈尔滨工业大学开发的一套全面的自然语言处理工具包，其中包含高质量的分词模块。
• THULAC：由清华大学自然语言处理与社会人文计算实验室推出的分词和词性标注工具。
• HanLP：由李航团队开发的自然语言处理库，包含高效准确的分词组件。