几款开源的中文分词系统

发布时间:2026-09-28 18:10:35 浏览次数:3

下面是几款常用的中文分词系统及其使用攻略:

1. jieba分词

安装

在命令行中使用 pip 直接安装:

pip install jieba

使用

import jiebatext = "今天天气不错"words = jieba.cut(text)print(list(words))# 输出 ['今天', '天气', '不错']

2. FudanNLP分词器

安装

使用 pip 安装命令:

pip install fudannlp

使用

from fudannlp import FudanNLPtext = "今天天气不错"fudannlp = FudanNLP()result = fudannlp.segment(text)print(result)# 输出 [(0, 2, 'nt', '今天'), (2, 4, 'n', '天气'), (4, 6, 'a', '不错')]

3. THULAC

安装

使用 pip 安装命令:

pip install thulac

使用

import thulacthu = thulac.thulac()text = "今天天气不错"result = thu.cut(text, text=True)print(result)# 输出 "今天 天气 不错"
需要做网站?需要网络推广?欢迎咨询客户经理 13272073477