目录
一、先搞懂：中文分词的核心难点
二、核心原理一：前缀词典与Trie树——快速匹配可能词语
1. 前缀词典：存储所有可能的词语
2. Trie树：高效的前缀匹配结构
二、核心原理二：DAG图+动态规划——选出最优分词路径
1. 构建DAG：枚举所有可能的分词方案
2. 动态规划：求解最大概率路径
三、核心原理三：HMM模型——解决未登录词问题
1. HMM的核心思想：将分词转化为序列标注
2. 模型训练：基于大规模语料的参数学习
四、jieba的三种分词模式：适配不同场景
1. 精确模式（默认）
2. 全模式
3. 搜索引擎模式
五、总结：jieba分词的核心逻辑闭环
在中文自然语言处理（NLP）的世界里，“分词”是所有上层应用的基石——无论是文本分析、搜索引擎优化，还是情感识别、机器翻译，都离不开将连续汉字序列切分成有意义词语的过程。而jieba（结巴）分词，作为Python生态中最受欢迎的中文分词工具，凭借高效、精准、易用的特性，成为了开发者的首选。
你可能早已熟练使用jieba.cut()完成分词任务，但你是否好奇：它为何能精准识别“中华人民共和国”这样的长词？如何处理“乒乓球拍卖完了”这类歧义句？又能精准捕捉到“内卷”“躺平”等网络新词？今天，我们就深入jieba的底层，拆解其核心实现原理。
一、先搞懂：中文分词的核心难点
在聊jieba之前，我们先明确中文分词的特殊性——这也是jieba需要特殊设计的根本原因：
无天然分隔符：英文用空格分隔词语，而中文是连续字符，比如“我爱自然语言处理”，肉眼能分清边界，但机器需要算法判断；
歧义普遍存在：同一字符串可能有多种切分方式，比如“乒乓球拍卖完了”可拆为“乒乓球/拍卖/完了”或“乒乓/球拍/卖完了”；
未登录词问题：网络流行语、专业术语（如“大模型”“区块链”）不断涌现，无法被预定义词典完全覆盖。
jieba的核心智慧，就在于融合了“基于词典的规则匹配”和“基于统计的模型预测”，既保证了常规分词的高效准确，又解决了歧义与未登录词难题。
二、核心原理一：前缀词典与Trie树——快速匹配可能词语
jieba分词的第一步，是找出句子中所有可能的词语。这一步的核心依赖两个关键组件：前缀词典和Trie树（字典树）。
1. 前缀词典：存储所有可能的词语
jieba内置了一个包含约35万个词条的词典（dict.txt），每个词条包含“词语+词频+词性”三部分，比如“北京 1000 n”（n表示名词）。这里的“词频”来自大规模中文语料的统计，是后续判断分词优先级的关键。
但jieba并没有简单地用列表或普通字典存储这些词条，而是构建了前缀词典——简单说，就是包含所有词语前缀的词典。比如“北京大学”，其前缀包括“北”“北京”“北京大”“北京大学”，这些都会被收录到词典中。
2. Trie树：高效的前缀匹配结构
为了快速查找前缀，jieba用Trie树（字典树）来组织前缀词典。Trie树的结构非常巧妙，每个节点存储一个汉字，从根节点到叶子节点的路径就构成一个完整的词语，词语的结束位置用特殊标记（如“##”）标识。
举个例子，“北京”和“北京大学”在Trie树中的存储结构如下（简化为嵌套字典）：
{ "北": { "京": { "##": (词频=1000, 词性="n"), # 标记"北京"是完整词语 "大": { "学": { "##": (词频=500, 词性="n") # 标记"北京大学"是完整词语 } } } } }这种结构的优势在于：只需顺着字符链遍历一次，就能快速判断当前字符串是否为词典中的词语或前缀。比如处理“北京大学很美”时，从“北”开始遍历，能一次性找到“北京”“北京大学”两个完整词语，匹配效率远超普通字典的逐个查找。
二、核心原理二：DAG图+动态规划——选出最优分词路径
通过Trie树匹配后，我们会得到句子中所有可能的词语组合。但如何从这些组合中选出最符合语义的最优方案？这就需要有向无环图（DAG）和动态规划的配合。
1. 构建DAG：枚举所有可能的分词方案
DAG的核心作用是“枚举所有可能的分词边界”。我们把句子的每个字符位置当作节点（比如“我来到北京清华大学”的位置0到9），如果从位置i到j的字符构成一个词语，就画一条从i指向j的有向边。
以“我来到北京清华大学”为例，其DAG结构简化如下：
0 → 1（"我"）
1 → 2（"来"）、1 → 3（"来到"）
3 → 4（"北"）、3 → 5（"北京"）
5 → 6（"清"）、5 → 7（"清华"）、5 → 9（"清华大学"）
7 → 8（"大"）、7 → 9（"大学"）
这个DAG图清晰地展示了所有可能的分词组合，比如“我→来→到→北京→清华→大学”或“我→来到→北京→清华大学”。
2. 动态规划：求解最大概率路径
有了所有可能的路径，接下来就是选择“最优路径”。jieba的判断标准是“概率最大”——即分词结果中所有词语的联合概率最高（词频越高的词语，概率越大）。
动态规划的核心思路是“倒推计算最优分数”：从句子末尾（最后一个字符位置）开始，向前计算每个位置到句尾的最大概率分数。递推公式如下：
$$P(w_1, w_2, \dots, w_n) = \prod_{i=1}^{n} P(w_i | w_{i-1})$$
其中<inline_LaTeX_Formula>P(w_i | w_{i-1})<\inline_LaTeX_Formula>表示词<inline_LaTeX_Formula>w_i<\inline_LaTeX_Formula>在词<inline_LaTeX_Formula>w_{i-1}<\inline_LaTeX_Formula>后的条件概率（可通过词频统计得到）。
简单来说，就是对于每个位置i，遍历所有从i出发的边（即所有可能的词语），计算选择该词语后的总概率，保留最大概率对应的路径。最终从位置0到句尾的最大概率路径，就是最优分词结果。
比如处理“我爱自然语言处理”时，动态规划会判断“自然语言”作为一个词的概率，远高于“自然”+“语言”的组合概率，因此会优先选择“自然语言”作为分词结果。
三、核心原理三：HMM模型——解决未登录词问题
通过词典匹配+动态规划，jieba能处理大部分常规词语，但面对“未登录词”（如网络新词“内卷”、专业术语“大语言模型”），词典中没有对应的词条，上述方法就失效了。这时，隐马尔可夫模型（HMM）就派上了用场。
1. HMM的核心思想：将分词转化为序列标注
jieba将未登录词识别转化为“序列标注问题”，定义了4种隐藏状态：
B：词语的开始位置（Begin）；
M：词语的中间位置（Middle）；
E：词语的结束位置（End）；
S：单个字符的词语（Single）。
比如“内卷”对应的标注是“BE”，“大语言模型”对应的标注是“BMME”，“我”对应的标注是“S”。
HMM的核心是通过“状态转移概率”（如B后面接M的概率）和“发射概率”（如状态B对应“内”字的概率），结合Viterbi算法，从字符序列中推断出最优的状态序列，进而识别出未登录词。
2. 模型训练：基于大规模语料的参数学习
jieba的HMM模型参数（状态转移概率、发射概率）并非凭空设定，而是通过大规模标注语料训练得到的。训练数据中包含了大量未登录词的标注实例，模型通过学习这些实例，具备了识别新词的能力。
比如当处理“内卷时代到来”时，词典中没有“内卷”，但HMM模型通过字符“内”“卷”的组合特征，推断出“BE”标注，从而将“内卷”识别为一个完整的词语。
四、jieba的三种分词模式：适配不同场景
基于上述核心原理，jieba提供了三种分词模式，以满足不同场景的需求：
1. 精确模式（默认）
最常用的模式，试图将文本精确切分，不产生冗余词语，适合文本分析、情感识别等场景。调用方式：jieba.cut(text, cut_all=False)。
import jieba text = "我爱自然语言处理" print(list(jieba.cut(text, cut_all=False))) # 输出：['我', '爱', '自然语言', '处理']2. 全模式
将文本中所有可能的词语都切分出来，速度快但存在冗余，适合对速度要求高、无需精准去重的场景（如关键词初步筛选）。调用方式：jieba.cut(text, cut_all=True)。
print(list(jieba.cut(text, cut_all=True))) # 输出：['我', '爱', '自然', '自然语言', '语言', '处理']3. 搜索引擎模式
在精确模式的基础上，对长词再次切分，适合搜索引擎构建倒排索引，帮助用户快速匹配相关内容。调用方式：jieba.cut_for_search(text)。
print(list(jieba.cut_for_search(text))) # 输出：['我', '爱', '自然', '语言', '自然语言', '处理']五、总结：jieba分词的核心逻辑闭环
看到这里，你应该能理清jieba的完整分词流程了：
加载前缀词典，构建Trie树；
对输入文本进行前缀匹配，构建DAG图（枚举所有可能分词方案）；
通过动态规划求解DAG中的最大概率路径，得到基础分词结果；
对结果中的未登录词，使用HMM模型+Viterbi算法进行补充识别；
根据选择的分词模式，输出最终结果。
jieba的成功，在于它没有拘泥于单一算法，而是将“词典规则”与“统计模型”巧妙融合——用Trie树保证匹配效率，用动态规划保证分词精度，用HMM模型弥补未登录词的不足。这种工程化的设计思路，让它在性能和效果之间取得了极佳的平衡。
如果你在使用jieba时遇到分词不准的问题，不妨从其原理出发：专业术语漏分就添加自定义词典，歧义句切分错误可调整词频权重，这些都是基于其核心原理的实用优化技巧。快去动手实践，感受分词原理在实际场景中的应用吧！
