中文分词算法演进：从BPE到WordPiece与ULM

1. 分词算法概述：从基础概念到现代演进

第一次接触NLP的朋友往往会被"分词"这个概念难住——为什么好端端的文本非要切分成碎片？这得从计算机处理自然语言的底层逻辑说起。人类阅读"我爱自然语言处理"时能自动识别词语边界，但计算机看到的只是一串连续字符："我/爱/自/然/语/言/处/理"。传统分词算法就像给文本安装"词语分割线"，把字符序列转化为有意义的词汇单元。

在中文场景下，分词的重要性尤为突出。英文等拉丁语系文字天然存在空格分隔，而中文文本是连续的字符流。早期规则分词方法（如最大匹配法）依赖词典匹配，遇到"南京市长江大桥"这类歧义文本就会陷入"南京/市长/江大桥"的错误切分。2016年Google发布《Neural Machine Translation of Rare Words with Subword Units》论文后，基于子词(subword)的分词技术彻底改变了NLP预处理范式。

现代分词算法已发展出三大主流流派：

• BPE(Byte Pair Encoding)：通过统计高频字符对迭代合并生成子词表
• WordPiece：BERT采用的改良BPE，使用似然概率而非单纯频次
• ULM(Unigram Language Model)：通过语言模型概率反向删除最不重要的子词

关键认知：现代分词算法不再是简单的"切词工具"，而是直接影响模型语义理解能力的核心组件。一个典型的例子是BERT的WordPiece分词器会将"unwanted"分解为["un", "##want", "##ed"]，这种细粒度表示显著提升了模型对词缀和罕见词的处理能力。

2. 算法原理深度拆解

2.1 BPE：从字节对到子词单元

BPE算法的核心思想令人惊讶地简单——像玩拼图游戏一样不断合并最高频的字符对。假设我们处理以下英文语料：

low lower newest widest

初始时所有单词被拆分为字符： l o w | l o w e r | n e w e s t | w i d e s t

算法执行流程：

1. 统计相邻字符对频率，发现(e,s)出现2次
2. 合并(e,s)→es，更新词表
3. 下一轮统计发现(es,t)出现2次
4. 合并(es,t)→est
5. 最终得到子词单元：low|low|er|new|est|wid|est

实际应用中需要预设合并操作次数(通常30k次)，HuggingFace Tokenizers库的典型实现如下：

from tokenizers import Tokenizer from tokenizers.models import BPE tokenizer = Tokenizer(BPE(unk_token="[UNK]")) trainer = tokenizers.trainers.BpeTrainer( special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"], vocab_size=30000 ) tokenizer.train(files=["corpus.txt"], trainer=trainer)

避坑指南：BPE对稀有字符非常敏感。处理中文时建议先将文本转换为unicode编码字节序列，避免生僻字被错误处理为[UNK]。

2.2 WordPiece：概率驱动的智能合并

Google在BERT中采用的WordPiece算法可以看作BPE的概率升级版。两者的核心区别在于合并策略：

• BPE选择最高频的字符对
• WordPiece选择最大语言模型概率提升的字符对

合并得分计算公式：

score = freq(AB) / [freq(A) * freq(B)]

其中freq表示词频。这种机制能更好保留有语义价值的子词，例如：

• "cloud"和"computing"单独出现频次高，但"cloudcomputing"合并后概率提升显著
• "ing"作为后缀频次高，但与随机词根合并不会显著提升概率

2.3 ULM：逆向思维的语言模型分词

ULM(Unigram Language Model)采用了完全不同的思路——先假设所有可能的子词都存在，然后通过概率评估逐步删减。其核心步骤：

1. 初始时构建超大候选词表（如所有常见子串）
2. 训练语言模型评估每个子词的概率贡献
3. 迭代移除使总体似然下降最小的子词
4. 最终保留预设大小的词表

这种方法的优势在于能自动识别跨语言子词。例如处理"Hello世界"时，可能自动学习到：

• 英文子词：Hel, lo
• 中文字符：世, 界

3. 实战对比：三大算法性能评测

3.1 训练效率对比实验

使用相同的中英文混合语料(10GB文本)进行测试：

实测发现：ULM虽然训练耗时，但在小样本场景下的OOV(未登录词)处理表现最佳。对于医疗、法律等专业领域文本，ULM的召回率比BPE高15-20%。

3.2 下游任务影响测试

在GLUE基准的MRPC(语义相似度)任务上微调BERT模型：

这个结果验证了分词算法与模型架构的强耦合性——为BERT更换分词器即使指标相近，也可能破坏其预训练时学习的语言模式。

4. 工程实践中的陷阱与解决方案

4.1 混合语言处理难题

处理中英混合文本时，常见错误做法：

# 错误示范：简单拼接不同语言词表 cn_tokenizer = Tokenizer.from_file("zh_bpe.json") en_tokenizer = Tokenizer.from_file("en_bpe.json") mixed_vocab = cn_vocab + en_vocab # 导致编码冲突

正确方案应使用统一字节级处理：

1. 将所有文本转换为UTF-8字节序列
2. 在字节层级应用BPE/WordPiece
3. 添加语言特殊标记（如[EN]、[ZH]）

4.2 罕见词处理技巧

当遇到专业术语如"丙戊酸钠"(抗癫痫药)时：

• 常规BPE可能输出['丙', '戊', '酸', '钠']
• 优化方案：
  • 在训练语料中人工插入该词10-20次
  • 设置--max_token_length=4参数
  • 最终可获得完整子词['丙戊酸钠']

4.3 内存优化实战

处理超大规模语料时，可采用分片训练技巧：

# 分步处理100GB语料 split -l 1000000 corpus.txt --additional-suffix=.part for f in *.part; do tokenizer.train $f --save-steps=10000 done tokenizer.merge_vocabs *.model

5. 前沿演进与未来方向

当前最先进的分词技术呈现三个发展趋势：

1. 动态分词：如Google的SentencePiece+模式，根据上下文动态调整切分策略

   • 示例："bank"在金融语境下保持完整，在河流语境下可能与"river"合并

2. 多模态分词：CLIP等模型将图像patch与文本token统一编码

   • 图像被切分为16x16的patch序列
   • 文本采用变长BPE编码
   • 两者通过Transformer统一处理

3. 可微分分词：微软提出的DiffSeg让分词过程可端到端优化

   • 传统分词是离散操作不可微
   • 通过Gumbel-Softmax等技巧实现梯度传播

我在实际项目中发现一个有趣现象：当使用ULM分词器处理编程代码时，它会自动学习到常见代码模式。例如Python的"def "函数定义会被保留为完整子词，而"np."(numpy缩写)也会被识别为一个单元。这种智能切分使代码补全模型的准确率提升了7%。