spaCy词形还原原理与实战：从词干提取到自定义规则

1. 先搞清楚：词形还原到底在做什么

1.1 一个例子看清词形还原和词干提取的区别

学习NLP第22天，我决定把spaCy的词形还原彻底搞明白。说实话，在接触spaCy之前，我一直分不清“词形还原”（Lemmatization）和“词干提取”（Stemming），总觉得这俩都是在“把词变短”。直到自己动手跑了一遍，才意识到它们在思路上完全不同。

举个例子，一组英文单词：run、ran、running、runs。

• 词干提取会把它们都砍成run或者runn，取决于算法是Porter还是Lancaster。它不管单词在句子里的意思，纯粹按规则切尾巴。
• 词形还原则会根据词性（POS）和上下文，把它们都映射到词典里的原形run。注意，ran是过去式，还原结果依然是run，但running如果出现在“a running track”里，它可能是形容词，还原结果就会是running而不是run。

这就是最核心的区别：词形还原是“有词典、看词性、考虑语境”的，词干提取是“机械切分、不关心语法”的。简单粗暴地记：词干提取是物理切割，词形还原是查字典归位。

再举一个更直观的对比：

better还原成well，是因为在词典里better是well的比较级；went还原成go，是因为它是go的过去式。这类不规则变化，词干提取完全处理不了，只能靠词形还原的词典映射。

1.2 为什么NLP流程里需要词形还原

很多人会问：我在做文本分类、情感分析的时候，不还原也能跑，为什么还要多此一举？

因为词形还原能显著降低词汇空间的稀疏性。假设你有一个100万条的英文评论数据集，里面同时出现good、better、best。如果不做还原，模型会把这当成三个完全独立的特征；如果做了还原，这三个词归并成两个甚至一个特征，特征维度降下来了，训练数据的使用效率也上来了。尤其在传统机器学习流程（TF-IDF + 线性模型）里，还原后模型的泛化能力通常会有肉眼可见的提升。

词形还原还有一个不可替代的作用：它让下游任务更容易理解语义。比如做知识图谱关系抽取，你需要把“He was running”和“He runs”的谓词统一成同一个原形，才能正确合并事实。做问答系统时，用户问“What did she buy?”，文档里写的是“She bought...”，你也要把bought还原成buy，才能匹配上。没有词形还原，这些场景都得靠笨拙的字符串匹配。

当然，词形还原不是万能的。它对中文基本用不上（中文几乎没有形态变化），对英文和欧语系语言最有效。我目前专注英文，所以spaCy这套流程正好够用。

2. spaCy的词形还原是怎么实现的

2.1 从管道组件认识Lemmatizer

spaCy的架构非常清晰：加载一个模型后，文本会依次经过一系列“管道组件”，比如分词器（Tokenizer）、词性标注器（Tagger）、依存句法分析器（Parser）、命名实体识别器（NER），以及我们今天的主角——词形还原器（Lemmatizer）。

你可以把管道想象成一条流水线。分词器先把“This is a test.”切成["This", "is", "a", "test", "."]；词性标注器给每个token打上标签，比如PROPN、AUX、DET、NOUN、PUNCT；然后Lemmatizer拿着这些词性标签，去查词典或套规则，最后把结果写到token的lemma_属性里。

在spaCy 3.x里，Lemmatizer并不是单独一个模型，而是一套由“查表”和“规则”组成的组件。更准确地说，spaCy的英文模型里默认集成了两套词形还原机制：基于查找表（Lookup）的静态映射，以及基于规则（Rules）的形态分析。你可以通过nlp.pipeline查看实际的组件列表，我加载en_core_web_sm后打印出来大概是：

import spacy nlp = spacy.load("en_core_web_sm") print(nlp.pipeline) # [('tok2vec', ...), ('tagger', ...), ('parser', ...), ('attribute_ruler', ...), ('lemmatizer', ...)]

注意，lemmatizer排在tagger和parser之后。这个顺序是有讲究的：Lemmatizer需要词性标签才能做正确判断。比如saw作为动词时还原成see，作为名词时还原成saw（锯子）。如果没有词性信息，Lemmatizer只能瞎猜。

2.2 词形还原背后的词典与规则：WordNet、词形查找表、规则后缀

spaCy英文词形还原的底层，大致有三层信息来源。

第一层是“词汇查找表”。spaCy从一些公开词形表中直接读取“原形 → 变形”的映射。比如went -> go、mice -> mouse、children -> child。这一层处理不规则变化特别有效，因为不规则变化没法推导，只能硬记。

第二层是“规则后缀变化”。比如-ing结尾的动词，大多数情况下要去掉ing再加e或变成其他形式：running -> run、making -> make、taking -> take。spaCy内置了一套类似“形容词/动词后缀规则”的处理器，结合词性标签，在查找表没有命中时进行推断。

第三层是“外部词典资源”，最典型的就是WordNet。很多人不清楚，spaCy默认并不强制使用WordNet，但它的规则设计思路和WordNet里“词形-原形”的映射很相近。如果你安装了spacy[lookups]扩展，模型会加载更完整的查找表数据，覆盖更多词汇。

用一个生活化的类比：查找表就是一本“不不规则动词手册”，规则后缀就是英语语法课上的“动词变化规律”，而词性标签就是你判断该用哪条规则的前提。三者缺一不可。

需要注意，spaCy的Lemmatizer和NLTK里的WordNetLemmatizer有个关键不同：NLTK需要你自己给每个词指定词性，比如你必须调用wn.lemmatize("running", pos="v")，不给就默认按名词处理，结果很可能就是running而不是run。而spaCy的pipeline已经帮你把词性标好了，你直接用token.lemma_就行，不需要手动传词性。这一点极大降低了使用门槛。

3. 动手实践：spaCy英文词形还原的完整操作

3.1 安装与加载模型

先装spaCy和英文模型。我用的是Python 3.10环境，直接pip安装：

pip install spacy python -m spacy download en_core_web_sm

这里要提醒一句：en_core_web_sm是小型模型，速度最快，但词表覆盖相对小，有些生僻词可能还原不出来。如果你对效果要求高，可以换en_core_web_md或en_core_web_lg。我实际测试下来，在处理普通新闻文本时，sm和lg的词形还原差距没有想象中大；但如果遇到很多专业术语或人名地名，lg的查找表更全，效果会更稳。

加载模型时，可以直接用名字：

import spacy nlp = spacy.load("en_core_web_sm")

也可以用spacy.load("en_core_web_sm", disable=["ner"])禁用不必要的组件来提速。因为词形还原只依赖tagger和parser提供的词性信息，NER可以关掉，推理速度会快不少。

3.2 基础用法：token.lemma_ 与属性

现在来看最简单的调用。我写了一个小函数，把一句话里每个token的原形、词性、以及原始形式打出来：

import spacy nlp = spacy.load("en_core_web_sm") text = "The children were running faster than their teachers expected." doc = nlp(text) for token in doc: print(f"{token.text:12} -> {token.lemma_:12} {token.pos_}")

输出结果大致如下：

The -> the DET children -> child NOUN were -> be AUX running -> run VERB faster -> fast ADJ than -> than ADP their -> their PRON teachers -> teacher NOUN expected -> expect VERB . -> . PUNCT

这里有几个值得注意的点：

• The的首字母大写了，但lemma_里还原成小写the。这说明spaCy默认会把冠词、代词等大写形式归一到小写。
• were还原成be，这是不规则动词，靠查找表。
• faster还原成fast，说明比较级的还原也被处理了。
• 句号.的lemma还是.，标点的原形就是它自己。

你可以通过token.lemma_拿到字符串，也可以用token.lemma拿到一个整数ID，再通过nlp.vocab.strings[token.lemma]把ID转成字符串。一般我们直接操作字符串就够了。

3.3 批量处理文本与性能注意事项

处理单条文本很简单，但真实场景里往往是上万条句子。如果一条一条循环调nlp(text)，速度会慢到怀疑人生。spaCy提供了一个强大的批处理接口nlp.pipe()，可以一次处理一个可迭代对象，并自动做并行化（取决于模型和机器配置）。

我通常这样写：

import spacy nlp = spacy.load("en_core_web_sm", disable=["ner"]) texts = [ "I studied NLP yesterday.", "She is studying hard these days.", "They have studied many books." ] lemmas_list = [] for doc in nlp.pipe(texts, batch_size=128): lemmas = [token.lemma_ for token in doc if not token.is_punct] lemmas_list.append(" ".join(lemmas)) print(lemmas_list) # ['I study NLP yesterday', 'she be study hard these day', 'they have study many book']

注意几个细节：

• batch_size会影响内存占用和处理速度。太小，管道利用率低；太大，内存可能爆。我实测下来128到256之间对短文本比较稳妥，你可以根据文本平均长度微调。
• nlp.pipe默认开了CPU多线程吗？严格说，它主要是在Cython层面加速，对Python层面的迭代更友好。如果你的机器是多核，可以试试spaCy 3.7之后对Transformer模型的pipe并行支持，但对单纯的en_core_web_sm，提升主要体现在避免重复的词表加载开销。
• 过滤掉标点和空格，可以先用token.is_punct或token.is_space判断，不要在列表推导里盲目保留所有token。

如果要做大规模语料的词形还原，建议把文本先按句子切分，再批量丢给nlp.pipe。不要一次性把几百万字的长文本丢进去，否则内存压力巨大。一个比较稳妥的做法是：用生成器逐段产生文本，spaCy会像流水线一样边接收边处理，不会把所有结果一次性堆在内存里。

4. 自定义词形还原：处理词典外单词与领域词

4.1 修改spaCy的默认词形还原规则

默认配置在大多数通用场景下已经够用，但遇到领域词汇时，spaCy的查找表可能“不认识”某些词。比如在医学文本里，prognoses的还原结果可能是prognoses而不是prognosis，因为查找表里没有收录这个复数形式；或者某个产品名Datasense被错误当成动词还原成datasense。

这时候我们需要对词形还原做“手术”。spaCy里最简单粗暴的方式是直接修改词汇表里的扩展属性。你可以通过nlp.vocab里的词条设置lemma_：

import spacy nlp = spacy.load("en_core_web_sm") # 指定某个单词的lemma nlp.vocab["prognoses"].lemma_ = "prognosis" doc = nlp("The prognoses were updated.") print([token.lemma_ for token in doc]) # ['the', 'prognosis', 'be', 'update', '.']

这种方法适合对少量固定词做修正。缺点是它只对精确匹配的这个token有效，如果你的文本里出现Prognoses（首字母大写），spaCy在分词后底层token文本可能是Prognoses，但spaCy的tokenizer默认会先做一次小写处理，实际词条大概率能匹配上。不过如果你用的是带大小写的变体，最好用后面的自定义属性规则来覆盖。

4.2 添加自定义词汇的lemma映射

官方推荐的做法是写一个自定义管道组件，放到默认Lemmatizer之后，通过token.lemma_的覆盖逻辑来调整结果。

我写了一个给博主场景的示例：假设我的语料里经常出现品牌名NLPedia，它永远不应该被还原成nlepid之类的东西，或者一个平台名Knowlytics应该保持原样。我可以注册一个组件：

import spacy from spacy.language import Language # 构建一个覆盖映射 CUSTOM_LEMMAS = { "NLPedia": "NLPedia", "knowlytics": "knowlytics", "prognoses": "prognosis", } @Language.component("custom_lemmatizer") def custom_lemmatizer(doc): for token in doc: if token.text.lower() in CUSTOM_LEMMAS: token.lemma_ = CUSTOM_LEMMAS[token.text.lower()] return doc nlp = spacy.load("en_core_web_sm") nlp.add_pipe("custom_lemmatizer", after="lemmatizer")

注意，这个组件必须在lemmatizer之后运行，否则你会用自定义结果覆盖后面又被默认值覆盖。加管道位置最好写成after="lemmatizer"，如果after不支持，也可以写成last=True，但要注意你的下游组件是否依赖lemma属性。

这段代码里我用了token.text.lower()，因为tokenizer会把一些专有名词保持原样，但我们要做不区分大小写的映射。如果你希望大小写分开处理，那就直接判断token.text。

4.3 绕开spaCy，结合WordNet或其他工具

有时候spaCy的查找表确实不给力，而你又不想手写映射。一个常见做法是：先让spaCy跑完，把词性和原形都拿出来，然后用NLTK的WordNetLemmatizer做二次修正。

举个例子，spaCy对某些动词的过去分词还原并不总是符合我们预期，比如forgotten可能被还原成forget，这没错；但某些罕见情况下，查找表缺失，它可能返回forgotten。这时可以用NLTK里的WordNet来兜底：

import spacy from nltk.stem import WordNetLemmatizer nlp = spacy.load("en_core_web_sm") wordnet_lemmatizer = WordNetLemmatizer() def robust_lemma(token): spacy_lemma = token.lemma_ # 忽略没有变化的词，尝试用WordNet再查一次 if spacy_lemma == token.text.lower(): pos = token.pos_.lower() if pos.startswith("v"): pos = "v" elif pos.startswith("n"): pos = "n" elif pos.startswith("a"): pos = "a" elif pos.startswith("r"): pos = "r" else: pos = "n" candidate = wordnet_lemmatizer.lemmatize(token.text.lower(), pos=pos) if candidate != token.text.lower(): return candidate return spacy_lemma text = "The forgotten items were forgotten by everyone." doc = nlp(text) for token in doc: print(token.text, "->", robust_lemma(token))

虽然WordNet也未必覆盖所有领域词，但它胜在词典规范，尤其对常见英文的词形变化非常稳。这个“spaCy + WordNet兜底”的组合，是我在实际做文本标准化时比较常用的方案。

当然，如果你的语料很垂直，比如金融报告里的write-downs、step-ups，spaCy和WordNet都可能不够准。这时候最好的办法是维护一份“领域词形表”，从语料里高频统计出不规则词，手动建立映射，用上面4.2的自定义组件方式加进去。效率最高，也最可控。

5. 常见问题与排查技巧实录

5.1 为什么有些词没有被还原

我刚开始用的时候，最常遇到的问题就是：明明应该把studies还原成study，结果spaCy给的是studies。查了半天发现，这是因为studies在句子里的词性被标成了名词，而不是动词。名词复数studies（研究、学科）在词典里就是一个合法的名词形式，它的原形就是studies，所以不还原成study是“正确”的。

换句话说，词形还原不是永远把词变成“最小形式”，而是根据词性把词映射到词典中对应的原形。studies作为名词复数时，原形就是studies，而不是动词原形study。

遇到这种情况，先看看token的pos_和tag_：

doc = nlp("Her studies focus on NLP.") for token in doc: print(token.text, token.pos_, token.tag_, token.lemma_)

输出能看到studies的pos_是NOUN，tag_是NNS（名词复数）。那结果就是合理的。如果你希望不管词性，一律还原成动词原形，那就要写自定义规则覆盖，但通常不建议这么做，因为会牺牲语法准确性。

5.2 为什么running变成了run但was还是was

有一个比较隐蔽的现象：在spaCy的英文模型里，was作为be动词的过去式，通常会被还原成be，所以没问题。但如果你看到was还原成was，那大概率是词性标注出了问题。

比如你输入一个不完整的句子片段，或者像“The was was broken”这样带tokenizer歧义的句子，模型可能把第一个was错标成名词（罕见但存在）。另外，如果句子没有首字母大写，spaCy的依赖句法分析也可能给出不同结果，进而影响词性。

这种问题怎么排查？把句子拆开，手动看看每个token的pos_、tag_、dep_，对照错误输出。我发现大部分词形还原不对的情况，根源都不是lemmatizer本身，而是前面的词性标注器把词性搞错了。lemmatizer只是“顺着词性走”。

5.3 大小写、标点、多义词如何影响结果

大小写的影响主要在专有名词和句首词。spaCy的tokenizer会把句首的Running和句子中间的running当作同一个token吗？答案是：nlp("Running is fun")得到的token文本是Running，而nlp("He is running")得到的token文本是running，它们是两个不同的词条。但spaCy在默认情况下会对词汇表做大小写归一化处理，因此Running的lemma常常会变成running，甚至进一步还原成run。这通常没问题，但如果你要保留专有名词，比如Apple公司名，spaCy会把它标成PROPN，lemma也会是Apple，不会变成apple。这点对英文NLP很重要。

标点方面，句号、逗号的lemma是自身，但一些符号如果被分词器切成特殊token，比如...，lemma结果可能是...或空白。没关系，在最终输出时，我建议你把is_punct和is_space的token过滤掉。

多义词是词形还原里最有趣也最麻烦的问题。saw可以是动词see的过去式，也可以是名词“锯子”。spaCy会根据上下文判断：

doc1 = nlp("I saw a bird.") doc2 = nlp("He bought a saw.") for d in [doc1, doc2]: for token in d: if token.text == "saw": print(token.lemma_, token.pos_)

大概率你会得到see和saw两个不同结果，分别对应动词和名词。这说明词性标注的准确率直接决定了词形还原的准确率。如果遇到标注错误的句子，不要急着改lemmatizer，先看tagger是不是被复杂句式带偏了。

6. 几个实用技巧和踩坑心得

6.1 用属性规则批量修正不规则的POS形态

除了自定义组件，spaCy还有一个内置的attribute_ruler，它可以针对特定的token文本或词性组合，批量设置lemma_、pos_等字段。我试过用它修一批动词短语，比如“looked up”中的looked还原为look，不需要写Python循环。例子：

import spacy from spacy.lang.en import English nlp = spacy.load("en_core_web_sm") ruler = nlp.get_pipe("attribute_ruler") ruler.add(patterns=[[{"TEXT": "looked"}, {"TEXT": "up"}]], attrs={"LEMMA": "look"})

不过这个更适合处理短语级别的固定搭配。对于单纯词级映射，自定义组件更灵活。

6.2 处理特殊词性：缩写、数字、URL

英文语料里常常有don't、it's、e.g.、100px这类token。spaCy默认分词器会把don't分成do和n't，前者lemma是do，后者lemma是not。这是合理的。数字100的lemma还是100。URLhttps://example.com在spaCy里是一个token，lemma也是原样。如果你需要把所有数字归一化成<num>，就需要自己写规则，lemmatizer不会帮你。

6.3 从词形还原结果反推词向量

一个很多人不知道的小技巧：当你需要把文本标准化后做词向量统计，不要只把词形还原结果存成字符串列表，更好的做法是构建一个“原形词汇表映射”，把每个新词映射到原形对应的向量ID。比如：

for token in doc: if not token.is_stop and not token.is_punct: lemma_str = token.lemma_.lower() vector_id = nlp.vocab.strings[lemma_str]

用nlp.vocab.strings可以把字符串转成哈希ID，方便你后续构建文档向量矩阵。这比单纯存字符串效率高，尤其在处理大规模语料时，能省不少内存。

6.4 注意模型的版本差异

最后提醒一下，spaCy 2.x和3.x的Lemmatizer实现差别很大。在2.x，英文模型默认用的是基于规则和WordNet的组件，你需要显式调token.lemma_，但很多模型版本需要下载额外数据。3.x开始，模型已内置查找表，并且把组件管理统一到了配置系统里。如果你在网上搜到旧的教程，里面的nlp.add_pipe("lemmatizer")写法可能在3.x下不生效，因为现在直接加载模型就自带lemmatizer，不需要手动加。我看到很多人被老教程坑过，所以遇到报错，先确认一下spaCy版本。

我在实际使用中还有一个体会：不要迷信词形还原一定对下游任务有用。在某些情感分类场景里，把good和better还原成good有好处；但在某些文本风格识别场景，还原后反而丢失了时态和比较级信息，效果会变差。所以，要不要用词形还原，最终还是要跑一个A/B对照实验。

今天这篇学习笔记，基本上把我第22天关于spaCy词形还原的实践和踩坑都记录了一遍。如果你也在用spaCy做英文文本标准化，希望这些细节能帮你少走点弯路。特别是那些“为什么没还原”的疑问，大多数时候不是工具坏了，而是词性理解不对。先检查POS，再检查lemma，这个排查顺序能解决八成问题。