HMM词性标注实战：从参数统计到维特比解码全流程解析

词性标注（POS Tagging）是序列标注问题里最经典的一个入口，而隐马尔科夫模型（HMM）又是解决这个入口最朴素、最容易跑通的方法。前阵子我在做一个文本预处理需求时，把 HMM 词性标注的完整流程——从语料统计、平滑计算，到维特比解码、OOV 兜底策略——重新实现了一遍，顺手整理成这篇笔记。这篇内容适合两类人：一类是想把序列标注原理彻底搞懂的初学者，另一类是手里数据量不大、希望在轻量方案下快速搭一套可用流程的开发者。读完你可以直接拿到一份能跑的标注器代码，以及一系列常规文档里不会写的调试经验。

1. 先把问题摆在桌面上：词性标注到底在做什么

1.1 一句话定义词性标注

词性标注，就是给句子里的每个词打上一个类别标签：名词、动词、形容词、代词……你手里有一句话，分词之后得到一串词，标注系统要做的，是把这串词映射成一串标签，而且标签之间还要尽量连贯合理。例如“小猫 喜欢 鱼”的理想输出是“N V N”。看起来像查字典，但真正的难点在于一个词在不同上下文里可能是不同词性。比如“计划”在“我们计划明天出发”里是动词，在“这是一个好计划”里却是名词。这种歧义没法靠简单词表消除，必须结合上下文推断，HMM 就是干这个事的典型模型。

你可能会问，现在的 NLP 不是都上大模型了吗，为什么还要学这种“老古董”？因为 HMM 是理解所有序列标注问题的最小完备框架。先把它弄明白，再去看 CRF、LSTM-CRF、以及基于预训练模型的做法，你会非常清楚地看到每一步进化到底解决了什么问题。这也是我坚持把它完整跑一遍的原因：不是因为它先进，而是因为它干净。

1.2 为什么选隐马尔科夫模型

做词性标注的思路其实有三类。第一类是规则和词典，维护一张大词表和人工编写的消歧规则，覆盖面窄而且维护成本极高，只适合语料高度受限的场景。第二类是统计学习模型，比如 HMM、最大熵、条件随机场 CRF、以及后来的神经网络序列模型。第三类是直接把预训练模型拿来当黑盒调用，省事是省事，但问题排查很痛苦，数据分布一变效果就会悄悄缩水。

选 HMM 的理由很实际。它简单，参数就三组，每一组都能拿出来检查。它训练快，不需要 GPU，一个中型标注语料在普通 CPU 上几秒钟就能完成统计。它对小数据比较友好，不会像复杂模型那样依赖大规模标注数据。在我做过的几个轻量需求里，HMM 往往是第一个跑通、也能稳定用一段时间的方案。下面是三种主流方案的直观对比：

1.3 用一个小语料串起整个流程

下面我会用一套只有 8 个标签的简化标签集来演示：N（名词）、V（动词）、ADJ（形容词）、ADV（副词）、PN（代词）、DET（限定词）、P（介词）、PUNC（标点）。训练语料的核心形态是这样：

我/PN 爱/V 吃/V 水果/N 小猫/N 喜欢/V 在/P 河边/N 玩/V 那只/DET 白猫/N 追/V 老鼠/N 程序员/N 写/V 复杂/ADJ 的/DET 代码/N

每行一句话，词和词性用斜杠分隔，词之间用空格分隔。这套数据是手工构造的迷你语料，只用来演示流程；真实项目里请换成更大规模、更干净的标准标注语料。训练阶段要做的事：统计每个标签出现在句首的概率（初始概率）、标签之间的转换次数（转移概率）、每个标签下各个单词出现的次数（发射概率）。标注阶段要做的事：给定一句新的话，用维特比算法在所有这些概率上寻找一条全局最优的标签路径。整个流程就这三四步，下面把每一步的细节和代码拆开讲。

2. 拆开 HMM 的核心部件：参数、假设与三个经典问题

2.1 三组参数，对应一个生成故事

HMM 的核心是三组参数。第一组是初始概率 π，表示句子第一个词的词性分布。第二组是状态转移概率 A，A[prev][tag] 表示前一个词是 prev 时，当前词是 tag 的概率。第三组是发射概率 B，B[tag][word] 表示当前词性为 tag 时，观测到单词 word 的概率。

用生成式视角来理解最直观：想象一部剧本排演，词性相当于角色类型，单词相当于台词。π 决定第一个登场的角色，A 决定角色之间的接续规律，B 决定某个角色会念出什么台词。站在观众位置只能看到台词（句子本身），看不到角色安排（词性序列），词性标注做的就是根据台词反推角色安排。

对于一个长度为 n 的句子，联合概率可以写成连乘形式：

P(w1…wn, t1…tn) = π[t1] × ∏ A[t_{i-1} → t_i] × ∏ B[t_i → w_i]

连乘里每一项都是上一项的条件依赖，这也是“生成式模型”这个名称的由来：它描述的是整个句子连同标签一起被“生产”出来的过程。

2.2 两个简化假设是模型能跑起来的前提

HMM 能算得动，全靠两条假设。第一条是一阶马尔可夫假设：当前词的词性只依赖上一个词的词性，再往前的信息都不重要。第二条是观测独立性假设：当前观测到的单词只由当前词性决定，不依赖前后词。

真实语言当然不满足这两条。比如“我昨天在公园里看见一只猫”里，“看见”和“猫”之间有长距离的语义约束，一阶模型看不到。但这类简化恰恰是统计模型的精髓：用最少的参数抓住数据里最稳的规律，反而比那些尝试建模所有复杂关系、却在小数据上疯狂过拟合的方案更稳妥。

打个比方，这就像判断一个人的下一步行为。只知道他当前的状态，并且这个状态的转移规律足够稳定，一阶近似就够用；把整个人生档案都翻一遍虽然信息更多，但噪声和个性化细节也会把你淹没。HMM 选择了前者，也因此经得起统计。

2.3 三个经典问题里，维特比才是主角

HMM 教科书一定会提三个经典问题。概率计算问题：给定模型参数和观测序列，求这个观测序列出现的概率，用前向算法。解码问题：给定模型参数和观测序列，求最可能的状态序列，用维特比算法。学习问题：给定若干观测序列，估计模型参数，用期望最大化算法。词性标注里真正的主角是第二个——解码。

维特比算法的本质是动态规划。维护一个二维表 dp[t][tag]，表示前 t 个词标注完、且第 t 个词被标成 tag 时的最大对数概率。每一步的递推关系是：

dp[t][tag] = max over prev ( dp[t-1][prev] + logA[prev][tag] + logB[tag][w_t] )

同时记录是哪个 prev 带来了最大值，最后从最后一个词的最优标签一路回溯，就能得到整条最优路径。动态规划能保证找到的是全局最优标签序列，而不是每一步单独贪心选最可能的标签。贪心策略很容易在一个局部歧义上钻进去，后面再也拉不回来。

3. 从零实现一个 HMM 词性标注器：训练与维特比解码

3.1 语料格式与标签集准备

动手写代码前，先把数据格式定好。我用 word/TAG 这种最常见的训练格式，词与词之间用空格分隔，一行一个句子，标签集就是 1.3 里定义的 8 个。这个设计有两个好处：一是解析容易，按空格切分后，每个 token 用 rsplit('/', 1) 拆开即可；二是词和标签天然对齐，不会出现维护两个数组导致错位的问题。

如果你的原始语料不是这个格式，先写一个脚本做一次格式转换。中文语料尤其要注意一点：输入必须是已经分好词的序列。分词没分对，词性标注一定跟着错，这是第一步绕不过去的硬前提。

3.2 训练统计：平滑和对数缺一不可

训练代码的核心是三个计数结构。init_count 统计每种标签出现在句首的次数；trans_count[prev][tag] 统计相邻标签对的转移次数；emit_count[tag][word] 统计某个标签下出现某个词的次数。把计数转成概率的时候，我习惯统一做两件事：加一平滑和对数化。

为什么加一平滑：训练语料再大也是有限的，测试句子里总会碰到训练集没见过的词，或者某些标签转移根本没出现过。不做平滑，这些概率是 0，整个连乘直接变成 0，维特比只会输出一堆离谱标签。加一平滑是给每个可能事件至少一块非零概率的保底手段。

为什么转对数：所有概率都小于 1，一句话二三十个词连乘下来，数值会小到连浮点数都表示不了，直接变 0。取对数之后，乘法变成加法，精度问题迎刃而解。我第一次写这版代码时偷懒没转对数，结果长句子标注结果全是一个标签，排查了半天才意识到是下溢。训练部分的完整实现代码如下：

import math from collections import defaultdict, Counter class HmmTagger: def __init__(self): self.tags = set() self.vocab = set() self.pi = {} self.A = {} self.B = {} self.oov = {} def fit(self, sentences): tag_count = Counter() init_count = Counter() trans_count = defaultdict(Counter) emit_count = defaultdict(Counter) for sent in sentences: prev = None for word, tag in sent: self.tags.add(tag) self.vocab.add(word) tag_count[tag] += 1 if prev is None: init_count[tag] += 1 else: trans_count[prev][tag] += 1 emit_count[tag][word] += 1 prev = tag n_tags = len(self.tags) init_total = sum(init_count.values()) for tag in self.tags: self.pi[tag] = math.log((init_count[tag] + 1) / (init_total + n_tags)) for prev in self.tags: total = sum(trans_count[prev].values()) self.A[prev] = {} for tag in self.tags: self.A[prev][tag] = math.log( (trans_count[prev][tag] + 1) / (total + n_tags) ) vocab_size = len(self.vocab) for tag in self.tags: total = tag_count[tag] self.B[tag] = {} for word in self.vocab: self.B[tag][word] = math.log( (emit_count[tag][word] + 1) / (total + vocab_size) ) self.oov[tag] = math.log(1 / (total + vocab_size))

注意：发射概率的分母是当前标签自己的总词数加上词表大小，而不是所有标签的总词数。每个标签下的发射矩阵要分别归一化，加起来才是这个标签下的合法概率分布。这个细节写错会让概率分布不归一，标注结果会整体偏到某个高频标签上。

3.3 维特比解码实现：网格上的动态规划

训练完成后，标注一个新句子就是跑一遍动态规划。我实现的 tag 方法维护两个表：V[t][tag] 保存到第 t 个词为止、第 t 个词被标注为 tag 时的最大对数概率；back[t][tag] 保存这个最大概率来自前一个词的哪个标签，用于最后回溯。

def tag(self, words): n = len(words) if n == 0: return [] V = [{} for _ in range(n)] back = [{} for _ in range(n)] for tag in self.tags: emit = self.B[tag].get(words[0], self.oov[tag]) V[0][tag] = self.pi[tag] + emit back[0][tag] = None for t in range(1, n): for tag in self.tags: emit = self.B[tag].get(words[t], self.oov[tag]) best_prev = None best_score = -float("inf") for prev in self.tags: score = V[t-1][prev] + self.A[prev][tag] + emit if score > best_score: best_score = score best_prev = prev V[t][tag] = best_score back[t][tag] = best_prev best_last = max(V[-1], key=V[-1].get) path = [best_last] for t in range(n - 1, 0, -1): path.append(back[t][path[-1]]) path.reverse() return path

整个计算的复杂度是 O(n × T²)，n 是句子长度，T 是标签数。标签体系一般就几十个，所以普通句子完全可以秒出结果。需要注意的是，回溯不要用递归实现，用列表反向构建最稳。回溯时 back[t][path[-1]] 的 path[-1] 是当前阶段结尾的标签，取到的值是前一阶段的标签，按这个规则一层层往前推即可。

3.4 验证与评估：别被准确率冲昏头

模型训练好之后，拿几个带标准标注的句子验证一下：

corpus = [ [("我", "PN"), ("爱", "V"), ("吃", "V"), ("水果", "N")], [("小猫", "N"), ("喜欢", "V"), ("在", "P"), ("河边", "N"), ("玩", "V")], [("那只", "DET"), ("白猫", "N"), ("追", "V"), ("老鼠", "N")], [("程序员", "N"), ("写", "V"), ("复杂", "ADJ"), ("的", "DET"), ("代码", "N")], ] model = HmmTagger() model.fit(corpus) print(model.tag(["我", "爱", "那只", "白猫"]))

期望输出是 [“PN”, “V”, “DET”, “N”]。评估的时候不要只盯单个句子，要把语料划分成训练集和测试集，按句子切分，而不是按词切分，否则上下文信息会泄漏到训练集里，评估结果虚高。常用指标是逐词准确率：标注正确的词数除以总词数。

初学者容易忽略的是，这个指标会被高频标签拉高。比如名词占一半，无脑全标名词也能拿 50% 左右，所以要看模型在每个标签上的具体表现，或者直接看混淆矩阵，重点观察名词和动词、形容词和副词这些容易混淆的位置。HMM 的优点之一恰恰是这些统计可以逐项拿出来看，定位问题非常方便。

4. 实战排查手册：五个坑和对应解法

4.1 概率下溢让我所有的长句子全成零

最早写维特比时没用对数，直接在原概率上连乘。短句还好，一到 15 个词以上的句子，所有路径分数全部下溢成 0，max 函数不知道选谁，最后整句被标成同一个标签。排查方法很简单：在 V 表里打印几列概率，如果出现一堆 0，第一反应就应该是精度不够。解决办法是一开始在 fit 阶段就把 pi、A、B 全部取对数，中间计算全程只做加法。

注意要统一。不要模型里一半对数、一半普通概率，那样比全部不取对数还难查。我后来写过一个自查脚本：随机抽几个句子，检查每步 V 表里是否存在 -inf 或者 nan，有就立刻报警，省掉很多肉眼排查时间。

4.2 没做平滑，OOV 词一来就全线崩盘

最初版本 fit 完直接除频率，测试句子里碰到一个训练集没见过的词，所有标签的发射概率都是 0，整句话路径分数都是 -inf，维特比基本靠随机选标签，效果惨不忍睹。加一平滑之后，每个标签对 OOV 都有一个基础发射概率，至少不会出现整条路径全 0 的情况。

但如果只用平滑而不做任何 OOV 猜测，所有新词对所有标签的发射概率都是一样的，模型只会按先验概率和转移概率来选，高频标签（通常就是名词）会被大量选中。所以平滑解决的是“能不能算”，OOV 策略解决的是“算得对不对”。两件事要分开设计，不能混为一谈。

4.3 OOV 按下标猜测，规则要克制

针对中文场景，一个实用的 OOV 处理思路是按词形推测。英文可以看后缀：-ly 多半是副词，-ed 多半是动词过去式，-ing 可能是动名词或形容词。中文没有词形变化，工程上更常用的是给未登录词一个可配置的默认标签，同时配合最小规则集：如果词以“了 / 着 / 过”结尾，候选动词；如果词出现在“的 / 地 / 得”周围，结合位置判断。规则不需要复杂，几行 if 逻辑就能显著提升效果。我常用的兜底函数长这样：

def guess_tag(word): if not word: return "N" if word.endswith(("了", "过", "着")): return "V" if len(word) == 1: return "N" return "N"

函数本身不重要，重要的是思路：兜底要存在，规则要克制。规则一多就退回规则系统的老路，维护成本会迅速失控。

4.4 领域漂移比模型本身更致命

我踩过最大的坑是拿商品评论语料训练，直接标注科技新闻，效果明显下降。原因是词分布变了，评论里高频出现的“价格、物流、质量”在新闻里根本见不到；新闻里的“报道、表示、会议”又是评论里很少出现的。这不是 HMM 的问题，任何统计模型都有这个现象。解决办法只有一条：训练语料尽量贴近上线场景。

实在凑不到同分布语料时，至少把领域里最核心的高频术语提前加进训练词表。哪怕没有标注数据，人工补几十条样例句子也比完全放任不管强。这个预热的成本很低，但对线上效果的提升往往非常明显。

4.5 调试 Viterbi 的快速技巧

调试的时候不要只看最终结果，把 V 表打出来，看每一步哪个标签得分最高、是哪个前序标签给了这个分数。我通常在一个出错句子上临时加一段代码，把每列 top3 标签和分数打印出来，配合人工标注结果对比，很快就能定位是发射概率的问题还是转移概率的问题。

另一个习惯是构造一个极小的语料，只有三五个句子，而且内部故意制造一些歧义，比如“计划”既当名词又当动词，然后看模型能不能从上下文里学到区分。如果这么小的数据上都不合理，继续加大数据只会更糟糕。小语料调试是 HMM 这类轻量模型最大的优势，一定要利用起来。

5. 认清 HMM 的边界，再决定下一步怎么走

5.1 HMM 最舒服的场景

HMM 最合适的场景是：数据量不大、标签体系稳定、需要解释每个标注结果、运行环境受限。我之前做过一个日志文本的实时预处理，内存和 CPU 都有硬限制，CRF 的特征模板和推理速度显得笨重，深度学习模型又不可能部署在那样的环境里，最后就是 HMM 完整撑起来的。

单条预测耗时几乎可以忽略，模型文件也只是几张概率表，任何语言几行代码都能加载。这些时候 HMM 不是什么妥协方案，而是正确选择。

5.2 什么时候升级到 CRF

如果你的目标是追求精度，并且语料规模允许，CRF 通常比 HMM 更好。关键差异在于 HMM 是生成式模型，学习的是联合分布；CRF 是判别式模型，直接建模条件概率 P(tags | words)，并且可以引入丰富的特征：当前词、前后词、词缀、大小写、以及词典先验。HMM 的观测独立性假设使得它没法直接利用这些特征。代价是 CRF 需要设计特征模板和迭代训练，速度比 HMM 慢，实现复杂度也更高。

我的建议是：先用 HMM 跑通整个链路，建立基线准确率；如果数据量上来了，再把 HMM 的转移概率和发射概率换成 CRF 的特征模板。有了 HMM 的完整理解，你会非常清楚地知道下一步优化应该往哪里发力。

5.3 几条真正有用的实操习惯

代码写完只是开始，我实际项目里最受益的几个习惯是：第一，保留训练阶段的中间统计量，不要只存最终概率表，调试时能随时回去看某个标签转移次数是否合理。第二，在日志里输出一个带标签的样例句，而不是只输出准确率。这样每次改平滑参数或 OOV 策略，效果立刻肉眼可见。第三，小语料先跑通，再上大数据。HMM 训练虽然快，但数据清洗问题依然会吃掉大量时间，先把流程跑顺比什么都重要。

最后一个小技巧：如果你后续想做中文分词、命名实体识别这类同样属于序列标注的任务，HMM 这套结构稍作调整就能复用——换标签集、换训练语料，维特比代码一行不用改。先把这套生成式模型彻底吃透，后面学任何序列模型都会顺很多。