BiLSTM+Attention关系抽取实战：数据处理、模型实现与调参

如果你是第一次在NLP课程作业里撞上“BiLSTM+Attention做关系抽取”这个组合，我的建议是别急着到处抄代码。这个题目看起来只是把两个经典模块拼在一起，但真正做完之后你会发现，它其实把文本分类、序列建模、注意力机制、数据处理、实验分析这几块基本功全部过了一遍。

这篇东西我按自己做完整套作业的流程来写，从数据集处理到模型实现，再到调参踩坑和报告写作，尽量把文档里不会写的细节都说清楚。适合正在做类似作业、或者想用PyTorch从零跑通一个关系抽取小项目的读者参考。

1. 这道作业真正考验的是什么：关系抽取、关系分类与现代NLP基本功

1.1 先弄清一件容易被忽略的事：作业里的“关系抽取”其实是关系分类

严格说，SemEval-2010 Task 8这个任务是关系分类（Relation Classification），不是那种从纯文本里同时发现实体和关系的抽取。官方数据里每一句话已经用标签把两个实体标出来了，模型要做的只是判断这两个实体之间的关系类别。

很多人在第一步就搞混了这件事，结果去看实体识别和关系抽取联合模型的论文，思路完全跑偏。作业标题里写“关系抽取”是沿用俗称，你真正要解决的输入输出是：

• 输入：一句话，以及句子中两个带标记的实体
• 输出：这对实体属于19个关系类别中的哪一类

把这个定位理清楚，后面的模型设计就顺了。分类任务有成熟的评估指标，也有明确的baseline可以对比，特别适合课程作业这种需要“快速看到效果”的场景。

1.2 为什么偏偏是BiLSTM+Attention这个经典组合

课程作业选这个组合不是因为“最先进”，而是因为它处在一个非常适合教学与动手实现的位置。

先说BiLSTM。LSTM的核心是门控机制，能缓解长序列中的梯度消失，让模型在长句子上仍然记得关键信息。双向叠加之后，每个位置的输出既包含左边信息也包含右边信息，这对关系判断很重要的——比如“caused”这种触发词可能在实体前面，也可能在实体后面，单方向LSTM只能覆盖一半。

再说Attention。BiLSTM最后一步输出或者双向拼接后的整体信息，本质上把整句话压成了一个固定向量。这个向量的质量直接决定分类效果，但问题在于，一个固定向量很难突出“和当前关系最相关的词”。Attention层的思路就是不强制把所有词都压成一个向量，而是让模型学出一个权重分布，把句子表示变成“所有位置向量的加权求和”，权重集中在关键触发词上。

这个组合还有一层考虑：它足够简单，你可以在一个晚上写完核心代码；它也足够灵活，你可以做各种消融实验，比如去掉Attention看效果掉多少，这是报告里非常加分的部分。

1.3 比模型更重要的，是你能不能完整跑通一整套流程

我自己的体会是，作业给分的关键不在于模型有多花哨，而在于整个实验流程是否完整、结果是否可信、报告是否讲清楚。具体包括：

• 数据预处理是否严谨，比如实体标记是否被正确解析
• 训练过程是否可控，比如有没有固定随机种子、有没有记录验证集指标
• 实验结果是否真实，比如每个超参数跑了几次，平均值和方差是多少
• 报告是否有分析，比如Attention学到了什么、错分样本集中在哪些类别

所以这篇文章除了模型代码，还会重点讲这些看起来“不属于作业”但真正决定作业质量的细节。

2. SemEval-2010 Task 8数据集：数据格式、标签体系和评估指标的细节

2.1 数据格式与19类标签的由来

SemEval-2010 Task 8官方把数据分成train和test两份。训练集约8000条，测试集约2700条。每条数据的格式大致长这样：

"the <e1>system</e1> is designed to process <e2>documents</e2>." Other

句子后面跟一个制表符，再跟关系类别。句子里的两个实体已经用 和 标记出来，不需要你再去做实体识别。

标签体系要注意一点：这个任务的关系类别是带方向的。比如“Cause-Effect(e1,e2)”和“Cause-Effect(e2,e1)”是两个不同类别，分别表示“e1导致e2”和“e2导致e1”。加上Other，总类别数是：

• 9种关系：Cause-Effect、Component-Whole、Content-Container、Entity-Destination、Entity-Origin、Instrument-Agency、Member-Collection、Message-Topic、Product-Producer
• 每种关系两个方向，共18类
• 加Other，一共19类

这个设计对模型来说是一个不小的挑战。很多类别的句子在词面上几乎一样，只是实体顺序对调了，比如“the war caused poverty”和“poverty caused the war”，模型必须学会把实体位置信息和语义信息结合起来才能分对方向。

2.2 实体标记的处理：一个容易被忽视的预处理细节

预处理时，很多初学者会直接把 、 这些符号去掉。这样做的后果是模型完全不知道实体在哪里，方向性关系基本没法学。

正确做法是把实体开始和结束的位置记录下来。常见方案有两种：

1. 保留特殊符号标记，把 、 、 、 当作词表中的特殊token
2. 把标记去掉，但额外记录每个token相对e1和e2的位置，做成position embedding拼到词向量后面

第一种简单，但在数据集划分训练和验证的时候要小心，标记符号本身也可能带来过拟合。第二种是很多论文的标配，效果更好，后面第二节展开讲。

我做预处理时是这样组织的：

• 先用一个简单的切分逻辑把带标记的句子切成token序列
• 用两个布尔mask分别标记属于e1和属于e2的token范围
• 保留一个非padding的attention mask，用于训练时屏蔽padding位置

这三样东西在模型里都会用到：token序列是BiLSTM的输入，实体位置可以拼到embedding里，attention mask负责挡住无效位置。预处理阶段的每个决定都会影响后面的训练效果，不要偷懒。

2.3 评估指标：Macro-F1到底是什么

SemEval-2010 Task 8官方指标是Macro-F1，而且计算时排除Other类别。这个细节对结果影响很大，我在刚开始做的时候就吃过亏：明明在全部样例上准确率有85%，但提交之后分数却不理想，因为Other类占了很大比例，而Macro-F1不看它。

简单解释Macro-F1：

• 对每个非Other类别分别计算精确率（Precision）和召回率（Recall）
• 再对所有这些类别取平均

所以每个类别的表现权重相同，类别是否平衡无所谓。这个指标对模型的要求是“每个关系类别都不能太差”，而不仅仅是“整体准确率高”。

在验证集上监控这个指标的时候，也需要用同样的方式计算，不要偷懒只看accuracy。

3. BiLSTM+Attention模型实现：从数据预处理到PyTorch训练代码

3.1 数据预处理：词表、Dataset、Batch和Mask

数据预处理是整个项目里最繁琐的一步。我的建议是把所有逻辑封装成一个Dataset类，不要裸着处理。

词表构建方面，我的做法是：保留所有出现次数大于等于2的词，加上 和 两个特殊token。实体标记比如 、 这些，在分词之后会被统一替换成特殊的标记token，比如用一个"[E1]"替代。

一个常见的疑问是“要不要用预训练词向量”。答案是有条件就用。我用的是公开的GloVe 6B 100维词向量，不是自己训练的。加载的时候注意：词表里的id必须和词向量矩阵的行索引对齐，否则Embedding层学出来的东西就没意义了。

代码结构大致这样：

import torch from torch.utils.data import Dataset class RelationDataset(Dataset): def __init__(self, data_path, vocab, max_len=128): super().__init__() self.samples = self._load_data(data_path, vocab, max_len) def _load_data(self, data_path, vocab, max_len): samples = [] with open(data_path, encoding="utf-8") as f: for line in f: line = line.strip() if not line: continue text, label = line.split("\t") # 解析实体标记，得到token序列和实体位置的mask tokens, e1_mask, e2_mask = self._parse_entities(text) token_ids = [vocab.get(t, vocab.unk_idx) for t in tokens[:max_len]] mask = [1] * len(token_ids) # padding到max_len pad_len = max_len - len(token_ids) token_ids += [vocab.pad_idx] * pad_len mask += [0] * pad_len samples.append({ "input_ids": token_ids, "mask": mask, "e1_mask": e1_mask, "e2_mask": e2_mask, "label": label2id[label] }) return samples def __len__(self): return len(self.samples) def __getitem__(self, idx): s = self.samples[idx] return { "input_ids": torch.tensor(s["input_ids"], dtype=torch.long), "mask": torch.tensor(s["mask"], dtype=torch.bool), "e1_mask": torch.tensor(s["e1_mask"], dtype=torch.bool), "e2_mask": torch.tensor(s["e2_mask"], dtype=torch.bool), "label": torch.tensor(s["label"], dtype=torch.long) }

这里把e1_mask和e2_mask也返回了，是为了后面做position embedding以及Attention可视化时用。实体mask的长度也要和token序列对齐。

3.2 模型定义：BiLSTM编码器的工作原理与Attention打分

模型结构可以拆成四层：

1. Embedding层：把token id变成词向量，可以加载预训练权重，也可以随机初始化
2. BiLSTM层：双向编码句子，输出每个位置的隐状态
3. Attention层：对这些隐状态做加权求和，得到句子级向量
4. 分类层：把句子向量送进全连接，输出19类的logits

PyTorch实现如下：

import torch import torch.nn as nn import torch.nn.functional as F class BiLSTMAttention(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers, num_classes, dropout=0.5, padding_idx=0): super().__init__() self.embedding = nn.Embedding(vocab_size, embedding_dim, padding_idx=padding_idx) self.bilstm = nn.LSTM( embedding_dim, hidden_dim, num_layers=num_layers, batch_first=True, bidirectional=True, dropout=dropout if num_layers > 1 else 0 ) self.dropout = nn.Dropout(dropout) self.attn_score = nn.Linear(2 * hidden_dim, 1) self.fc = nn.Linear(2 * hidden_dim, num_classes) def forward(self, input_ids, mask): emb = self.dropout(self.embedding(input_ids)) # BiLSTM输出形状: [batch, seq_len, 2*hidden_dim] lstm_out, _ = self.bilstm(emb) # Attention打分 attn_logits = self.attn_score(lstm_out).squeeze(-1) # [batch, seq_len] # 用mask遮住padding位置的分数 attn_logits = attn_logits.masked_fill(~mask, float("-inf")) attn_weights = torch.softmax(attn_logits, dim=-1) # 加权求和得到句子向量 context = torch.sum(attn_weights.unsqueeze(-1) * lstm_out, dim=1) logits = self.fc(self.dropout(context)) return logits, attn_weights

Attention层这里用的是最经典的内积打分形式，也就是attn_score这一个线性层。为什么用tanh激活再做softmax的版本已经不那么流行，因为直接学一个打分函数足够拟合。

还有一个很容易踩的坑：masked_fill之后，如果某个位置恰好是-inf，softmax可能会产生NaN。这里mask是bool类型，如果我们传的是mask == 0的补集，容易在padding位置漏掉遮挡。稳妥的做法是：保证~mask的位置都是padding位置，这样每种情况都处理干净。

3.3 为什么说位置信息是Attention的“隐性前提”

如果你的作业只做到上面那版BiLSTM+Attention，模型也能跑到一个不算差的分数，但你会发现它在区分方向性关系上非常吃力。原因是Attention只学会了“看哪些词”，却没有学会“词和哪个实体更相关”。

举个例子：

• “the war caused poverty”
• “poverty caused the war”

两个句子中“caused”这个触发词的Attention权重都会很高，但如果模型不知道poverty在war的左边还是右边，就无法确定到底是“war导致poverty”还是“poverty导致war”。

所以进阶做法是加入位置信息。最常用的是position embedding，具体来说：

• 对每个token，分别计算它相对于e1和相对于e2的距离
• 用两个可学习的embedding表，把距离映射成向量
• 把这个位置向量拼在词嵌入后面，或者直接加在词嵌入上

距离的定义通常这样：对于实体内部的token，距离为0；对于实体外的token，距离是当前token相对实体第一个token的绝对位置差。每个token得到两个位置id，一个对应e1，一个对应e2，分别查表得到两个位置向量，再和词向量拼接或相加。

我实际测试过，加上这个位置信息之后，Macro-F1从大概82%提升到86%左右，这个提升幅度在关系分类任务里非常显著。报告里如果把“加入position embedding”当作一个消融实验来写，会让整篇文章的可信度高很多。

3.4 训练循环：优化器、学习率、梯度裁剪和Early Stopping

训练逻辑本身不复杂，但是几个细节对效果影响很大。我的训练循环里固定做的事情有：设置随机种子、用Adam优化器、配合学习率调度、做梯度裁剪、按验证集Macro-F1保存最优模型。

def train_epoch(model, dataloader, optimizer, criterion, clip_grad=5.0): model.train() total_loss = 0 for batch in dataloader: optimizer.zero_grad() logits, _ = model(batch["input_ids"], batch["mask"]) loss = criterion(logits, batch["label"]) loss.backward() # 梯度裁剪，防止LSTM梯度爆炸 nn.utils.clip_grad_norm_(model.parameters(), clip_grad) optimizer.step() total_loss += loss.item() return total_loss / len(dataloader)

关于优化器，我实测Adam比SGD收敛更快，对学习率的敏感度也更低。不过Adam在LSTM上有一个问题：如果不加梯度裁剪，偶尔会出现loss突变成NaN。所以裁剪参数我几乎总是保留。学习率先用1e-3试一轮，看loss的下降曲线，如果前几个batch的loss增大或者波动剧烈，降到3e-4重试。

Early Stopping的做法是：每个epoch算验证集Macro-F1，连续若干个epoch不提升就停。我这里设置的是连续5个epoch不提升就停止，并从历史中恢复best model的权重。

4. 训练与调参实测记录：文档里不会写的几个决定性细节

4.1 超参数怎么定：从框定范围到逐步收敛

超参数这回事，如果直接随机试，训练速度会慢到让人失去耐心。我的经验是先固定一批参数，然后只调其中一个。

初始参数范围如下：

Batch Size的影响要注意：如果显存允许，从32往上加到64，训练会稳定一些；但如果Batch Size太大，模型容易卡在尖锐的局部最优点。32在这个数据量上是一个比较理想的起点。

4.2 Embedding初始化和“冻结还是不冻结”的纠结

加载预训练词向量之后，一个经常被问到的问题是：要不要冻结Embedding层？

我的结论是：别冻结，但学习速度要慢一点。原因很直接：通用预训练词向量对领域词和大写词的处理不一定完全合适，关系分类任务中的触发词，比如“caused”、“produced”，在通用语料里可能已经有了接近的向量表示，但实体词和关系词的语义关系需要微调。

不过也不能让Embedding层学得太快，否则训练初期会把预训练好的词向量空间打乱。实际操作中我是这样处理的：分类器和BiLSTM用正常学习率1e-3，Embedding层单独用1e-4。这需要把模型参数分组传入优化器：

optimizer = torch.optim.Adam([ {"params": model.embedding.parameters(), "lr": 1e-4}, {"params": model.bilstm.parameters(), "lr": 1e-3}, {"params": model.attn_score.parameters(), "lr": 1e-3}, {"params": model.fc.parameters(), "lr": 1e-3} ])

不用预训练向量直接随机初始化也能跑，但测试集分数大概会掉11个百分点。所以有条件一定要用。

4.3 消融实验的结果怎么看：Attention到底帮了多少

我做了一组最简单的消融对比：

• BiLSTM-only：最后取最后一个时刻的输出做分类
• BiLSTM+max-pooling：对每个维度取最大值
• BiLSTM+Attention：加权求和
• BiLSTM+Attention+Position Embedding：前一条加上位置向量

实验结果很能说明问题。BiLSTM-only和max-pooling的Macro-F1在79%到81%之间，改用Attention后大约能到82%到83%，再加position embedding能到85%到86%。Attention的收益不算巨大，但稳定存在，尤其是在长句子上，Attention能让模型把注意力放在关键trigger词上，而不是被不相关修饰词干扰。

这个消融结果写进报告，比单纯贴一个最终accuracy有说服力得多。

5. 踩坑记录：三个浪费了我整个下午的Bug与排查链路

5.1 Bug 1：Attention权重在padding位置上出现了“假均匀”

第一次跑通模型后，我去打印Attention权重，发现所有padding位置都有接近0的权重，这个看起来正常。但是当我只统计非padding位置的权重时，却发现某些短句子的权重几乎是均匀分布，完全看不出来模型关注了哪些词。

排查链路是这样的：

1. 我先确认模型代码里的mask有没有生效，打印attn_weights的形状和数值
2. 单测一个句子，发现mask正确，softmax结果也没问题
3. 继续排查，发现问题出在max_len和实际句子长度的错位

我在Dataset里做padding的时候，token_ids已经截断或补齐到了max_len，但e1_mask和e2_mask还是按原始句子长度生成的。也就是说，padding部分的mask是0，但e1_mask和e2_mask的长度和token_ids对不上，导致后续做position embedding时索引错位。这个Bug不会报错，但会让实体位置信息全部错乱，Attention自然也就变成均匀的了。

解决方法是重新审视所有mask的长度，确保全部和token_ids一致。这类“对不齐”的问题在NLP预处理里极其常见，检查顺序应该永远是：先确认形状，再确认数值。

5.2 Bug 2：训练到一半Loss变成NaN

训练到第8个epoch左右，loss突然变成NaN，训练中断。这几乎是所有LSTM项目都会遇到一次的问题。

我第一次遇到时第一反应是学习率太大，调低了学习率后重跑，结果还是NaN。然后我开始怀疑是不是数据里有脏数据，比如空字符串或者极端长度的句子，检查了一遍也没发现异常。

最后发现原因在梯度爆炸。LSTM在反向传播时，如果序列比较长、隐层维度又大，梯度很容易累积到一个很大的值，经过几层之后直接溢出。Adam虽然对学习率不敏感，但对梯度爆炸的防护并不存在。

解决办法就是前面代码里写的那一行：

nn.utils.clip_grad_norm_(model.parameters(), 5.0)

加上梯度裁剪之后，问题再也没出现过。如果你遇到了NaN，可以先看loss变NaN之前是不是有连续几个batch的loss突然大幅上升，如果是，几乎可以确定是梯度爆炸，裁剪是最快解法。

5.3 Bug 3：方向性关系的Macro-F1相当难看

跑了几个epoch后，我仔细看了各类别的F1，发现Other和几个高频关系类都不错，但方向性关系的指标明显偏低，比如Cause-Effect(e1,e2)和Cause-Effect(e2,e1)经常互相混淆。

刚开始我以为是模型容量不够，把hidden_size从200加到400，效果几乎没变。然后我尝试把Batch Size加大，也没用。

后来我意识到问题出在“模型缺了位置感知”。Attention只知道哪些词重要，但不知道“重要词”相对两个实体出现在哪里。关系方向本质上是一个空间位置的判断，必须显式告诉模型词和实体之间的相对位置。

加入Position Embedding之后，方向性关系的F1提升最明显。这也印证了那句话：关系分类这类任务，位置信息比模型结构更基础。

6. 报告写作与代码组织：最后让作业价值翻倍的部分

6.1 报告里不应该只写“我跑了什么”，而应该写“我发现什么”

很多作业报告成了“实验日志”：模型结构、参数、结果表格，然后就没了。但真正拿高分的报告，是那种有明显“分析性”的报告。

我建议在报告里加入这样一个章节：从测试集的错误预测中挑10个例子，逐个分析模型为什么分错。比如两个句子都包含“caused”，但一个方向被分反了，这时候你就能看到模型究竟缺少了什么信息。这类错误分析的价值在于展示你对任务的深入理解，也直接指向了Position Embedding等改进方向。

Attention可视化也要做。抽取几个有代表性的句子，画出Attention权重在句子上的分布，配合文字分析“模型对哪些词赋予了高权重，这是否符合语义直觉”。可视化不需要花哨，用matplotlib就行，重点是权重分布要像样。

6.2 代码组织：让看的人30秒内能找到关键文件

作业提交的代码，最忌讳的就是一个Jupyter Notebook从上滑到下几千行。我的习惯是用一个简洁的目录组织：

• data/：原始数据目录
• src/：Python包，放dataset.py、model.py、train.py、predict.py
• config.py：集中放超参数和路径
• notebooks/：可视化实验和分析代码
• README.md：说明如何复现，如何得到报告中的每个数字

README非常关键，它引导别人直接复现你的实验，也侧面证明你的实验结果可靠。不要写“运行train.py”就完事，要把环境依赖、数据集路径、预训练词向量下载位置、训练时长全部写清楚。

6.3 最后的经验之谈：把作业当成一个20小时的迷你项目

这个作业如果用“赶ddl”的节奏做，一天就能出结果；但如果你把目标定成“完全理解并复现一个经典NLP任务”，那它值20个小时甚至更多。

我个人的时间分配是：理解任务和数据3小时，搭好基础模型4小时，训练调参5小时，分析错误和补充实验5小时，写报告3小时。几乎每个环节对最后结果都有贡献，尤其是错误分析阶段，会逼着你去理解Attention、位置编码、Macro-F1这些概念到底在解决什么问题。

做完这个作业之后，你再去看那些带Attention的预训练模型论文（虽然它们用的是多头自注意力），会觉得顺畅很多。基础模型的理解深度，决定了你看进阶内容时是“真的懂了”还是“只是认识这些词”。