CAIL2018法律AI竞赛实战：从数据预处理到BERT模型调优的完整指南-育师

简介：这份资源是2018年中国法研杯法律智能挑战赛（CAIL2018）的完整参赛源码与学习说明，面向计算机、数学、电子信息等专业的大学生及竞赛爱好者，适合作为法律文本分类赛题的参考方案与实战学习材料。压缩包共30个文件，约2.36MB，以18个Python脚本为核心，涵盖数据预处理、分词、标签处理、数据增强及多种模型实现，另有10张PNG图片记录训练曲线与预测演示，并附1份README说明文档，便于快速理解项目结构与运行逻辑。源码中实现了TextCNN、双向GRU、ResNet及注意力机制等模型，并针对罪名预测任务提供多组对比实验与成绩截图，可帮助读者掌握法律文本分类的完整流程、模型调参思路与数据增强策略。目前已有112人学习，适合希望复现赛题方案、积累竞赛经验或研究法律智能方向的读者参考借鉴。

1. 法律AI竞赛的入场券：CAIL2018 这套源码到底能跑出什么

如果你正在找法律智能方向的练手项目，或者想参加类似中国法研杯这样的司法 AI 竞赛，CAIL2018 是一个绕不开的起点。它把罪名预测、法条推荐、刑期预测三个任务打包在一起，给了一份带标注的刑事判决书数据集和一套可运行的参赛源码。你拿到这个压缩包，最直接的价值不是“读完”，而是“跑通”——让模型在你的机器上完成一次完整的训练和预测，看到准确率数字跳出来。这套东西适合两类人：一类是刚接触 NLP 多标签分类、想找个真实场景练手的学生；另一类是做法律科技产品、需要快速验证技术可行性的工程师。它不教你从零推导 Transformer，但它给你一条最短路径，让你在半天内看到法律文本分类的完整链路。源码里通常包含数据处理脚本、模型定义、训练入口和评估代码，学习说明则告诉你每个文件干什么、参数怎么调。别急着改模型，先把默认配置跑通，拿到 baseline 数字，再谈优化。

2. 拆开压缩包：CAIL2018 的数据长什么样、任务怎么定义

2.1 三个子任务的数据格式与标签体系

CAIL2018 的核心是三个互相独立但有逻辑关联的任务。罪名预测是典型的多标签分类，一份判决书可能同时涉及多个罪名，比如“盗窃罪”和“掩饰、隐瞒犯罪所得罪”经常一起出现。法条推荐更复杂，因为法条之间存在引用和竞合关系，标签空间有几百条，而且分布极不均衡。刑期预测则是回归任务，但实际处理时很多人会把它离散化成区间分类，因为直接回归的 MAE 很难降下来。

数据通常以 JSON 格式给出，每条样本包含事实描述、罪名列表、法条列表和刑期。事实描述是长文本，平均长度在 300 到 800 字之间，包含大量法律术语和固定表达。标签体系是预先定义好的，罪名大约 200 多个，法条 180 条左右，刑期从管制到死刑不等。你需要先统计标签分布，看看哪些罪名出现频率低于 10 次，这些长尾标签在训练时基本学不到，评估时却会拉低整体指标。

import json from collections import Counter # 读取训练集，统计罪名分布 with open('data/train.json', 'r', encoding='utf-8') as f: train_data = [json.loads(line) for line in f] # 统计罪名频次 crime_counter = Counter() for item in train_data: for crime in item['meta']['accusation']: crime_counter[crime] += 1 # 打印频次最低的 10 个罪名 print(crime_counter.most_common()[-10:]) # 输出示例：[('故意损毁文物罪', 3), ('非法猎捕、杀害珍贵、濒危野生动物罪', 5), ...]

这段代码的作用是快速摸清标签分布。meta字段里存的是标注信息，accusation是罪名列表。参数上注意encoding='utf-8'，法律文本里生僻字多，编码不对会直接报错。统计结果告诉你哪些标签需要做数据增强或者直接忽略。常见做法是把出现次数少于 5 次的标签合并成“其他”类，或者干脆从评估指标里剔除，否则模型会被这些噪声带偏。

2.2 从原始 JSON 到模型输入的预处理链路

原始数据不能直接喂给模型。你需要做几件事：分词、截断、构建标签映射、划分训练验证集。法律文本分词建议用jieba加自定义词典，把“故意杀人”“数罪并罚”这类术语加进去，否则会被切碎。截断长度一般取 512 个 token，覆盖 95% 以上的样本。标签映射要保存成label2id.json，预测时反查用。

import jieba from sklearn.model_selection import train_test_split # 加载自定义法律词典 jieba.load_userdict('dict/law_terms.txt') def preprocess(text, max_len=512): tokens = jieba.lcut(text) if len(tokens) > max_len: tokens = tokens[:max_len] return ' '.join(tokens) # 构建标签映射 all_crimes = sorted(crime_counter.keys()) crime2id = {c: i for i, c in enumerate(all_crimes)} # 处理所有样本 processed = [] for item in train_data: text = preprocess(item['fact']) labels = [crime2id[c] for c in item['meta']['accusation'] if c in crime2id] processed.append({'text': text, 'labels': labels}) # 划分训练验证集 train, val = train_test_split(processed, test_size=0.1, random_state=42)

jieba.load_userdict是必须的，法律领域的分词质量直接决定后续模型效果。max_len=512是个经验值，再长会爆显存，再短会丢信息。random_state=42保证每次划分一致，方便复现。处理完记得把crime2id存下来，评估和预测都要用。这一步的坑在于：验证集划分要按标签分层，否则某些稀有罪名可能全部分到训练集，验证集上完全测不到。

3. 模型选型与训练：从 TextCNN 到 BERT 的取舍

3.1 为什么法律文本分类首选 BERT 类预训练模型

法律文本的特点是长距离依赖和术语密集。TextCNN 能抓局部 n-gram 特征，但对“因为……所以……”这种跨句逻辑无能为力。BERT 的 self-attention 机制天然适合处理这种结构，而且预训练阶段已经见过大量正式书面语，迁移到法律领域只需要少量微调。CAIL2018 的源码里通常提供两种配置：一种是基于bert-base-chinese的微调脚本，另一种是 TextCNN 或 BiLSTM 的轻量实现。如果你的显卡显存小于 8GB，建议先用 TextCNN 跑通流程，再换 BERT 做精度提升。

选型时看三个指标：验证集上的 micro-F1、macro-F1 和训练时间。micro-F1 反映整体准确率，macro-F1 反映对稀有标签的识别能力。法律场景下 macro-F1 更重要，因为稀有罪名往往对应严重犯罪，漏判代价高。BERT 的 macro-F1 通常比 TextCNN 高 5 到 10 个点，但训练时间翻倍。

3.2 训练脚本的关键参数与显存优化

源码里的训练入口一般是train.py，核心参数包括batch_size、learning_rate、max_seq_len和epochs。BERT 微调时batch_size设 16 或 32，learning_rate用 2e-5 到 5e-5，太大容易震荡，太小收敛慢。max_seq_len设 512，再大显存吃不消。如果显存不够，开启梯度累积，用时间换空间。

# 单卡训练 BERT 的典型命令 python train.py \ --model_name bert-base-chinese \ --data_dir ./data \ --batch_size 16 \ --learning_rate 3e-5 \ --max_seq_len 512 \ --epochs 5 \ --gradient_accumulation_steps 2 \ --output_dir ./checkpoints

gradient_accumulation_steps=2表示每两步更新一次参数，等效于batch_size=32，但显存占用只有一半。epochs=5是经验值，再多会过拟合，验证集 loss 会反弹。训练过程中要盯着验证集的 macro-F1，如果连续两个 epoch 不涨，就提前停止。源码里一般有early_stopping逻辑，检查patience参数是否设成 2 或 3。

3.3 多标签分类的损失函数与阈值选择

罪名预测是多标签任务，输出层用 sigmoid 而不是 softmax，损失函数用BCEWithLogitsLoss。预测时每个标签独立判断是否超过阈值，默认 0.5，但法律场景下需要调整。比如“故意杀人罪”的阈值可以设低一点，宁可误报不可漏报；“非法占用农用地罪”可以设高一点，减少误判。

import torch.nn as nn class MultiLabelClassifier(nn.Module): def __init__(self, bert_model, num_labels): super().__init__() self.bert = bert_model self.classifier = nn.Linear(768, num_labels) self.loss_fn = nn.BCEWithLogitsLoss() def forward(self, input_ids, attention_mask, labels=None): outputs = self.bert(input_ids, attention_mask=attention_mask) logits = self.classifier(outputs.pooler_output) if labels is not None: loss = self.loss_fn(logits, labels.float()) return loss, logits return logits

BCEWithLogitsLoss内部做了 sigmoid，数值更稳定。outputs.pooler_output是 BERT 的句向量表示，也可以换成last_hidden_state的均值池化，效果因任务而异。阈值选择要在验证集上扫一遍，从 0.1 到 0.9，看哪个点 macro-F1 最高。别直接用 0.5，那是默认值，不是最优值。

4. 避坑与排查：跑 CAIL2018 源码时最容易翻车的五个地方

4.1 标签空间不一致导致评估报错

现象：训练时正常，评估时抛出KeyError或IndexError，提示某个标签 ID 不存在。原因：训练集和验证集的标签映射没有对齐，或者源码里硬编码了标签数量，但实际数据标签数对不上。解决：统一用训练集构建label2id，验证集和测试集都从这个映射里查。如果某个标签在训练集没出现但在验证集出现了，直接跳过该样本或映射到“其他”类。检查源码里num_labels是否等于len(label2id)。

4.2 显存溢出但 batch_size 已经调到 1

现象：CUDA out of memory，即使batch_size=1也报错。原因：max_seq_len设得太大，或者模型在计算 loss 时保留了中间变量，没有用torch.no_grad()。解决：把max_seq_len从 512 降到 256，看是否缓解。评估阶段用with torch.no_grad():包住前向传播。如果还不行，换用bert-base-chinese的蒸馏版，或者用fp16混合精度训练。

4.3 验证集指标虚高但测试集崩盘

现象：验证集 macro-F1 到 0.8，测试集只有 0.5。原因：验证集划分时没有按标签分层，导致稀有标签在验证集里被过采样，模型过拟合了这些标签。解决：用sklearn的train_test_split时加stratify参数，但多标签任务不能直接用。常见做法是先把每个样本的主标签取出来，按主标签分层，再划分。或者用iterative-stratification库做多标签分层。

4.4 法条推荐任务中法条顺序影响结果

现象：同一份判决书，法条列表顺序换一下，预测结果就变了。原因：源码里把法条当成序列处理，用了 RNN 或 Transformer 的编码器，顺序敏感。解决：法条推荐本质是集合预测，不是序列生成。把法条标签按 ID 排序后再输入，或者用set结构做池化。检查源码里是否有sort操作，没有就加上。

4.5 刑期预测的回归值超出合理范围

现象：模型预测刑期为 -3 个月或 500 年。原因：回归任务没有做输出裁剪，或者标签归一化时用了错误的均值和方差。解决：在输出层加clamp操作，把预测值限制在 [0, 300] 个月之间。训练前对刑期做 log 变换，log(刑期+1)，预测后再exp回来。检查源码里StandardScaler的mean_和scale_是否保存正确。

5. 从跑通到跑好：用学习说明里的技巧把 macro-F1 再提五个点

源码包里的学习说明通常不会写太细，但有几个技巧是实战中验证有效的。第一，对抗训练。在 embedding 层加扰动，用FGM或PGD，法律文本对扰动敏感，对抗训练能提升 2 到 3 个点 macro-F1。第二，标签平滑。多标签分类里把硬标签 0/1 换成 0.1/0.9，缓解过拟合。第三，模型融合。把 BERT 和 TextCNN 的预测结果加权平均，权重按验证集 F1 分配。

# FGM 对抗训练的核心实现 class FGM: def __init__(self, model, epsilon=1.0): self.model = model self.epsilon = epsilon self.backup = {} def attack(self): for name, param in self.model.named_parameters(): if param.requires_grad and 'embedding' in name: self.backup[name] = param.data.clone() norm = torch.norm(param.grad) if norm != 0: r_at = self.epsilon * param.grad / norm param.data.add_(r_at) def restore(self): for name, param in self.model.named_parameters(): if name in self.backup: param.data = self.backup[name] self.backup = {}

epsilon=1.0是扰动幅度，太大训练不稳定，太小没效果。attack只在 embedding 层做，其他层不动。训练时先正常前向反向，再attack，再前向反向一次，最后restore。这套流程能让模型对输入扰动更鲁棒，法律文本里同义词替换频繁，对抗训练收益明显。

验证方法上，别只看整体 F1。把测试集按罪名频次分成三组：高频（>100 次）、中频（10-100 次）、低频（<10 次），分别算 macro-F1。如果低频组 F1 低于 0.3，说明模型根本没学到长尾标签，需要做数据增强或者换用 focal loss。我一般会先跑一版 baseline，记录三组数字，再逐项优化，每次只改一个变量，看哪组提升最明显。

最后说个血泪教训：别在训练集上调阈值。我见过有人把阈值调到 0.3，训练集 F1 冲到 0.9，测试集直接崩到 0.4。阈值必须在验证集上选，选完锁死，测试集只跑一次。这个习惯能帮你省下大量后悔药。希望帮到你。

本文还有配套的精品资源，点击获取