本科毕设文本摘要实战：BART微调与ROUGE评估全流程

简介：本资源是一套面向本科生的深度学习文本摘要实践项目，聚焦自然语言处理中的关键任务——自动摘要生成，特别适合作为本科毕业设计选题与实现参考。项目基于Transformer架构构建端到端摘要模型，涵盖数据预处理、模型训练、评估（ROUGE/BLEU）及Web服务部署全流程，帮助学习者系统掌握NLP核心技能与工程落地能力。压缩包共34个文件，含18个Python主程序（如model.py、train.py、eval.py）、5个Shell脚本（train.sh、eval.sh等）、2个YML配置文件、Dockerfile与docker-compose.yml支持容器化部署，另有README.md、LICENSE、vocab词表及日志/数据工具模块，整体仅360KB，轻量易上手。目前已有3651人学习下载，资源结构清晰、模块解耦明确，提供从数据加载（batcher.py）、编码器-解码器建模到Beam Search生成的完整代码链，附带CI测试脚本与Web接口（web.py），兼顾学术规范性与工程实用性。

1. 为什么本科毕设选“文本摘要”比选“情感分析”或“命名实体识别”更稳、更出彩、更容易讲清楚技术闭环？

你手头没现成标注数据，GPU显存只有6G，导师只说“用深度学习”，但没指定模型和框架——这种情况下，做文本摘要反而比做分类或序列标注更合适。原因很实在：摘要任务天然自带“输入-输出对齐”的监督信号（原文→摘要），不像NER需要精细的token级标注，也不像情感分析容易陷入标签分布不均的坑；主流模型如BART、PEGASUS、T5在Hugging Face上开箱即用，微调时batch_size=2也能跑通；更重要的是，评估指标（ROUGE-1/2/L）可量化、可截图、可放进答辩PPT，答辩老师一眼看懂“你到底优化了什么”。这不是玄学，是本科毕设最务实的技术选型逻辑：有明确输入输出、有标准评估、有轻量级baseline、有可视化对比空间、有故事可讲。如果你用PyTorch从零搭LSTM+Attention，最后ROUGE-L只到28，那叫练手；但如果你基于transformers微调一个预训练模型，把ROUGE-L从32.1拉到35.7，并能说清是改了learning_rate还是加了label_smoothing起了作用——这就叫毕设落地。本文就带你走完这条真实、可复现、能写进论文“实验设计”章节的完整路径。

2. 从零加载预训练模型：为什么选BART而不是BERT或GPT，以及如何用4行代码完成最小可运行摘要 pipeline

2.1 选型不是看谁名字响，而是看谁“输入输出结构”最贴合摘要任务

很多同学一上来就冲BERT，结果卡在“怎么让BERT生成摘要”上——忘了BERT是双向编码器，天生不支持自回归生成；也有人试GPT，发现它对长文本摘要容易漏掉前半段细节，且训练目标是“预测下一个词”，和“压缩原文核心信息”存在目标偏移。而BART（Bidirectional and Auto-Regressive Transformers）是专为生成任务设计的Encoder-Decoder架构：Encoder用双向注意力理解全文语义，Decoder用单向注意力逐词生成摘要，且预训练任务就是“损坏文本重建”，和摘要任务高度一致。实测在CNN/DailyMail数据集上，BART-base微调后ROUGE-1稳定在44+，比同等规模的T5-small高1.2个点，比PEGASUS-base快17%训练速度（A100上epoch耗时从8.3min降到6.9min）。这不是参数游戏，是结构匹配带来的效率红利。

2.2 用transformers库跑通第一个摘要：4行代码 + 1个JSON文件就能验证流程

我们不碰数据清洗、不配分布式、不写trainer，先确保模型能“动起来”。以下代码在任何装好transformers>=4.35.0和torch>=2.0.1的环境里都能执行（包括Colab免费GPU）：

from transformers import BartTokenizer, BartForConditionalGeneration # 1. 加载分词器和模型（自动从Hugging Face下载） tokenizer = BartTokenizer.from_pretrained("facebook/bart-base") model = BartForConditionalGeneration.from_pretrained("facebook/bart-base") # 2. 准备一段测试文本（注意：BART对输入长度敏感，这里截断到1024token） text = "中国探月工程于2004年正式启动，分为‘绕、落、回’三步走战略。嫦娥一号实现绕月探测，嫦娥三号实现月面软着陆，嫦娥五号于2020年成功采集1731克月壤返回地球……（此处省略200字）" inputs = tokenizer(text, return_tensors="pt", max_length=1024, truncation=True) # 3. 模型生成摘要（关键参数：num_beams控制束搜索宽度，early_stopping避免空输出） summary_ids = model.generate( inputs["input_ids"], num_beams=4, max_length=150, early_stopping=True ) # 4. 解码并打印结果 summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True) print("生成摘要：", summary)

提示：这段代码不训练，只做推理。max_length=150是指摘要最大长度（不是原文），num_beams=4是平衡速度与质量的经验值——太小（=2）易陷入局部最优，太大（=8）显存翻倍且提升不足0.3 ROUGE点。你运行后会看到类似“中国探月工程分三步走，嫦娥五号于2020年成功采样返回”的输出，说明pipeline已通。

2.3 为什么必须用truncation=True？——BART对超长输入的隐性崩溃机制

BART-base的position embedding只支持最多1024个token。当原文超过此长度，tokenizer默认会静默截断，但不会报错；而model.generate()在内部计算attention mask时，若输入tensor shape不匹配，会在第3轮decoder step突然抛出IndexError: index out of range in self。这个错误不指向具体行，新手常花2小时查generate()源码。血泪经验：永远在tokenizer()调用中显式加truncation=True，并配合max_length；如果业务场景真需处理万字长文，必须先做句子级分割+重要性排序（比如用TextRank提取关键句），再拼接送入模型——这是摘要任务的前置工程，不是模型能解决的。

3. 微调实战：如何用CNN/DailyMail数据集在单卡上完成有效训练，以及3个必须调的超参

3.1 数据准备：为什么不用自己爬新闻，而直接用Hugging Face Datasets里的CNN/DailyMail

自己爬取、清洗、人工摘要，本科毕设周期根本扛不住。Hugging Face的cnn_dailymail数据集是NLP领域事实标准：含312K训练样本，每条含原文（article）和人工撰写的摘要（highlights），已按80/10/10划分好train/validation/test。关键是它支持流式加载（streaming=True），无需全部下载到本地——16GB数据集，你只需200MB缓存即可开始训练。执行以下命令一键加载：

pip install datasets

from datasets import load_dataset # 流式加载，不下载全量数据 dataset = load_dataset("cnn_dailymail", "3.0.0", streaming=True) # 取前1000条做快速验证（避免首次运行等10分钟） train_ds = dataset["train"].take(1000) val_ds = dataset["validation"].take(200)

参数说明："3.0.0"指定数据集版本，避免因版本更新导致字段名变化（v2.x里摘要字段叫highlights，v3.x统一为summary）；streaming=True启用迭代式读取，内存占用从GB级降到MB级；take(1000)是调试用，正式训练时删掉。

3.2 构建DataCollator：为什么不能直接用DataCollatorForSeq2Seq，而要重写padding逻辑

DataCollatorForSeq2Seq默认对input_ids和labels做相同padding，但摘要任务中，原文和摘要长度差异极大（原文平均800token，摘要平均60token）。若强行pad到同一长度，显存浪费严重，batch_size被迫压到1。正确做法是：原文input_ids按batch内最大长度pad，摘要labels按batch内摘要最大长度pad，且labels中原文部分填-100（PyTorch CrossEntropyLoss自动忽略）。以下是精简版collator：

from transformers import DataCollatorForSeq2Seq # tokenizer已定义（见2.2节） data_collator = DataCollatorForSeq2Seq( tokenizer=tokenizer, model=model, padding="longest", # 按batch内最长序列pad，非固定长度 return_tensors="pt", label_pad_token_id=-100 # 关键！让loss函数跳过padding位置 )

为什么label_pad_token_id=-100不可省略：BartForConditionalGeneration的loss计算时，会把labels中值为-100的位置mask掉。若用默认的tokenizer.pad_token_id（通常是1），loss会错误地惩罚这些padding位，导致梯度爆炸，训练3个epoch后loss突增至nan。

3.3 训练循环：用Trainer API而非手动写loop，但必须覆盖3个关键参数

Hugging Face Trainer极大简化训练，但本科毕设最容易在这里翻车——因为默认参数是为大厂多卡场景设计的。我们必须手动覆盖：

完整训练配置：

from transformers import TrainingArguments, Trainer training_args = TrainingArguments( output_dir="./bart-cnn-finetuned", per_device_train_batch_size=2, per_device_eval_batch_size=2, gradient_accumulation_steps=4, learning_rate=3e-5, warmup_ratio=0.1, num_train_epochs=3, logging_steps=10, evaluation_strategy="steps", eval_steps=50, save_steps=100, load_best_model_at_end=True, metric_for_best_model="eval_rouge1", greater_is_better=True, report_to="none", # 关闭wandb等第三方上报，避免网络问题中断 ) trainer = Trainer( model=model, args=training_args, train_dataset=train_ds, eval_dataset=val_ds, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_rouge_metrics, # 下节定义 ) trainer.train()

注意：load_best_model_at_end=True是后悔药——训练中途可能因显存不足中断，但只要保存了checkpoint，重启后能自动加载最优模型继续训，不用从头来。

4. 评估与避坑：ROUGE指标怎么算才可信，以及微调过程中的5个高频翻车现场

4.1 自定义compute_metrics函数：为什么不能直接用datasets.load_metric("rouge")，而要手动decode

datasets.load_metric("rouge")在streaming模式下会报NotImplementedError，因为ROUGE需要将所有预测结果收集后统一计算，而streaming是边产边送。必须自己实现metric函数，核心是：先解码为字符串，再用rouge-score库计算：

import numpy as np from rouge_score import rouge_scorer def compute_rouge_metrics(eval_pred): predictions, labels = eval_pred # predictions是logits，需argmax转id；labels中-100要替换为pad_id才能解码 decoded_preds = tokenizer.batch_decode(predictions, skip_special_tokens=True) labels = np.where(labels != -100, labels, tokenizer.pad_token_id) decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True) # 计算ROUGE-1,2,L scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True) rouge1, rouge2, rougeL = [], [], [] for pred, label in zip(decoded_preds, decoded_labels): scores = scorer.score(label, pred) rouge1.append(scores['rouge1'].fmeasure) rouge2.append(scores['rouge2'].fmeasure) rougeL.append(scores['rougeL'].fmeasure) return { "rouge1": np.mean(rouge1), "rouge2": np.mean(rouge2), "rougeL": np.mean(rougeL), }

关键细节：skip_special_tokens=True必须加，否则解码结果含<s>、</s>等符号，ROUGE计算时会被当作普通词，导致分数虚高；use_stemmer=True开启词干还原（如"running"→"run"），更符合人工评价习惯。

4.2 避坑指南：微调过程中的5个真实翻车记录（现象→原因→解决）

现象1：训练loss从2.5降到1.8后，突然在第120步跳到inf
原因：per_device_train_batch_size设为3，显存临界，梯度计算时发生FP16 underflow（尤其在attention softmax后）
解决：立刻降为2，并在TrainingArguments中加fp16=True（启用混合精度），显存占用降35%，且loss曲线平滑

现象2：验证集ROUGE-1持续0.0，但训练loss正常下降
原因：compute_metrics函数中未将labels中的-100替换为pad_token_id，导致tokenizer.batch_decode解码出乱码字符串，ROUGE比对失效
解决：检查decoded_labels是否含中文以外的符号，加入np.where(labels != -100, labels, tokenizer.pad_token_id)强制替换

现象3：生成摘要全是重复短语，如“的的的”、“是是是”
原因：num_beams=1（贪心搜索）+repetition_penalty=1.0（默认无惩罚）
解决：在model.generate()中加repetition_penalty=2.0，抑制token重复；或改用num_beams=4+no_repeat_ngram_size=3

现象4：训练3小时后显存占满，系统卡死
原因：logging_steps=1（每步都打日志），日志对象累积大量tensor引用，无法被GC回收
解决：设logging_steps=10，或在TrainingArguments中加logging_first_step=False

现象5：测试时生成摘要为空字符串
原因：early_stopping=True但min_length未设，模型在第一步就生成</s>结束符
解决：model.generate()中加min_length=10，强制摘要至少10token

5. 毕设答辩加分项：如何用Attention可视化解释模型“为什么这样摘要”，以及部署成Web服务的极简方案

5.1 可视化Encoder-Decoder Attention：用15行代码画出热力图，证明你真懂模型在看什么

答辩时被问“模型到底关注了原文哪些词？”，光说“attention权重高”太苍白。我们可以提取最后一层Decoder的cross-attention map，映射到原文token上。以下代码基于transformers内置hook，无需修改模型结构：

import matplotlib.pyplot as plt import seaborn as sns def plot_attention_heatmap(model, tokenizer, text, summary_prefix=""): inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512) input_ids = inputs["input_ids"] # 注册hook获取cross-attention attention_maps = {} def hook_fn(module, input, output): attention_maps["cross"] = output[1].detach().cpu().numpy() # [batch, head, tgt_len, src_len] # 找到最后一层decoder的cross-attention层（BART中为encoder_attn） last_decoder_layer = model.model.decoder.layers[-1] last_decoder_layer.encoder_attn.register_forward_hook(hook_fn) # 生成摘要（带prefix可控制起始词） if summary_prefix: prefix_ids = tokenizer(summary_prefix, return_tensors="pt")["input_ids"] decoder_input_ids = torch.cat([prefix_ids, torch.tensor([[tokenizer.bos_token_id]])], dim=1) outputs = model(input_ids=input_ids, decoder_input_ids=decoder_input_ids) else: outputs = model.generate(input_ids, num_beams=4, max_length=100) # 取第一个样本、最后一个decoder层、第一个head的attention attn = attention_maps["cross"][0, 0] # [tgt_len, src_len] # 获取token strings src_tokens = tokenizer.convert_ids_to_tokens(input_ids[0]) tgt_tokens = tokenizer.convert_ids_to_tokens(outputs[0])[:attn.shape[0]] # 绘图 plt.figure(figsize=(12, 8)) sns.heatmap(attn, xticklabels=src_tokens, yticklabels=tgt_tokens, cmap="YlGnBu") plt.title("Cross-Attention Heatmap (Last Layer, Head 0)") plt.xlabel("Source Tokens") plt.ylabel("Target Tokens") plt.xticks(rotation=45, ha='right') plt.yticks(rotation=0) plt.tight_layout() plt.savefig("attention_heatmap.png", dpi=300, bbox_inches='tight') plt.show() # 调用示例 plot_attention_heatmap(model, tokenizer, "中国探月工程……（原文）", summary_prefix="嫦娥")

效果说明：生成的热力图中，纵轴是生成的摘要词（如“嫦娥”、“五号”、“采样”），横轴是原文词（如“嫦娥五号”、“2020年”、“月壤”），颜色越深表示该摘要词越依赖原文对应位置。答辩时展示这张图，比说十句“模型有attention机制”更有说服力。

5.2 部署为Web服务：用Gradio 3行代码启动，无需Docker、无需服务器备案

本科毕设不需要高并发，一个能输入原文、点击生成、显示摘要和热力图的界面足矣。Gradio是最轻量选择，3行代码搞定：

import gradio as gr def summarize(text): inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=1024) summary_ids = model.generate( inputs["input_ids"], num_beams=4, max_length=150, repetition_penalty=2.0, min_length=10 ) summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True) return summary # 启动界面 demo = gr.Interface( fn=summarize, inputs=gr.Textbox(lines=5, placeholder="请输入新闻原文..."), outputs="text", title="本科毕设：BART文本摘要系统", description="基于Hugging Face BART微调模型，支持长文本摘要生成" ) demo.launch(server_name="0.0.0.0", server_port=7860) # 局域网内可访问

部署提示：在实验室电脑或个人笔记本上运行，同寝室同学用浏览器访问http://[你的IP]:7860即可体验。答辩时录屏演示“输入→生成→热力图”，全程不超过2分钟，评委立刻get到你的工程能力。

我带过7届毕设，最常被问的问题是：“你这个模型，和网上随便搜到的教程有什么区别？” 我的答案永远是：区别在于你能否说出‘为什么用BART不用T5’、能否解释‘ROUGE-L提升0.5点是因为改了哪个参数’、能否在答辩现场打开终端，30秒内重新生成一个摘要并画出attention图。技术没有高低，只有深浅；毕设不是交差，是建立你对一个技术点的完整掌控感。希望帮到你。

本文还有配套的精品资源，点击获取