简介：本资源是一份面向本科生的深度学习文本摘要实践项目，聚焦自然语言处理中的自动摘要任务，以Transformer模型为核心技术方案，完整覆盖数据预处理、模型构建、训练调优与评估全流程，特别适合作为本科毕业设计选题与实现参考。压缩包共34个文件，包含18个Python核心脚本（如train.py、model.py、eval.py、beam_search.py）、5个Shell自动化脚本（train.sh、test.sh等）、2个YAML配置文件、1个词汇表vocab及README.md等工程必要文件，整体仅360KB，轻量紧凑且结构清晰，便于快速部署与代码溯源。已有3491人学习下载，反映出较强的教学适用性与实践认可度。读者可直接复用其编码器-解码器架构实现、ROUGE/BLEU评估逻辑、Docker容器化部署方案（含Dockerfile与docker-compose.yml）以及分块数据加载（chunked/）等关键设计，同时获得从数据准备到Web服务（web.py）的端到端工程范例。
1. 为什么本科毕设选“基于深度学习的文本摘要自动生成”不是跟风，而是稳扎稳打的高性价比选择？
很多同学看到“深度学习”“NLP”就本能觉得难——模型太大、显存不够、数据难找、结果难解释。但真实情况是：文本摘要任务在本科毕设尺度下，恰恰是深度学习落地最友好、验证路径最清晰、成果展示最直观的NLP方向之一。它不依赖私有API（不像对话系统要调用大模型接口），不强求亿级语料（不像预训练语言模型），也不需要复杂硬件（单卡2080Ti或甚至RTX3060就能跑通主流Seq2Seq+Attention模型）。你只需要一个标准中文新闻摘要数据集（如LCSTS或THUCNews摘要子集）、一份可复现的PyTorch训练脚本、一套能跑通BLEU/ROUGE评估的本地流程，就能完整呈现“输入原文→模型编码→解码生成→人工+自动双评估”的闭环。我带过7届毕设，凡是把摘要模型跑通、调好beam search宽度、能对比展示原始摘要与生成摘要差异的同学，答辩时老师问得最多的是“你为什么选这个结构？”“ROUGE-L低了0.5，你排查过是attention权重还是copy机制的问题？”，而不是“你这模型哪儿下载的？”。这说明——它真正在考你的工程拆解能力、参数敏感度和问题定位逻辑，而不是堆算力或抄代码。适合想扎实练NLP pipeline、又不想被部署/多模态/大模型推理这些高门槛卡住进度的同学。
2. 从零搭起摘要模型：为什么放弃Transformer原生实现，而用Hugging Face + PyTorch轻量封装？
2.1 本科毕设场景下的模型选型铁律：够用、可控、可解释
你不需要从头写BERT的LayerNorm或GPT的因果掩码。本科毕设的核心价值不在“造轮子”，而在“懂轮子怎么转、卡在哪、怎么修”。所以首选Hugging Face Transformers库中已验证的预训练编码器-解码器架构，比如bert2bert（google/mt5-small或facebook/bart-base）或更轻量的t5-small。它们自带分词器、位置编码、注意力机制，且社区文档完善、报错信息明确。我试过纯手写Transformer Encoder-Decoder：光是处理变长序列的padding mask和causal mask对齐，就让两个学生卡了11天——而用transformers.Trainer配合DataCollatorForSeq2Seq，3行代码搞定动态padding+label masking。这不是偷懒，是把有限时间聚焦在真正影响效果的环节：数据清洗策略、loss权重设计、生成时的temperature控制。
2.2 本地最小可运行环境：conda + PyTorch 1.13 + transformers 4.35 的黄金组合
# 创建隔离环境（避免与系统包冲突） conda create -n nlp-summarize python=3.9 conda activate nlp-summarize # 安装指定版本（避坑：transformers 4.36+在Windows上偶发tokenizer线程锁死） pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 --extra-index-url https://download.pytorch.org/whl/cu117 pip install transformers==4.35.2 datasets==2.14.6 sentencepiece==0.1.99 scikit-learn==1.3.0提示：
torch==1.13.1+cu117对应CUDA 11.7，这是RTX30系显卡（如3060/3080）驱动兼容性最稳定的版本；transformers==4.35.2是最后一个默认启用flash_attention前的稳定版，避免新版本里use_cache=True导致的decoder缓存错位问题——这个坑我在2023年帮3个学生填过。
2.3 数据准备：LCSTS数据集的三步清洗法（过滤、对齐、截断）
LCSTS（Chinese Short Text Summarization）是中文摘要经典数据集，但原始版本含大量噪声：标题与正文无关、摘要过短（<5字）、存在乱码符号。必须做三步清洗：
- 过滤无效样本：剔除摘要长度<3字符或>50字符的样本（摘要太短无法评估ROUGE，太长违背“短文本摘要”定义）；
- 强制字段对齐：LCSTS V2中部分样本的
content字段含HTML标签，需用re.sub(r'<[^>]+>', '', text)清除； - 统一长度截断：将原文截断至512 token，摘要截断至64 token（适配
bert2bert最大长度）。
from datasets import load_dataset import re def clean_text(text): # 清除HTML标签、多余空格、不可见字符 text = re.sub(r'<[^>]+>', '', text) text = re.sub(r'\s+', ' ', text).strip() return text # 加载并清洗 dataset = load_dataset("lcsts", "v2") # 注意：需提前注册Hugging Face账号获取访问权限 train_data = dataset["train"].map( lambda x: { "document": clean_text(x["summary"]), # LCSTS中summary是原文，content是摘要！命名反直觉 "summary": clean_text(x["content"]) } ).filter(lambda x: 3 <= len(x["summary"]) <= 50 and len(x["document"]) > 10) # 截断（使用tokenizer预估token数，比按字符截更准） from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese") def tokenize_and_truncate(examples): inputs = tokenizer( examples["document"], truncation=True, max_length=512, padding=False, return_tensors=None ) labels = tokenizer( examples["summary"], truncation=True, max_length=64, padding=False, return_tensors=None ) return {"input_ids": inputs["input_ids"], "labels": labels["input_ids"]} tokenized_dataset = train_data.map(tokenize_and_truncate, batched=True, remove_columns=["document", "summary"])这段代码的关键在于：remove_columns必须显式删除原始字段，否则Trainer会因字段名冲突报错；padding=False是为后续DataCollatorForSeq2Seq留出动态padding空间——这是新手最容易忽略的细节。
3. 训练与生成：如何用Trainer API跑通端到端流程，并避开beam search的玄学陷阱？
3.1 Trainer配置：learning_rate、batch_size、warmup_steps的本科友好值
本科毕设不追求SOTA，而追求“跑通+可调优”。以下参数经实测在RTX3060（12GB显存）上稳定收敛：
| 参数 | 推荐值 | 为什么这么设 |
|---|---|---|
per_device_train_batch_size | 8 | 大于12会OOM，小于4收敛慢且loss震荡大 |
learning_rate | 3e-5 | BERT类模型微调的经典值，比1e-4收敛更稳 |
num_train_epochs | 10 | LCSTS小数据集上，10轮足够收敛，再训易过拟合 |
warmup_steps | 500 | 占总step约15%，避免初期梯度爆炸（实测不加warmup，前3轮loss常突增至10+） |
weight_decay | 0.01 | 防止全连接层过拟合，尤其对小数据集关键 |
from transformers import TrainingArguments, Trainer from transformers import AutoModelForSeq2SeqLM model = AutoModelForSeq2SeqLM.from_pretrained("bert-base-chinese") # 注意：此处用bert-base-chinese作encoder，decoder需额外初始化 # 实际中建议用bart-base或mt5-small，但为演示原理，此处展示手动构建 # 更稳妥做法：model = AutoModelForSeq2SeqLM.from_pretrained("fnlp/bart-base-chinese") training_args = TrainingArguments( output_dir="./summarize-checkpoint", per_device_train_batch_size=8, num_train_epochs=10, warmup_steps=500, learning_rate=3e-5, weight_decay=0.01, logging_dir="./logs", logging_steps=100, save_steps=1000, evaluation_strategy="steps", eval_steps=500, load_best_model_at_end=True, metric_for_best_model="rouge-l", greater_is_better=True, report_to="none", # 关闭wandb，避免网络问题中断训练 ) trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset, tokenizer=tokenizer, data_collator=data_collator, # 下节详述 ) trainer.train()3.2 DataCollatorForSeq2Seq：为什么它比手动padding更可靠？
手动写collate_fn容易犯两个致命错误：1）labels未右移（decoder输入应是<s>摘要文本，而label是摘要文本</s>）；2）attention_mask未同步截断。DataCollatorForSeq2Seq自动处理：
- 将
labels左移一位作为decoder input_ids； - 为decoder input_ids生成对应的
decoder_attention_mask； - 对所有tensor做动态padding（按batch内最长序列补0）。
from transformers import DataCollatorForSeq2Seq data_collator = DataCollatorForSeq2Seq( tokenizer=tokenizer, model=model, label_pad_token_id=-100, # -100会被loss函数忽略，避免padding token参与计算 pad_to_multiple_of=8, # 提升GPU计算效率（Tensor Core要求8字节对齐） )注意：
label_pad_token_id=-100是关键！若设为tokenizer.pad_token_id（通常是0），padding位置会被计入loss，导致模型学会“多输出padding”来降低loss——这是生成质量差的根源之一。
3.3 生成阶段：beam search的3个必调参数与人工可读性平衡术
生成不是“run一下就完事”。generate()的参数直接决定输出是否可用：
| 参数 | 推荐值 | 效果说明 |
|---|---|---|
num_beams | 4 | 大于8显存暴涨，小于2易陷入局部最优（生成重复短句） |
max_length | 64 | 严格限制，避免无限生成（LCSTS摘要均值约32字） |
no_repeat_ngram_size | 2 | 禁止二元重复（如“人工智能人工智能”），提升流畅度 |
def generate_summary(model, tokenizer, text, max_len=64): inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512) inputs = inputs.to(model.device) outputs = model.generate( **inputs, num_beams=4, max_length=max_len, no_repeat_ngram_size=2, early_stopping=True, # 遇到</s>立即停，避免冗余 do_sample=False, # 禁用采样，保证可复现 ) return tokenizer.decode(outputs[0], skip_special_tokens=True) # 测试 sample_text = "中国科学家在量子计算领域取得突破性进展..." summary = generate_summary(model, tokenizer, sample_text) print(f"原文：{sample_text}\n摘要：{summary}")血泪经验：do_sample=False必须显式设置！默认为True，会导致每次生成结果不同，答辩时老师让你现场重跑，你可能得到完全不同的摘要——这会让“模型效果”变成玄学。
4. 评估与可视化：ROUGE指标的本地化计算与人工评估表设计
4.1 为什么不能只信ROUGE分数？——本科毕设的双轨评估法
ROUGE-L高≠摘要好。曾有个学生ROUGE-L达0.42（接近SOTA），但人工检查发现：模型把“苹果公司发布新款iPhone”摘要成“科技公司推出新产品”，泛化过度丢失关键实体。因此必须建立“自动指标+人工打分”双轨制：
- 自动层：用
rouge-score库计算ROUGE-1/2/L，验证模型基础能力； - 人工层：设计5维度打分表（相关性、简洁性、流畅性、事实一致性、关键信息保留），由3人独立评分取均值。
from rouge_score import rouge_scorer scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True) # 假设predictions是模型生成列表，references是标准摘要列表 scores = scorer.score(' '.join(predictions[0]), ' '.join(references[0])) print(f"ROUGE-L: {scores['rougeL'].fmeasure:.4f}") # 只取F1值提示：
rouge-score默认对中文按字切分，无需jieba分词——这是它比NLTK版ROUGE更适合中文的优势。
4.2 人工评估表：5维度+具体扣分项（答辩时直接打印给老师）
| 维度 | 满分 | 扣分项（每项-0.5分） | 示例 |
|---|---|---|---|
| 相关性 | 2 | 摘要包含原文未提及信息；遗漏核心事件主体 | 原文讲“华为发布Mate60”，摘要写“某国产手机发布新机” |
| 简洁性 | 2 | 字数超原文30%；出现冗余修饰词（如“非常”“特别”） | 原文32字，摘要写45字且含3个“非常” |
| 流畅性 | 2 | 主谓宾残缺；标点错误（如句号用顿号） | “华为发布了新手机。” → “华为发布了新手机、” |
| 事实一致性 | 2 | 时间/地点/数字错误（如“2023年”写成“2024年”） | 原文“投资10亿元”，摘要写“投资1亿元” |
| 关键信息保留 | 2 | 遗漏主语、谓语、宾语任一要素 | 原文“张三起诉李四侵权”，摘要仅“起诉侵权” |
这张表的价值在于：把主观评价转化为可追溯的客观动作。答辩时老师问“你觉得摘要好不好”，你可以直接翻开评估表第3行第2列：“这里‘非常’属于冗余修饰，扣0.5分，所以简洁性得1.5分”。
4.3 可视化对比：用HTML表格呈现原文-摘要-标准摘要三栏对照
生成一个本地HTML文件，方便答辩时投屏展示：
import pandas as pd def create_comparison_html(samples, output_path="summary_comparison.html"): html_rows = [] for i, (doc, pred, ref) in enumerate(samples[:5]): # 只展示前5条 html_rows.append(f""" <tr> <td>{doc[:100]}...</td> <td><b style="color:green">{pred}</b></td> <td>{ref}</td> </tr> """) html_content = f""" <html><body><h2>摘要生成效果对比（前5条样本）</h2> <table border="1" class="dataframe"> <thead><tr><th>原文</th><th>模型生成摘要</th><th>标准摘要</th></tr></thead> <tbody>{"".join(html_rows)}</tbody> </table></body></html> """ with open(output_path, "w", encoding="utf-8") as f: f.write(html_content) print(f"对比HTML已保存至：{output_path}") # 调用示例 create_comparison_html([ ("中国航天局宣布天宫空间站完成在轨建造...", "天宫空间站建造完成", "天宫空间站完成在轨建造"), # ...更多样本 ])这个HTML不用任何前端框架，纯原生table，打开即见效果。老师能一眼看出：绿色加粗的生成摘要是否抓住了“天宫空间站”“在轨建造”等关键词——这比念ROUGE数字直观十倍。
5. 避坑指南：本科毕设中最常踩的5个深坑及血泪解决方案
5.1 现象：训练loss前期骤降后长期徘徊在1.8~2.0，验证ROUGE不涨
原因：label_pad_token_id未设为-100，padding token参与loss计算，模型学会“多输出padding”来刷低loss。
解决：检查DataCollatorForSeq2Seq初始化时是否传入label_pad_token_id=-100；用print(labels[0][:10])确认padding位置值为-100而非0。
5.2 现象：生成摘要全是“的的的……”或重复短语（如“人工智能人工智能”）
原因：no_repeat_ngram_size未启用，或max_length过大导致decoder无限循环生成padding。
解决：generate()中必须显式设置no_repeat_ngram_size=2和max_length=64；若仍重复，尝试repetition_penalty=1.2（轻微惩罚重复）。
5.3 现象：ROUGE计算结果为0.0，或rouge-score报KeyError: 'rougeL'
原因：输入字符串含换行符\n或制表符\t，rouge_scorer默认不处理；或references为list但predictions为str（类型不匹配）。
解决：预处理时用text.replace("\n", " ").replace("\t", " ")；确保predictions和references均为字符串列表，且长度一致。
5.4 现象：Trainer.train()报CUDA out of memory，即使batch_size=1
原因：model.half()未启用，或gradient_accumulation_steps未设（默认为1，显存峰值过高）。
解决：在TrainingArguments中添加fp16=True（启用半精度）和gradient_accumulation_steps=4（累积4步更新一次），显存占用直降60%。
5.5 现象：加载fnlp/bart-base-chinese报OSError: Can't load tokenizer
原因：Hugging Face模型hub中该模型的tokenizer配置缺失，或本地缓存损坏。
解决：手动指定tokenizer路径——tokenizer = AutoTokenizer.from_pretrained("fnlp/bart-base-chinese", use_fast=False)；或改用更稳定的uer/roberta-base-finetuned-chinanews作为encoder。
6. 进阶技巧：用Attention权重热力图解释模型决策，让答辩多拿2分
6.1 为什么热力图比ROUGE更能体现你的工作深度？
ROUGE只告诉你“像不像”，热力图告诉你“为什么像”。当老师问“模型怎么知道该摘‘天宫空间站’而不是‘航天局’？”，你能打开热力图指出：“看这里，encoder最后一层中，‘天宫空间站’token对decoder第一个token的attention权重达0.72，而‘航天局’仅0.11”——这瞬间把项目从“调参”升维到“可解释AI”。
6.2 三步提取BART模型的Attention权重（无需修改源码）
BART的attention权重藏在model.generate(..., output_attentions=True)返回的attentions元组中。关键是要定位到encoder最后一层、decoder第一层、且对应摘要首字的权重：
def get_encoder_attention(model, tokenizer, text): inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512) inputs = inputs.to(model.device) # 获取encoder各层attention（不生成，只前向） encoder_outputs = model.encoder( input_ids=inputs["input_ids"], attention_mask=inputs["attention_mask"], output_attentions=True ) # 取最后一层attention [batch, heads, seq_len, seq_len] last_layer_attn = encoder_outputs.attentions[-1][0] # [heads, seq_len, seq_len] # 平均所有head（或选最大权重head） avg_attn = last_layer_attn.mean(dim=0) # [seq_len, seq_len] # 获取token对应文字 tokens = tokenizer.convert_ids_to_tokens(inputs["input_ids"][0]) return tokens, avg_attn.cpu().numpy() # 可视化（需安装matplotlib） import matplotlib.pyplot as plt import numpy as np tokens, attn_matrix = get_encoder_attention(model, tokenizer, "中国航天局宣布天宫空间站完成在轨建造") plt.figure(figsize=(10, 8)) plt.imshow(attn_matrix, cmap='viridis', aspect='auto') plt.xticks(range(len(tokens)), tokens, rotation=45, fontsize=8) plt.yticks(range(len(tokens)), tokens, fontsize=8) plt.title("Encoder Last Layer Attention Heatmap") plt.colorbar() plt.tight_layout() plt.savefig("attention_heatmap.png", dpi=300, bbox_inches='tight')6.3 答辩话术设计：把热力图转化成技术叙事
不要说“这是attention热力图”，要说：
“我观察到，当模型处理‘天宫空间站’这个词时，它对‘完成’‘在轨’‘建造’三个动词的注意力权重显著高于其他词（图中红色区块）。这说明模型并非机械匹配关键词，而是捕捉到了‘空间站’与‘建造动作’之间的语义依存关系——这正是传统TF-IDF摘要做不到的深层理解。”
这种表述把一张图变成了方法论优势的证据链。我去年指导的学生用这招，让原本只打算给85分的老师当场加到92分，理由是：“能看出你真的在思考模型在学什么，而不是在跑通一个pipeline”。
最后说一句实在话：本科毕设不是科研竞赛，而是你第一次以工程师身份交付一个完整AI模块。它不苛求你发明新算法，但会严苛检验你能否把开源工具链里的每个齿轮咬合到位——从数据清洗的正则表达式，到ROUGE计算的字符串预处理，再到热力图坐标轴的标签旋转角度。这些细节没有捷径，只有亲手print()过100次tensor shape、grep过50次error log、在深夜重启过3次jupyter kernel之后，才会变成你肌肉记忆的一部分。希望帮到你。
本文还有配套的精品资源，点击获取
