自然语言处理基础与大模型期末复习：从语言模型到RAG的完整知识框架

期末成绩出来后的第三周，我终于有心思把“自然语言处理基础与大模型”这门课的期末复习过程完整复盘一遍。考完第一反应是：这门课没有我预想中那么“传统”，也没有传说的那么“玄”，它真正想考察的是——你能不能把传统 NLP 的建模思路、深度序列模型和大模型的工程范式放在同一个知识框架里。下面这些内容更多是我的复习笔记和考场体会，希望对正在准备这门课的同学，或者想系统梳理 NLP 基础与大模型知识边界的朋友有一点参考价值。

先说结论：如果你只是把课件从头到尾背一遍，大概率会觉得很吃力。这门课的期末卷子不是“名词解释+简答默写”的玩法，而是要求你在理解原理的基础上，能自己推导、能说明取舍、能提出解决方案。接下来我按照考点分布、复习主线、实操清单和考场策略四个维度展开，每一部分都尽量落到具体知识点和答题方法上。

1. 期末复盘开始前：这门课到底在考什么

1.1 课程真正想考察的能力模型

我一开始以为“自然语言处理基础与大模型”是两门课的缝合：前半部分讲传统NLP，后半部分讲最新大模型技术。学完才发现，它的主线其实是一条语言模型的演进史：从统计语言模型到神经网络语言模型，再到序列模型、注意力机制、预训练范式，最后落到大模型的应用与评估。

期末复习时，我把这条主线画成了一棵知识树，而不是按章节零散记忆。树根是“如何用概率描述语言”，树干是“如何用神经网络计算文本表示”，树冠是“如何在资源受限条件下让大模型完成真实任务”。很多考题看似在问某个模型细节，实际上都在考这条主线的衔接点。比如一道简答题问“为什么自注意力能替代循环结构建模长文本”，如果只背结论，不把信息瓶颈、并行计算、位置编码这些前因后果串起来，很难答到采分点上。

1.2 题型分布与知识点权重印象

考后我和几个同学对了一下记忆，大概还原了试卷结构。整体来说题型是下面这个量级：

从知识点权重看，传统NLP基础（文本表示、语言模型、序列模型）大约占35%，Transformer与预训练约30%，大模型应用与评估约25%，其余是开放性和工程细节问题。这个分布对我的复习策略影响很大：我不会再花大量时间去背某个早期模型的超参数，而是把力气放在“为什么这样设计”和“换一个场景怎么改”上。

2. 传统NLP基础部分的考点拆解与复习主线

2.1 文本表示：从one-hot到静态词向量的演进

这部分几乎没有悬念，是必考区域。复习时要能说清楚几个关键转折点：one-hot为什么不好（维度爆炸、没有语义相似度）；共现矩阵和PMI如何体现统计共现关系；静态词向量为什么能让“语义相近的词距离更近”。

我复习时给自己出了一道手工计算题：给定两个三维词向量，分别对应“猫”和“宠物”，要求计算余弦相似度。这个考点看起来简单，但考场上一紧张容易在向量范数上算错。我的建议是不要只背公式，要亲手算三遍以上，尤其是点积和范数的分母关系。

另一个容易丢分的是“词向量训练的实质”。课上强调过，静态词向量本质上是用上下文预测目标词，训练过程中把“分布式表示”压缩到固定维度里。很多同学复习时只记得“词向量能表示语义”，却说不清训练目标是什么。我自己的复习方法是画一个对比表：one-hot是稀疏离散，词向量是稠密连续；one-hot没有语义层次，词向量可以通过向量运算体现关系。这种对比式的整理，比零散背概念高效得多。

2.2 序列建模：RNN/LSTM/GRU不能只看结构图

期末之前我看过不少博客里的结构图，感觉自己把LSTM的门控都看懂了。但一到考试就发现，题目不会只让你画图，而是让你算维度、写更新公式、解释梯度消失。

我在复习时反复推演了一个经典场景：输入序列长度为T，词向量维度为E，隐藏层维度为H，一个batch包含B个样本。那么输入张量形状是[B, T, E]，每个时间步的输入是[B, E]；隐状态形状是[B, H]；输入到隐层的权重形状是[H, E]，隐层到隐层的权重形状是[H, H]。这个“先标维度再写公式”的习惯，救了我考场上一道计算题。

梯度消失的原因也值得深挖。简单说，RNN在时间方向上反复乘以同一个权重矩阵，如果矩阵的最大奇异值小于1，梯度会指数级衰减；如果大于1，梯度又会爆炸。LSTM引入记忆单元和门控，本质上是为了提供一条“梯度高速公路”，让信息可以跨长时间步传递。这种解释比单纯背“门控机制”要扎实。

2.3 语言模型、Seq2Seq与注意力机制

语言模型的概念一定要吃透，因为后面的大模型部分也在反复用。语言模型的任务是估计一个句子出现的概率，通常写成条件概率连乘的形式：p(w1,w2,...,wn)=p(w1)p(w2|w1)...*p(wn|w<n)。期末如果考困惑度，公式不会太复杂，通常是计算一段文本在给定模型下的平均负对数似然，再取指数。

Seq2Seq部分的核心考点是“信息瓶颈”。编码器把整个源句子压缩成一个固定向量，解码器只能从这个向量出发生成目标句子。句子越长，这个固定向量越不够用，所以引入注意力机制，让解码器每一步都能回头看源句子中与当前生成最相关的部分。

我把注意力机制放在传统NLP和大模型的交界处来复习：缩放点积注意力公式是 softmax(QK^T / sqrt(d_k))V。为什么除以 sqrt(d_k)？因为当维度d_k较大时，点积结果会变得很大，softmax会进入梯度饱和区，除以维度平方根可以把数值拉回合理范围。这个细节几乎每年都会以选择题或简答题形式出现，值得多花十分钟理解。

3. 大模型模块：预训练、对齐、检索增强、评估都在考

3.1 Transformer结构与预训练目标对比

Transformer在大模型部分的地位毋庸置疑，但期末不会只问“Transformer由哪些部分组成”，而是会考你一些更细的机制。

我的复习笔记里重点整理了几个高频考点：多头注意力中头的数量与维度关系（总维度 = 头数 × 每头维度）；因果掩码为什么只允许看到左侧信息；位置编码的作用是给序列注入顺序信息；残差连接与层归一化对训练稳定性的贡献。还有一个容易被忽略的点是两种归一化位置的区别：Post-LN和Pre-LN。前者是原始Transformer结构，训练时对学习率更敏感；后者更稳定，被很多开源大模型采用。考场上如果给你一段残差结构的伪代码，你要能判断它属于哪一种。

预训练目标对比也很重要。掩码语言模型（双向语义建模）和自回归语言模型（从左到右生成）的差异，建议用一句话概括：前者更适合理解类任务，后者更适合生成类任务。复习时我还自己画了一张“预训练→下游任务”的映射表：像文本分类、情感分析这类任务，适合用双向编码表示；像对话生成、摘要生成这类任务，更适合用自回归生成模型。这样遇到设计题，至少能说出选型理由。

3.2 指令微调与对齐：RLHF与DPO既要懂流程又要会取舍

大模型应用的考点比我想象中更务实，指令微调是其中一个大热门。复习时我把重点放在三个层次：第一，为什么要做指令微调——让模型从“续写文本”变成“遵循指令”；第二，数据长什么样——每条样本通常包含指令、输入、期望输出，有的还包含负样本；第三，训练目标是什么——在标准语言模型损失上，让模型给期望输出更高概率。

对齐部分，RLHF和DPO都要能够讲清楚。RLHF的流程相对经典：先训练奖励模型，再用强化学习优化策略，过程中还要加KL约束防止模型跑偏。DPO则是把偏好优化的目标改造成直接基于偏好数据的损失函数，省去了显式奖励模型和强化学习训练环节。期末如果只考流程，你要能把RLHF四步写全；如果考方案设计，你要能说出DPO适合算力有限的场景，因为它实现简单、训练稳定。

LoRA这个点也值得仔细看。它的核心思想是冻结原模型权重，在注意力或全连接层旁边注入两个低秩矩阵，训练时只更新这两个矩阵。为什么低秩矩阵能work？我在复习时理解成：大模型微调时真正需要改变的“方向”往往集中在一个低维子空间里，所以用低秩矩阵去近似这个更新量就够了。考试若问“如何在有限显存下微调一个开源大模型”，LoRA基本是最稳妥的答案。

3.3 RAG与长文本场景：典型设计题怎么答

检索增强生成（RAG）几乎可以说是应用设计题的“标准答案模板”。复习时我在笔记本上默写了完整流程：先对文档做切分（chunking），再用向量化模型把每个片段编码成向量存入向量库；用户提问时，将问题编码成向量并做相似度检索，取Top-K相关片段；最后把问题和检索到的片段一起拼进prompt，交给生成模型生成答案。

期末出到这类题时，千万不要只写“先用检索再用生成”。要写出切分粒度的选择、向量检索和关键词检索的差别、是否需要重排、以及回答中要不要给出引用来源。我印象很深的是，课上反复强调“RAG不是把一堆文本塞给模型”，而是要让检索结果真的对生成有约束力——如果检索片段与问题不相关，模型依然会胡说。所以复习时我额外准备了“如何判断检索质量”“如何让模型在无证据时拒绝回答”这两小点，结果果然在简答题里用上了。

3.4 评估体系与幻觉控制：容易被忽略的大题

很多人复习大模型部分，注意力都放在架构和微调上，结果忽略评估和幻觉。考完我发现，这两个点几乎是必考的，而且很适合出简答题和应用设计题。

评估方面，至少要知道生成式任务的常用指标存在明显局限。BLEU和ROUGE在机器翻译和摘要里很常见，但它们在对话、开放问答里并不能准确反映“内容是否真实”。大模型对话质量评估通常需要多维度的标准，比如相关性、忠实度、信息量、安全性，有时用人工打分，有时用另一个模型做裁判。复习时可以准备一句话：单一指标有偏差，要结合规则指标、模型评分和人工抽检。

幻觉控制我总结成了四类缓解方案：检索增强提供外部证据；解码端降低随机性；训练/对齐阶段注入“不知道就拒绝”的偏好；推理阶段增加自我一致性检查。考场上如果遇到“给客服机器人设计防幻觉方案”，这几条足够撑起一个完整的答题框架。我强烈建议把幻觉定义也背清楚——所谓幻觉，是指模型生成的内容看似流畅，但与事实、输入或自身逻辑不一致，简称“看着对，其实不对”。

4. 复习阶段的实操清单：实验复现与论文阅读的优先级

4.1 值得重跑的课程实验

期末复习不是只看书，动手跑实验往往能加深记忆。但所有实验都重跑一遍不现实，我的建议是把实验按“考点关联度”排序。

第一优先级是文本分类和静态词向量相关实验，因为这里的代码量小，又能覆盖文本表示、分词、词表构建、训练循环等基础考点。第二优先级是序列模型相关实验，至少要跑通一个RNN或LSTM的分类/生成demo，重点观察输入张量形状和隐状态初始化方式。第三优先级是预训练模型微调实验，选一个轻量开源底座模型，在小数据集上做指令微调或分类微调，这一步能同时覆盖数据构造、损失计算和推理逻辑。

跑实验时我有个习惯：记录每次运行的主要超参数——学习率、batch size、最大长度、随机种子。考试不一定会直接考这些数值，但当你回答“为什么结果不好”时，能说出调参方向，老师会明显觉得你真的动手做过，而不是只看了课件。

4.2 论文精读与略读的节奏

对于“自然语言处理基础与大模型”这门课，原始论文不一定要逐字精读，但不能完全不读。我把需要读的材料分成了三类：精读、选读、略读。

精读的是Transformer原始论文中关于注意力机制和模型结构的章节，重点看公式和图表，尤其要弄懂训练阶段和推理阶段在mask上的区别。选读的是预训练模型相关论文中的方法部分，比如掩码语言模型和自回归模型如何构造训练样本。略读的是那些偏工程实现的说明文档，比如微调方法的技术报告，我只需要知道“它解决了什么问题，优势是什么”就可以。

很多同学容易陷入“必须读完所有参考资料”的焦虑。我的经验是，学术论文里的实验设置和消融研究，在期末复习阶段可以先跳过，等到真正做研究时再回来细读。复习要抓的是概念框架，不是复述所有实验细节。

4.3 需要手推的公式边界

计算题一定要亲手推导，不能只“看会”。我考前给自己列了一个“必须会算清单”：余弦相似度、困惑度、交叉熵损失、缩放点积注意力、二维卷积/矩阵维度（如果课程涉及）、LoRA的低秩矩阵形状、以及常见mask矩阵的生效位置。

不需要深入推导的也有：完整的强化学习目标函数推导，我考前就没花太多时间。考试更可能考的是“为什么需要KL约束”这种概念题，而不是让你从零推一遍完整公式。复习时要分清“会算”和“会解释”的边界，不要为了一个偏理论细节耗掉整个下午。

为了自查，我做了个简单表格：

把这张表过一遍，我心里就有底了。

5. 考场上容易丢分的细节与答题策略

5.1 简答题的“三层答法”

我在模拟答题时总结了一个“三层答法”：

第一层，先给出一句核心结论，比如“注意力机制用来解决编码器固定向量信息不足的问题”。第二层，补充必要的公式或结构说明，比如写出softmax(QK^T/sqrt(d_k))V，并解释每个符号含义。第三层，举一个具体场景或对比对象，比如“如果没有注意力，解码器只能依赖编码器最后一个隐状态”。

这种答法最明显的好处是不会丢主要采分点。即使你的表达不完全精确，老师也能一眼看到关键词。尤其是“为什么”类问题，三层结构基本覆盖了从概念到原理再到例子的完整链路，比单纯堆术语要可靠。

考场上还要注意术语准确。比如“token”和“word”在不同语境下含义不一样；“parameter”和“hyperparameter”不能混用。我曾看到同学把“学习率”写成“loss率”，这种低级错误非常亏。

5.2 计算和代码填空：先写维度再写公式

计算题最容易丢分的不是不会算，而是算到一半忘记张量形状。我的答题习惯是：拿到题目后，先把所有已知维度和目标维度标在草稿纸上，再开始写公式。

比如遇到“输入[B, T, E]，隐藏维度H，多头数h，求单头注意力中Q矩阵的形状”，我第一步会写：Q的最后一维是总维度除以头数，也就是E/h，所以Q的投影输出形状是[B, T, E/h]。这样后面无论算softmax还是算输出维度，都顺畅很多。

代码填空也是一样，不需要把完整实现默写出来，但关键逻辑要能看明白。我复习时总结了几个高频填空位：padding mask和attention mask的区别；loss计算时是否需要忽略padding位置的贡献；模型输出的logits如何转成概率；训练时model.train()和model.eval()影响哪些层。这些点都很小，但组合起来就是一道完整的代码理解题。

5.3 时间分配与陌生考点的处理

期末卷子题量不大，但每道题都需要写不少字。我自己的时间分配经验是：选择题和判断题控制在15分钟以内；简答题每道不超过8分钟；计算题每题留12到15分钟；应用设计题至少留20分钟。如果一道简答题卡壳超过3分钟，果断先跳过，把后面能拿的分拿住。

遇到完全陌生的名词，我的处理方法是先不慌，把它和已经学过的概念建立联系。比如看到一个没听过的评估指标，可以先猜它的计算思路，然后写在答案里说明“如果该指标衡量的是..., 那么我的理解是...”。在应用设计题里，只要你的整体方案逻辑自洽，即使个别术语不准确，也能拿到大部分过程分。千万不要空着不写。

6. 考后给下一届同学的四条实质建议

6.1 复习时间线：三周、两周、一周分别做什么

如果让我重新安排复习，会按三周、两周、一周三个阶段推进。

前三周主要是“搭框架”：把课程所有章节按“语言模型演进”这条主线串一遍，每章用一到两页纸整理核心概念、模型结构、优缺点。这个阶段不要急着背细节，先确保自己能闭着眼睛说出这门课在讲什么。前两周开始“填细节”：结合PPT和实验报告，把公式推导、对比表格、典型应用场景补齐，同时把老师课上强调过的重点标记出来。考前一周进入“输出模式”：不再从头看课件，而是做题、互问、模拟答题，把知识从“我见过”变成“我能写出来”。

这个节奏看起来平平无奇，但真正执行起来，比考前两天熬夜背PPT要稳健得多。因为这门课的知识点是网状连接的，只有理解“为什么”，临时应变才不慌。

6.2 组队互问比单独背诵更有效

复习后期，我和几个同学组了一个小群，每天轮流问对方三个问题，其他人要当场口头回答。这个过程一开始很不适应，因为口头表达会暴露很多“以为自己会但说不清楚”的盲区。比如“DPO和RLHF的核心区别是什么”，看资料时都觉得懂了，但张嘴一讲才发现自己说不清“为什么DPO不需要显式奖励模型”。

互问还有一个好处，就是能互相补充考点。每个人对老师重点的捕捉不一样，A同学觉得“多头注意力维度”一定考，B同学觉得“RAG的切分策略”更重要，合在一起就等于多刷了一遍重点清单。我们当时还把容易混淆的概念做成接龙，比如“编码器-解码器架构和纯解码器架构的区别”“预训练和微调的区别”，互问一轮下来，考试时遇到类似名词，反应速度快很多。

6.3 笔试与机试两手都要硬

这门课的期末不完全是笔试，实验和机试同样占比例。我的体会是，笔试考的是“你能不能讲清楚”，机试考的是“你能不能真正跑通”。很多同学笔试复习得很细，但一到写代码就手生，连数据加载和collate函数都要想半天。

机试准备不需要刷太多复杂题目，但要把几个基本链路练熟：加载一个预训练模型并做推理；构造一个简单的DataLoader；把文本转换成模型需要的输入格式；训练一个小的分类或生成模型并打印loss。这些操作看起来基础，却是所有实验的共同骨架。我在考前把每个demo都囫囵跑过一遍，重点记录“最容易报错的地方”，比如mask类型不对、label维度不对、模型没有切换eval模式，考场上就能少踩一半坑。

6.4 心态上的最后提醒

最后想多说一句：期末复习不是要把所有论文都背下来，而是要为“自然语言处理基础与大模型”建立一张完整的知识地图。考试时总会遇到没见过的细节，但只要手里有地图，就不容易迷路。

我自己踩过最大的坑，是复习前期花了太多时间刷各种新模型的技术报告，反而把最基础的文本表示和序列模型忽略了。后来重新把基础章节过了一遍，才真正体会到，大模型的很多设计都是在解决传统模型留下的老问题。比如注意力机制解决信息瓶颈，预训练解决标注数据不足，LoRA解决微调成本过高，RAG解决知识更新和幻觉问题。这条逻辑链一旦打通，复习效率和考场发挥都会有明显提升。希望这篇复盘能帮你少走一点弯路，也祝准备这门课的你期末顺利。