机器学习复习主线：泛化、过拟合与模型评估

简介：《机器学习期末复习题及答案》面向高校机器学习课程的备考学生和需要梳理知识框架的自学者，围绕期末常见题型组织内容，帮助读者在有限时间内完成知识回顾与自测。资料按单项选择题、多项选择题、名词解释、简答题、编程题五类题型展开，覆盖训练集与测试集划分、欠拟合与过拟合、K近邻、朴素贝叶斯判定公式、支持向量机核函数及线性不可分、决策树ID3/C4.5/CART、聚类分析、回归评估指标（MAE、MSE、R²）以及神经元模型等考点，并附参考答案与答题要点。编程题部分梳理简单线性回归与K近邻分类的完整建模流程，从导入库函数、数据集，到建模、拟合、预测与模型评价，便于对照练习。整包共1个docx文档，约20KB，体积轻便，适合打印或平板翻阅。目前已有13141人学习下载，可作为考前速览与查漏补缺的题库型材料。

1. 复习题的隐藏主线：十道选择题里有三道在问同一件事

翻开这份机器学习期末复习资料，多数人的第一反应是背答案：训练集配测试集、欠拟合就加迭代次数、KNN 属于有监督。可把十道单选摊开对照，会发现出题人其实反复在问同一件事——模型在它没见过的数据上还能不能站得住。训练集与测试集的划分、欠拟合与过拟合的解法、性能评估指标的选择，三条线最后都收敛到「泛化」这一个词上。搞懂这条主线，复习资料就从一份答案清单变成一条推理链，换个问法也照样能推出来；搞不懂，题目稍微拐个弯就会翻车。下面按这条主线，把每类题背后的机制拆开讲。

2. 训练集与测试集：为什么训练集上零误差反而是危险信号

2.1 泛化误差：那道「为什么划分数据集」的简答题到底在问什么

复习资料里有一道简答题，问「为什么要把数据集分成训练集与测试集」，标准答案写的是「完全依靠训练集拟合，不能保证应用到其他数据时还保持较高贴合度」。这句话背后的东西比它看起来要硬。

从统计学习的角度看，模型真正想最小化的是期望风险，也就是模型在所有可能数据上的平均损失；但训练时能算的只有经验风险，即训练集上的平均损失。这两者之间隔着一个泛化误差。训练集是有限采样，模型完全有能力把经验风险压到接近零——比如一棵不加限制的决策树可以把每个训练样本单独分到一个叶子节点，训练误差是 0。可这种「记住」并不等于「学会」，换一批数据立刻原形毕露。

测试集的作用，是在独立同分布假设下给期望风险造一个近似无偏的估计。换句话说，它是「假的未来」：你没有未来的数据，但你可以从手里这份数据里切一小块出来，假装没见过它。切出来的比例、切之前要不要打乱、随机种子固定不固定，全都影响这个估计靠不靠谱。

把这件事用偏差-方差分解写出来会更清楚：

E[(y - f̂(x))²] = σ² + (Bias[f̂(x)])² + Var[f̂(x)]

第一项是数据本身的噪声，任何模型都消不掉；后两项才是模型能控制的。偏差衡量模型的假设空间有没有覆盖到真实规律，方差衡量模型对训练集的具体采样有多敏感。欠拟合对应偏差主导，过拟合对应方差主导。这条分解式是后面所有选择题的判据来源，比死记选项有用得多。

2.2 train_test_split 做了什么：参数、随机性与小样本的陷阱

复习资料的编程题给了一组很小的数据：特征 1 到 5，标签 3、4、6、8、9，要用简单线性回归走一遍流程。题目只要求写步骤，但真正写代码时，划分这一步的参数决定了后面所有指标有没有意义。

import numpy as np from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score # sklearn 要求特征矩阵是二维的 (n_samples, n_features)，一维数组必须先 reshape X = np.array([1, 2, 3, 4, 5]).reshape(-1, 1) y = np.array([3, 4, 6, 8, 9]) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, # 20% 留作测试，剩下的训练 random_state=42, # 固定随机种子，保证每次运行划分结果一致 shuffle=True # 划分前先打乱，避免原始数据有序造成分布偏移 ) model = LinearRegression() model.fit(X_train, y_train) # 拟合：最小化残差平方和 y_pred = model.predict(X_test) # 预测：只喂特征，不喂标签 print("斜率 w1 =", model.coef_[0], "截距 w0 =", model.intercept_) print("MAE =", mean_absolute_error(y_test, y_pred)) print("RMSE =", np.sqrt(mean_squared_error(y_test, y_pred))) print("R2 =", r2_score(y_test, y_pred))

test_size控制测试集占比，回归任务常用 0.2 到 0.3；random_state不是可有可无的装饰，它把划分变成可复现的，否则每次跑出来的指标都在跳，你根本分不清是模型变了还是数据切法变了；shuffle默认为真，但在时间序列场景必须关掉，因为打乱会引入未来信息。最后那个reshape(-1, 1)是初学者最常见的报错来源，sklearn 的估计器只接受二维特征矩阵，一维数组会被当成单样本多特征。

回到题目的数据：5 个样本按 0.2 切，测试集只剩 1 个点。用一个点算出来的 MAE、RMSE、R² 基本没有统计意义，R² 在单样本上甚至会直接失去定义。这就是小样本下留出法的硬伤，也是为什么真实项目里更常用 K 折交叉验证——把数据切成 K 份，轮流用其中一份做验证，最后取平均。复习资料里没展开交叉验证，但它是「为什么划分数据集」这道题的进阶答案：划分是为了估计泛化误差，交叉验证是为了让这个估计更稳。

2.3 欠拟合与过拟合：为什么解法是两套相反的按钮

复习资料第 2 题问「以下属于解决模型欠拟合的方法」，正确答案是增加训练过程的迭代次数。这道题的干扰项设计得很讲究，值得逐个拆。

增加训练数据量会降低方差，是过拟合的解药；对模型进行裁剪（剪枝）降低复杂度，也是过拟合的解药；正则化约束参数幅度，还是过拟合的解药。四个选项里三个都指向过拟合，只有「增加迭代次数」不一样——它解决的是优化还没收敛的问题：模型的容量足够，但梯度下降还没走到能拟合规律的位置，此时训练误差高是「没练够」，不是「练过头」。

正则化为什么能压方差，值得再往下一层。以岭回归为例，目标函数从残差平方和变成残差平方和加 λ 倍的参数平方和：

# 岭回归的闭式解：w = (XᵀX + λI)⁻¹ Xᵀy # λ > 0 相当于给对角线加了一个正数，矩阵条件数变好，系数被整体收缩 import numpy as np def ridge_closed_form(X, y, lam): n_features = X.shape[1] I = np.eye(n_features) return np.linalg.solve(X.T @ X + lam * I, X.T @ y)

当特征之间存在共线性时，XᵀX接近奇异，最小二乘解对噪声极度敏感，系数会剧烈摆动——这就是高方差的具体表现。加上λI之后，最小特征值被抬高，矩阵变得可逆且稳定，系数被压向零。λ 越大，收缩越狠，偏差上升、方差下降。LASSO 把平方惩罚换成一范数惩罚，除了收缩还能把部分系数压成精确的零，起到特征选择的作用；弹性网络则是两者加权组合。复习资料多选题里出现的岭回归、最小绝对收缩与选择算子、弹性网络，说的就是这一族。

这里有个容易混淆的点：正则化不是「让模型变准」，而是「用一点偏差换更多方差下降」。当模型本身还欠拟合时加正则化，只会让它更欠拟合。两套按钮不能同时按，这就是为什么欠拟合那道题的四个选项里，只有一个是解药。

3. KNN 与朴素贝叶斯：两种完全不同的「分类」假设

3.1 KNN：一个没有训练阶段的模型，凭什么算有监督

K 近邻经常让人困惑：它明明没有「训练」这个动作，fit的时候几乎什么都没算，凭什么归到有监督学习里？

关键在于「监督」指的是标签有没有参与决策，而不是有没有优化过程。KNN 属于懒惰学习，训练阶段只做一件事——把样本存起来；预测阶段才真正开始工作：算待预测样本到所有训练样本的距离，取最近的 K 个，让这 K 个邻居的标签投票决定结果。标签全程参与投票，没有标签这个算法根本无从谈起，所以它是有监督的。作为对照，K-Means 聚类在迭代时只看点到中心的距离，从不看标签，那是无监督。

用复习资料里那道 KNN 编程题的数据走一遍：

from sklearn.neighbors import KNeighborsClassifier # 题目给的数据：前五个点标签为 0，后五个点标签为 1 X = [[3,2], [3,1], [1,3], [3,4], [2,2], [7,4], [5,3], [9,2], [7,3], [7,0]] y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1] knn = KNeighborsClassifier( n_neighbors=3, # K 值：邻居数量，直接影响决策边界的平滑程度 metric='minkowski', # 闵可夫斯基距离，是欧氏与曼哈顿的统一形式 p=2 # p=2 退化为欧氏距离，p=1 则是曼哈顿距离 ) knn.fit(X, y) # 所谓“训练”只是把样本和标签存进内部结构 print(knn.predict([[4, 3]])) # 预测时才真正计算距离并投票

n_neighbors是最关键的超参数。K 取 1 时，决策边界贴着每一个训练点走，训练误差恒为 0，方差极大，一个噪声点就能改变局部预测，是典型的过拟合；K 增大，投票集合变大，边界变平滑，偏差上升。极端情况下 K 等于样本总数，模型永远预测多数类。所以 K 的选择本质上还是偏差-方差的权衡，和上一章是同一条主线。

还有一处工程上必须注意：KNN 完全依赖距离，而距离对量纲极度敏感。如果第一个特征的取值范围是 0 到 10000，第二个是 0 到 1，那么欧氏距离几乎完全由第一个特征决定，第二个特征等于不存在。所以 KNN 之前必须做标准化，这是血泪经验级别的常识。

3.2 朴素贝叶斯的判定公式：argmax 后面那串连乘是怎么来的

复习资料里朴素贝叶斯的判定公式写的是H(x) = argmax P(Ci) Π P(ak|ci)，四个选项分别用了 argmax、exp、min、log 四种外层算子。要理解为什么必须是 argmax，得从贝叶斯定理推一遍。

给定待分类样本 x，它由特征 a1 到 an 组成。我们想求的是 P(Ci | x)，即在看到这组特征后样本属于第 i 类的概率。贝叶斯定理给出：

P(Ci | x) = P(x | Ci) · P(Ci) / P(x)

分母 P(x) 对所有类别都一样，做比较时可以整体丢掉，于是问题变成比较分子。分子里的 P(x | Ci) 在 n 个特征上是一个联合概率，直接估计需要指数级的样本量。朴素贝叶斯在这里做了一个极强的假设：在类别给定的条件下，各个特征相互独立。于是联合概率拆成连乘：

P(x | Ci) = P(a1 | Ci) · P(a2 | Ci) · ... · P(an | Ci) = Π P(ak | Ci)

乘上先验 P(Ci)，再取使整个式子最大的那个类别，就是那个 argmax 公式。「朴素」两个字说的就是这个条件独立假设——它在现实中几乎从不成立，比如一篇文档里「机器」和「学习」两个词显然不独立。

那它为什么还能用？因为分类任务只要求 argmax 选对，不要求概率值本身准确。条件独立假设会让概率估计产生偏差，但只要这个偏差没有大到改变各类之间的相对排序，分类结果就是对的。这是生成式模型一个很有意思的性质：模型的概率校准可以很差，判别能力却依然够用。

工程实现上还有两个必须处理的点。第一是零概率：如果某个特征取值在某个类别的训练样本里从未出现，对应的条件概率就是 0，一个 0 乘进去，整串连乘直接归零，无论其他特征多有说服力。解决办法是拉普拉斯平滑，分子加 1、分母加该特征取值数。第二是下溢：几十个小于 1 的数连乘，很快会小于浮点数能表示的最小值，结果变成 0，所有类别得分都是 0，argmax 退化成永远返回第一个类。解决办法是取对数，把连乘变成连加。

import numpy as np from collections import defaultdict def train_nb(X, y): classes = set(y) priors, cond = {}, {} for c in classes: Xc = [row for row, t in zip(X, y) if t == c] priors[c] = len(Xc) / len(X) cond[c] = [] for j in range(len(X[0])): counter = defaultdict(int) for row in Xc: counter[row[j]] += 1 total = len(Xc) # 拉普拉斯平滑：分子 +1，分母加上该特征的可能取值数 cond[c].append({v: (n + 1) / (total + len(counter)) for v, n in counter.items()}) return priors, cond def predict_nb(x, priors, cond, unseen=1e-6): best_c, best_score = None, -np.inf for c in priors: # 取对数：连乘变连加，避免几十个小数相乘下溢成 0 score = np.log(priors[c]) for j, v in enumerate(x): score += np.log(cond[c][j].get(v, unseen)) if score > best_score: best_score, best_c = score, c return best_c

priors是先验概率，cond[c][j]是第 c 类下第 j 个特征的条件概率表。代码里unseen是给训练时完全没见过的特征取值兜底的极小概率，配合平滑一起用。这段实现的骨架和 sklearn 的MultinomialNB、GaussianNB是同一个思路，区别只在于 sklearn 对连续特征假设高斯分布，直接存均值和方差而不是查表。

3.3 六步流程：sklearn 的统一接口为什么值得单独记

复习资料的编程题反复要求写「步骤」：导入库函数、导入数据集、建模（模型实例化）、模型拟合、预测、模型评价。六步看起来是死记硬背，其实背后是 sklearn 一套刻意设计的一致性约定。

所有估计器都实现fit和predict，所有预处理器都实现fit和transform。线性回归是fit/predict，KNN 是fit/predict，朴素贝叶斯还是fit/predict。这套接口统一带来的好处是模型可以像积木一样串起来：

from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier # 标准化和模型打包成一个整体，避免“训练时标准化了、预测时忘了”这类低级错误 pipe = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=3)) pipe.fit(X_train, y_train) pred = pipe.predict(X_test)

这是典型的用一点灵活性换一致性：不同算法的内部实现天差地别，但在接口层面被抹平成同一种调用方式，于是交叉验证、网格搜索、Pipeline 这些工具只需要写一遍就能适配所有模型。复习资料里那些「用 sklearn 线性回归需要导入哪个库」「用 KNN 需要导入哪个库」的选择题，考的就是这套命名空间的对应关系——sklearn.linear_model下是线性模型，sklearn.neighbors下是近邻方法，sklearn.tree下是树模型，sklearn.svm下是支持向量机。记模块归属比记具体类名更有用。

顺带提一句，原件里几处拼写手误（把 sklearn 写成 Sklean、把 pyplot 写成 pvplot）不影响题意判断，看的时候别被带偏。

4. 决策树、SVM 与聚类：三种切分数据的世界观

4.1 决策树：信息增益、增益率与基尼指数在优化同一个量

复习资料里决策树相关的题目出现了两组答案：一组问「决策树生成有几种算法」，答案是 ID3、C4.5、CART 三种；另一组多选问「决策树的划分标准」，答案是信息增益和基尼指数。这两组题目其实在问同一件事的两个侧面——算法家族的演进，本质是划分准则的演进。

决策树的核心动作是：在每一个节点上，从所有特征里挑一个，按它的取值把样本切成几份，让切完之后的子集尽量「纯」。衡量纯度用的是信息熵：

H(D) = -Σ pk · log2(pk)

pk 是第 k 类样本在集合 D 中的占比。全是同一类时熵为 0，各类均分时熵最大。划分前后的熵差就是信息增益：

Gain(D, a) = H(D) - Σ (|Dv| / |D|) · H(Dv)

后一项里那个|Dv| / |D|是权重，子集越大，对父节点不确定性的贡献越大，不能简单把子集熵加起来。ID3 就是选信息增益最大的特征做划分。

问题在于信息增益天然偏好取值多的特征。极端例子是「学号」这种特征，每个取值只对应一个样本，切完之后每个子集都是纯的，增益拉满，但这棵树对预测毫无意义。C4.5 的修正是除以一个分裂信息项做惩罚，得到增益率；CART 干脆换了个更省算的指标，基尼指数：

Gini(D) = 1 - Σ pk²

基尼指数不用算对数，计算量大时优势明显，而且它天然对应二叉划分，所以 CART 既能做分类也能做回归。三种准则没有绝对优劣，ID3 和 C4.5 适合多叉、特征全为离散值的场景，CART 因为二叉结构更容易处理连续特征和缺失值，成了现代集成树（随机森林、梯度提升树）的默认基座。

import numpy as np def entropy(y): _, counts = np.unique(y, return_counts=True) p = counts / counts.sum() return -np.sum(p * np.log2(p)) # 以 2 为底，单位是 bit def info_gain(X, y, feature_idx): base = entropy(y) # 划分前的父节点熵 gain = base for v in np.unique(X[:, feature_idx]): mask = X[:, feature_idx] == v weight = mask.sum() / len(y) # 子集占比，作为加权系数 gain -= weight * entropy(y[mask]) # 减去加权后的子集熵 return gain

决策树真正容易过拟合的地方在生长策略。不加限制地长到每个叶子只有一个样本，训练误差为零，方差极大。所以需要剪枝，复习资料里那道题说的「对模型进行裁剪」就是这件事：预剪枝在生长过程中就设限（最大深度、叶子最小样本数、分裂最小增益），后剪枝先长满再自底向上回退，用验证集判断某个子树能不能被一个叶子替换掉。前者快但可能剪过头，后者准但算得慢——又是一次偏差与方差的取舍。

4.2 SVM：线性不可分不是数据坏了，是假设空间不够

复习资料里关于 SVM 有两道简答题，一道问线性可分，一道问线性不可分，答案写得挺形象：一维空间找一个点、二维空间找一条直线、三维空间找一个平面、n 维空间找一个超平面。

把这句话翻译成数学：线性可分的意思是存在参数 w 和 b，使得所有正类样本满足wᵀx + b > 0，所有负类样本满足wᵀx + b < 0。这样的超平面一旦存在，往往有无穷多个，SVM 的选择是其中间隔最大的那一个——正负样本到超平面的最小距离之和最大。间隔是2 / ||w||，最大化间隔等价于最小化||w||²/2，配上约束条件yi(wᵀxi + b) ≥ 1，就是一个标准的凸二次规划问题。凸性很重要，它保证局部最优就是全局最优，不会有神经网络那种初始化玄学。

线性不可分说的不是数据有噪声或者标错了，而是「用超平面切」这个假设空间本身不够用。经典例子是二维平面上一个圆环套着圆心的两类点，你画不出任何一条直线把它们分开。此时有两条路：软间隔和核方法。

软间隔承认有些点就是会分错，引入松弛变量允许少量样本越过间隔边界，目标函数加上惩罚项C·Σξi。C 是容忍度，C 越大越不允许分错，决策边界会绕着异常点走，过拟合风险上升；C 越小边界越平滑，欠拟合风险上升。

核方法更根本，它把样本映射到更高维的空间，在低维线性不可分的数据，到了高维常常就线性可分了。但显式做映射再算内积，维度一高计算量就爆炸。核技巧的巧妙之处在于：优化过程中真正用到的只有样本之间的内积，只要有一个函数 K(x, z) 能等于高维空间里的内积，就不需要真的把映射算出来。高斯核K(x, z) = exp(-γ||x - z||²)对应的是无穷维映射，所以它几乎总能让有限样本线性可分。

from sklearn.svm import SVC from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline # SVM 的优化目标依赖内积，量纲大的特征会主导核函数，标准化是必须的前置步骤 clf = make_pipeline( StandardScaler(), SVC( kernel='rbf', # 径向基核，即高斯核，处理非线性边界的默认选择 C=1.0, # 惩罚系数，越大越不容忍错分 gamma='scale' # 高斯核的宽度参数，越大每个样本影响范围越小 ) ) clf.fit(X_train, y_train)

gamma是高斯核独有的旋钮，它控制单个样本的影响半径。gamma 很大时，每个样本只影响自己附近一小片区域，决策边界会绕着每个点画圈，训练误差极低但泛化很差；gamma 很小时，样本影响范围互相重叠，边界接近一条平滑曲线。它和 C 共同决定模型的复杂度，调参时必须一起看。

复习资料里那道「SVM 常用的核函数」单选题，正确选项是高斯核，干扰项里出现了「二项式核函数」「贝叶斯核函数」这种不存在的名字。真正常见的核函数是线性核、多项式核、高斯核和 Sigmoid 核四种，名字记准了就不会被绕进去。

4.3 聚类与 PCA：没有标签时，「相似」怎么被定义

复习资料里有两道题分别问聚类分析有几种算法、PCA 降维属于哪类学习，答案都指向同一个事实：无监督学习没有标签这个参照物，所有判断都得从数据自身的结构里长出来。

K-Means 是最常被考的聚类算法，它的目标函数写出来非常直白：

J = Σk Σ(x∈Ck) ||x - μk||²

每个点到所属簇中心的距离平方和。算法交替做两件事：固定中心，把每个点分配给最近的中心；固定分配，把每个中心更新为簇内点的均值。这两步的每一步都会让 J 单调不增，而 J 有下界 0，所以算法一定收敛。注意是收敛到局部最优，不是全局最优，初始中心选得不好就会卡在一个糟糕的划分里，这也是 K-Means++ 这类初始化策略存在的原因。

K 的选择没有解析解，常用的办法是肘部法——把 K 从小到大试一遍，画 J 随 K 变化的曲线，找那个下降速度突然变缓的拐点；或者算轮廓系数，同时考虑簇内紧密度和簇间分离度。层次聚类走的是另一条路，从每个点自成一簇开始，反复合并距离最近的两簇，最后得到一棵树状图，想看几类就在树上切一刀，不需要预先指定 K，代价是计算复杂度更高。

PCA 常被放在一起考，因为同样是无监督。它的做法是对数据的协方差矩阵做特征分解，取特征值最大的几个特征向量作为新的坐标轴。特征值的大小代表数据在对应方向上的方差，方差越大说明信息越集中，所以丢掉小特征值对应的方向，就是在尽量少损失信息的前提下降维。这里有个容易被忽略的细节：PCA 之前必须中心化，否则第一主成分会被均值方向带偏，变成在描述「数据离原点有多远」而不是「数据往哪个方向散得最开」。

把这三者放在一起看，会发现无监督学习的共同困境：没有标签告诉你什么是对的，你只能用某种几何或概率的假设去定义「相似」，然后接受这个定义带来的一切后果。K-Means 假设簇是凸的、大小相近的；层次聚类假设距离度量能反映结构；PCA 假设方差大的方向就是重要的方向。这些假设不成立的时候，结果看起来会非常离谱，但算法本身不会报错——这是它和监督学习最大的差别，也是踩坑最多的地方。

5. 排查清单：五个翻车点，答案背对了照样错

5.1 概念类的三个坑

坑一：把「对模型进行裁剪」当成欠拟合的解药。

现象：复习资料第 2 题的四个选项里，B 选项「对模型进行裁剪」看上去像是在给模型减负、让它学得更轻松，于是有人选它来解决欠拟合。

原因：剪枝减少的是模型复杂度，降低的是方差，属于过拟合的解药，方向刚好相反。欠拟合的模型本身就太简单、学不动，再剪一刀只会更糟。

解决：记一条一行判据——训练误差高就是欠拟合，训练误差低而测试误差高才是过拟合。做题时先在心里给模型估一下这两个误差，再去看选项往哪个方向调。按这条判据，A 增加数据量降方差、B 剪枝降方差、D 正则化降方差，三个都指向过拟合，只有 C 增加迭代次数是在给优化过程更多时间，选 C 毫无悬念。

坑二：把朴素贝叶斯的「条件独立」当成必须成立的前提。

现象：看到某个数据集的特征明显相关，就断定朴素贝叶斯不适用，或者认为它算出来的概率毫无意义。

原因：条件独立假设影响的是概率估计的准确性，而分类只依赖各类得分的相对排序。只要排序不变，概率值偏多少都不影响 argmax 的结果。文本分类里特征高度相关的场景，朴素贝叶斯依然是极强的基线，原因就在这里。

解决：判断朴素贝叶斯能不能用，不要看特征独不独立，要看「独立假设带来的偏差会不会改变排序」。实践中直接跑一遍对比其他模型，比在纸上推演快得多。

坑三：把「线性不可分」理解成数据有问题。

现象：简答题里写「线性不可分说明数据存在噪声或异常值」，或者认为线性不可分意味着这个数据集没法用 SVM。

原因：线性不可分是一个关于假设空间的陈述——用超平面这一类分类器切不开，仅此而已。数据本身完全可能干净且规律，只是规律不是线性的。圆环套圆心就是最干净的反例。

解决：遇到线性不可分，先想能不能升维或换核，再想是不是该换模型族（树模型天然处理非线性），最后才怀疑数据质量。顺序搞反了会浪费大量时间在清洗本来没问题的数据上。

5.2 代码类的两个坑

坑四：朴素贝叶斯连乘下溢，所有类别得分都是零。

现象：自己实现的朴素贝叶斯预测时，无论输入什么样本，返回的永远是第一个类别，或者所有类别的得分打印出来都是 0.0。

原因：条件概率都小于 1，几十个特征连乘之后数量级迅速跌到 1e-308 以下，浮点数无法表示，直接下溢成 0。所有类别都是 0，argmax 就退化成了取第一个。

解决：在 log 域里做。先取对数把连乘变成连加，再用 argmax 比较，因为 log 是单调递增函数，不改变大小关系。同时把拉普拉斯平滑加上，防止某个特征的条件概率本身就是 0 把整条链路废掉。这两件事一起做，才算把工程上能踩的坑填平。

坑五：KNN 和 SVM 不做标准化，模型被一个特征绑架。

现象：训练完准确率怎么调都不对，或者某些样本的预测结果明显违背直觉，但换个模型就好了。

原因：KNN 靠距离投票，SVM 的核函数是内积，两者都对量纲敏感。一个特征取值在几千的量级，另一个在 0 到 1 之间，距离或内积几乎完全由前者决定，后者的信息等于被丢掉了。模型没坏，是输入被扭曲了。

解决：把标准化放进 Pipeline，和模型绑成一个整体，训练和预测走同一条预处理路径。这样既不会出现「训练时标准化了、预测时忘了」的手误，做交叉验证时也不会因为预处理泄漏而高估性能。

还有一个隐蔽的坑值得单独提：划分数据集时不打乱、或者数据本身按标签排过序，切出来的测试集可能清一色是同一类，指标看起来漂亮得离谱，实际上什么都没验证到。固定random_state的同时，分类任务加上stratify=y做分层抽样，让训练集和测试集的类别比例保持一致，是最省事的预防方式。

6. 评估指标的取舍：没有最好的算法，只有匹配的假设

复习资料里「性能评估」这道名词解释写的是准确率、查准率、查全率、综合评价指标，回归那边则列了 MAE、MSE、RMSE、R²。把这些指标并排放，会发现它们的分歧点其实只有一个：你更在意哪一种错误。

MSE 因为平方的存在，会把离群点的误差放大好几倍，所以它对异常值极其敏感，好处是优化时处处可导、闭式解漂亮；MAE 对离群点更宽容，但在零点不可导，梯度下降时需要特殊处理。R² 有个容易被忽略的性质：它在测试集上可以是负数，说明模型还不如直接拿训练集的均值去预测，这个信号比单纯的误差数值更有诊断价值。

分类这边的问题更尖锐。准确率在类别不平衡时基本失效——一个数据集里 99% 是负类，全都预测成负类就有 99% 的准确率，但模型什么也没学到。这时候要么看查准率和查全率的权衡，要么看 F1 这类综合评价指标。查准率高意味着「报出来的大多是真好」，查全率高意味着「该报的都没漏」，两者往往此消彼长，阈值怎么定取决于误报和漏报哪个代价更大。这个决策不是算法能替你做的。

写到这里，我对这份复习资料的态度变了不少。刚开始看的时候觉得它就是一堆答案的集合，背完拉倒；梳理完之后发现，那些看起来零散的选择题、名词解释、简答题和两道编程题，其实是同一条逻辑链上的不同站点——划分数据是为了估计泛化，偏差和方差解释了为什么需要两套相反的正则化方向，统一接口把不同算法装进同一个壳里，评估指标则决定了你最终要为什么样的错误买单。

如果非要从中挑一条最像「设计取舍」的结论，我会选这一条：没有哪个算法是普遍更优的，每个模型的假设空间都对应一类能被它很好描述的规律，而它的失效场景就是假设被违反的地方。决策树假设边界是轴对齐的，所以遇到斜着切的数据集要长得又深又碎；SVM 假设可以用核映射把边界拉直，所以核参数选错时比谁都过拟合；朴素贝叶斯假设特征独立，所以在强相关特征上概率估计会离谱但不影响分类。把这些假设和失效场景成对记住，比记住任何一个单独的知识点都值钱。

从那以后我每次拿到一份复习题，都会先逼自己回答一句「这道题在考哪个假设」，答不上来就先回去翻机制，而不是先翻答案。这个习惯让我少背了很多东西，也多理解了不少。这份复习资料的价值，大概也在这里——答案本身会过时，但那套从现象推回机制的路子不会。希望帮到你。

本文还有配套的精品资源，点击获取