KNN算法详解：从原理到Scikit-learn实战，分类回归一篇搞定

KNN算法在机器学习里的地位挺特殊。很多人入门第一个模型不是它，但绕来绕去都会回到它——它是少有的“不需要训练”的分类+回归算法，而且 Scikit-learn 对它的 API 封装非常完善，几行代码就能同时跑通分类和回归任务。这篇文章是机器学习系列的第二篇，咱们把 KNN 的原理、API 用法、调参技巧，以及实际使用中容易翻车的几个点一次说清楚。

看这篇文章的人，我猜大概分三种：第一种是刚入门的同学，想搞明白 KNN 到底是什么、能解决什么问题；第二种是期末复习的，需要把算法原理吃透，顺便看看 API 怎么用；第三种是已经在项目里用 KNN 当 baseline，但总被效果和性能搞得头疼的工程师。不管你对号入座哪一种，这篇都能给你点能直接用的东西。

强行概括一下，KNN 的核心就是一句俗话：“物以类聚，人以群分”。一个新样本过来，不需要先构建什么决策边界，只需要找到离它最近的 K 个已知样本，让这些邻居用投票（分类）或者取平均（回归）来替它做决定。听起来简单，但这里面的细节，比如距离怎么算、K 怎么选、特征要不要缩放，每一个都能决定模型是“能用”还是“好用”。

1. 先把KNN的原理揉碎了讲清楚

1.1 深挖两个关键词：惰性学习与非参数模型

教科书爱给 KNN 贴两个标签：惰性学习（Lazy Learning）和非参数模型（Non-parametric Model）。这两个词劝退过不少人，我用大白话翻译一下。

所谓惰性学习，就是“不训练”。你调fit()的时候，它什么都不干；调用之后，它也只是把样本原封不动地存下来。真正的工作是在predict()的时候才发生的——预测一个新样本，它才开始遍历全部历史数据、计算距离。所以在 Sklearn 里，KNN 的fit()几乎瞬间完成，反倒是predict()可能很慢。这点和神经网络、线性回归那种“训练耗时很长，预测飞快”的模式刚好反过来。我见过不少同学第一次训练 KNN 时以为卡死了，其实是它在预测阶段才开始发力，这个节奏要提前适应。

所谓非参数，不是说模型没有参数，而是说模型的复杂度会跟着数据规模自动走。KNN 的“参数”就是存下来的全部样本本身，样本越多，模型越复杂，它不会强行要求数据符合某个固定的数学形态，比如直线、曲线这些。这种特性让 KNN 在数据形态不明确的时候特别好用。实际项目里，如果你根本不知道特征和目标之间是什么关系，拿 KNN 先跑一版看看，通常不会太差。这是它当 baseline 的最大价值——能给你一个“这个任务至少能到多少分”的底线参考。

1.2 决定“谁离我近”的三把尺子

KNN 的全部判断都建立在“距离”上，所以距离的定义方法很关键。实际里最常用的有三把尺子。

第一把是欧氏距离，也就是大多数人直觉里的“直线距离”。二维平面上两个点 (x1, y1)、(x2, y2) 的距离是 sqrt((x1-x2)^2 + (y1-y2)^2)，推广到高维就是把每个维度的差值平方再求和开根号。这是 KNN 默认的距离度量，绝大多数场景下够用。

第二把是曼哈顿距离。想象你在网格状的城市里穿行，不能走斜线，只能横平竖直地走，最后走过的总路程就是曼哈顿距离，公式是 |x1-x2| + |y1-y2|。它的特点是受离群点的影响更小。因为平方运算会放大那些特别大的差值，曼哈顿距离没有平方这一下，所以个别特征的极端值不至于把整体距离完全带歪。

第三把是闵可夫斯基距离，可以看作前两把的统一形式，公式是 (\sum \limits_{i} |x_i - y_i|^p)^{1/p}。p=2 时是欧氏距离，p=1 时是曼哈顿距离，p 越大，大差值在总距离里的贡献权重越高。Sklearn 里 KNeighborsClassifier 的 p 参数管的就是这个。我的建议是：常规数据用默认 p=2；如果特征里常见离群点、或者特征维度比较高，试一下 p=1 往往更稳。

1.3 k值、投票规则与权重机制

接下来是 KNN 的灵魂：k 值和投票规则。

分类场景里，新样本的 K 个最近邻居逐一表态，得票最多的类别获胜，本质就是“民主投票”。但有个容易忽视的问题：如果 K=1，模型完全看最近那一个样本的脸色，噪声稍大一点就翻车；如果 K 设成整个样本数，那每个类别的得票就按总样本比例来，模型退化成“哪类人多就预测谁”，局部信息全丢。所以 k 值要取折中，既要避免太小带来的过拟合，也要避免太大把局部结构抹平。

回归场景稍有变化，不是投票而是求平均。找出 K 个邻居后，把它们的真实目标值做平均（或者加权平均）作为预测结果。这个思路天然保证预测值落在训练集目标值的范围内，不会给出离谱的极端值。

还有种常用的升级玩法：weights 参数。默认是 uniform，所有邻居一视同仁；改成 distance 后，越近的邻居权重越大，加权投票在数据分布不均匀、噪声较多的时候往往能救回不少精度。

我想用一个生活类比帮大家记住这个机制：你想判断一个人是不是篮球爱好者，别管他自己怎么说，去看平时跟他玩得最好的 5 个朋友——如果 4 个都常打球，那大概率这人也是个球友。KNN 就是这种“看朋友圈”的逻辑。

2. Scikit-learn里两个核心API：分类与回归怎么选

2.1 KNeighborsClassifier：分类任务的入口

先把概念捋清楚：标题里的“API”不是网络接口，而是 Sklearn 把 KNN 算法封装好的调用接口。分类场景对应的是sklearn.neighbors.KNeighborsClassifier。

这个类的用法可以用“标准 Sklearn 三件套”来概括：fit(X, y)负责把训练数据“记下来”；predict(X)输出每个样本的类别标签；score(X, y)直接算准确率。还有一个容易被忽略但很实用的方法predict_proba(X)，它会输出每个样本属于各个类别的概率。这个概率在 KNN 里很好解释——最近 K 个邻居里，每个类别的占比就是概率。比如最近 5 个邻居有 4 个属于类别 0，那predict_proba就会给出接近 0.8 的概率值。

Sklearn 最值得称赞的一点是模型 API 高度统一：KNeighborsClassifier、LogisticRegression、RandomForestClassifier这些类的fit、predict、score用法完全一致。所以你今天学会 KNN，明天换逻辑回归或者随机森林，代码结构基本不用改，只需要替换类名和参数。这也是为什么我建议新手先把 KNN 的代码流程吃透，后面学其他模型会顺很多。

2.2 KNeighborsRegressor：预测连续值的用法

回归任务对应的是sklearn.neighbors.KNeighborsRegressor。它和分类版一样有fit、predict、score，区别主要在于没有predict_proba，因为目标是连续值而不是类别。工作方式也很直观：找到 K 个邻居后，把邻居的目标值做平均或加权平均，当作预测结果输出。

这里有个重要特点要提醒大家：KNN 回归天然不会给你超出训练数据范围的预测值。比如训练数据里房价最高 50 万，那它预测出来的值基本不会超过 50 万。这在很多场景是优势，不容易中途跑出特别离谱的值；但如果你想做外推，比如预测比历史数据更高的价格，KNN 就无能为力了，那种任务更适合线性回归或树模型。搞清楚这一点，你才不会在错误的任务上硬套 KNN。

2.3 主要参数横向对比表

两个核心类的参数几乎完全一致，放在一起对比更好记忆。

简单解释一下 algorithm。KNN 暴力搜索就是挨个算距离，准确但数据一大就慢；KD 树和球树是两种加速索引结构，Sklearn 的 auto 会自动选一个合适的，大多数时候不用操心。但如果你数据量到了几十万以上，又清楚数据的分布形态，可以手动指定；实战里我很少动这个参数，它属于“知道有这东西就行”的类型。

3. 实操：手把手跑通KNN分类与回归

3.1 分类实战：鸢尾花数据集

拿经典的 iris 数据集做演示再合适不过。鸢尾花数据集包含三种花，特征是花萼和花瓣的长宽，任务是预测花的品种。数据干净、量小、类别均衡，是新手验证分类模型的完美起点。

from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import classification_report iris = load_iris() X, y = iris.data, iris.target X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) model = KNeighborsClassifier(n_neighbors=5, weights='distance') model.fit(X_train_scaled, y_train) y_pred = model.predict(X_test_scaled) print(classification_report(y_test, y_pred, target_names=iris.target_names))

在我常用的随机划分下，K=5、distance 权重时，测试集准确率通常能到 0.9667，三个类别的 F1 值都接近 1.00。整套流程从读取数据到出报告不到 15 行，已经算是“说人话”级别的 demo。

有两个细节值得单独拿出来说。第一是stratify=y，样本量少时按类别比例切分训练集和测试集，能避免某一类全被切进测试集、导致训练集缺类的情况。对小数据集的分类任务，这个参数直接写上去，不用犹豫。第二是缩放器scaler要在训练集上fit_transform，在测试集上只能transform，千万不能用测试集的数据去重新拟合，否则就是信息泄漏。

3.2 回归实战：加州房价预测

回归这边我选用加州房价数据集。可能有人还在找经典的波士顿房价，但要提醒一句：Sklearn 1.2 之后把那个数据集移除了，涉及数据本身的合规和隐私问题。现在常用的替代方案就是fetch_california_housing，第一次运行需要联网下载，之后走本地缓存。

from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.neighbors import KNeighborsRegressor from sklearn.metrics import mean_squared_error, r2_score housing = fetch_california_housing() X, y = housing.data, housing.target X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) reg = KNeighborsRegressor(n_neighbors=7, weights='distance') reg.fit(X_train_scaled, y_train) y_pred = reg.predict(X_test_scaled) print("RMSE:", mean_squared_error(y_test, y_pred) ** 0.5) print("R2:", r2_score(y_test, y_pred))

这个数据集样本约两万，特征是收入中位数、房龄、房间数等 8 个维度，目标值是房价（单位是十万美元）。实测下来，如果忘记归一化，R2 常常在 0.3 上下挣扎；标准归一化之后能到 0.7 左右。差距就是这么大，KNN 对数据预处理极度敏感，这一点怎么说都不过分。

3.3 数据归一化这一步别偷懒

第一次踩 KNN 的坑，几乎都栽在归一化上。因为距离计算依赖特征的实际数值大小，如果某个特征动辄几万，另一个特征只有 0 到 1，那前者的数值天然主导了距离计算，小数值特征的信息等于被无视了。这种情况不是模型的问题，是数据形态的问题。

归一化有两种主流做法：StandardScaler标准化成均值 0、方差 1；MinMaxScaler缩放到 [0,1] 区间。KNN 我习惯用StandardScaler，因为在多个特征分布差异大的场景里，它的表现更稳定。选哪种也好记：如果数据分布近似正态，用 StandardScaler；如果数据本来就在有限区间里，MinMaxScaler 也行。

再强调一遍前面提过的坑：fit_transform只能用在训练集，测试集只用transform。很多人为了图省事，把全量数据拿去做fit_transform，严格来说这会让评估结果虚高。因为测试集的信息已经提前参与到了预处理参数的计算里，相当于“开卷考试”。做机器学习数据处理，这种细节最不能偷懒。

4. 模型评估与参数调优

4.1 k值到底选多少：交叉验证与肘部法则

k 值是 KNN 最核心的超参数，怎么定？网上常说的“肘部法则”在 KNN 里也能用：画一条“k 值—错误率”曲线，随着 k 增大，错误率先降后升，最低点附近就是比较合适的选择。不过“用眼睛看曲线”终归有点主观，我更推荐直接上交叉验证，让数据说话。

交叉验证的思路很简单：把训练集切成 5 份，每轮拿 4 份训练、1 份验证，轮完 5 次后把验证误差取平均。Sklearn 的cross_val_score几行就能跑完 k=1 到 30 的完整评估，在小数据集上完全不费劲。最终选平均误差最小的那个 k 值，比肉眼看的肘部位置要可靠得多。

4.2 用GridSearchCV做网格调参

调参不用手写循环，GridSearchCV把交叉验证和参数搜索封装在一起，是处理这类问题的标准方案。

from sklearn.model_selection import GridSearchCV from sklearn.neighbors import KNeighborsClassifier param_grid = { "n_neighbors": list(range(1, 21)), "weights": ["uniform", "distance"], "p": [1, 2] } grid = GridSearchCV( KNeighborsClassifier(), param_grid, cv=5, scoring="accuracy", n_jobs=-1 ) grid.fit(X_train_scaled, y_train) print(grid.best_params_) print(grid.best_score_)

在刚才的 iris 数据上，网格搜索给出的最优参数大概率是 n_neighbors=3 到 5、weights=distance、p=2，交叉验证得分在 0.97 上下。这种搜索的代价是训练时间乘以参数组合数。KNN 的“训练”其实只是存样本，真正耗时在 predict 阶段，会被交叉验证反复调用，所以参数组合一多还是会慢。n_jobs=-1开启多核并行，能明显提速，建议保留。

有个原则要守住：GridSearchCV默认用训练集内部做交叉验证，测试集一定要留到搜索结束再碰。如果拿调参后的模型再回训练集上算分数，那是自欺欺人。最好是一开始就把测试集切出去，调参期间完全不看。

4.3 分类与回归应该看哪些指标

分类任务里，准确率（accuracy）最直观，但类别不平衡时容易被骗。比如 99% 样本都是负类，模型全猜负类也有 99% 准确率。这时候必须搭配精确率（Precision）、召回率（Recall）和 F1。逻辑回归做信用评估时特别强调 F1，KNN 分类项目也一样，别只盯着 accuracy 一个数。

回归任务则看 RMSE、MAE 和 R2。MAE 解释起来最亲民：预测平均偏了多少，单位跟目标值一致。RMSE 对大的偏差惩罚更重，因为平方项放大了离群误差。R2 表示模型解释了目标变量多少方差，0.7 可以粗略理解成“比单纯用均值预测好 70%”。评估回归模型时我习惯三个都打出来，别只看 R2。

还有个小经验：KNN 回归评估时尽量多跑几个随机种子。回归目标经常有离群点，单个种子的 RMSE 波动可能很大。多取几个种子平均一下，结论才稳，不然你可能因为一次划分的坏运气，错过一个本来不错的模型。

5. 常见问题与排查技巧实录

5.1 特征尺度不同导致距离失真

症状很好认：模型在验证集上一塌糊涂，代码逻辑检查下来却没毛病。十有八九是没做归一化。我自己在业务数据上遇到过类似情况，特征里有“用户年龄”还有“账户余额”，余额动辄几万，距离计算几乎变成只看余额一个维度，调参调了半天纹丝不动，归一化之后立刻正常。

排查技巧就一条：先看各特征的均值、标准差和数值范围，如果数量级差出几个零，别想别的，先缩放再说。缩放之后再跑一版模型，结果常常天壤之别。这一步看起来平平无奇，但踩过坑的人都知道它有多关键。

5.2 样本量大、维度高时预测缓慢

KNN 的软肋就是预测慢。训练当然瞬间完成，但每次预测都要遍历一遍历史样本。你给它 50 万条训练数据，线上单条预测可能就会到几十毫秒，并发一上来立刻顶不住。

解决办法大概四条路。第一是限制样本量，对训练集做随机抽样再建模。第二是降维，先压缩特征空间再跑 KNN。第三是用 KD 树或球树加速，对应algorithm参数。第四，如果对速度要求极高，可以考虑类似 nmslib、Pynndescent 这类近似最近邻方案，精度略有损失，但速度能提升好几个数量级。图像这类高维数据，实战里几乎不用 KNN，直接上深度学习或专门的视觉模型更靠谱，这也是计算机视觉和机器学习常规用法差异挺大的原因之一。

5.3 类别不平衡、缺失值与重复样本

类别不平衡时，KNN 的投票机制天然偏向多数类。两个急救方案：一个是用weights='distance'，让少数类样本即使数量少，也能靠“靠得近”拿到话语权；另一个是适当增大 k 值，让更多邻居参与投票，避免极端情况下少数类邻居完全被淹没。样本量再大一点，还可以对少数类做采样，但小数据集上还是先改参数比较稳妥。

缺失值处理没什么捷径，KNN 本身不支持缺失值，你必须在建模前处理好。常见做法是删除、均值填充或中位数填充。但要注意，填充发生在交叉验证之前还是之后，会影响评估的公正性。重复样本也会带来麻烦：完全相同的样本如果正好落在邻居圈里，等于投票时一方多了好几票。处理上可以先做去重，但缺点是可能丢信息，需要权衡。

5.4 误把库API当成网络API：401报错咋排查

最后说一个特别常见、也特别容易混淆的点。经常有同学看到关键词里写着“API”，就跑来问：为什么我调用 KNN API 时返回 401 错误？这里必须分清楚：Sklearn 里的KNeighborsClassifier、KNeighborsRegressor是本地算法接口，在你自己机器上运行，根本不经过网络，也不会返回 HTTP 状态码。401 这类报错，通常是调用外部机器学习平台、模型服务或数据接口时才出现的，报错里常见一句incorrect api key provided，直白翻译就是“提供的 API 密钥不对”。

遇到这种报错，我一般的排查顺序如下：先确认 key 有没有复制完整。很多 key 带固定前缀、字符串较长，复制时容易漏掉后半段。再确认请求头里有没有正确带上认证信息，有些平台要求自定义 header，SDK 路径不同写起来也不一样。最后查 key 的权限范围，是不是只开放给了某个服务、某个 IP，或者额度已经用完还不自知。实在不行，重新生成一个 key 再试一次。另外提醒一个安全习惯：key 别硬编码在代码里，放到环境变量，用完注意清理，这在任何项目里都成立。

最后分享一点我的个人习惯。现在接到新的分类或回归需求，我依然会先用 KNN 跑一版 baseline，哪怕最终方案大概率是梯度提升树或者别的更重的模型。原因是 KNN 几乎不做假设，结果稳定，跑出来的分数能给我一个“这个任务大概能到多少”的底线。后续模型如果连这个底线都打不过，那说明问题出在数据而不是模型。踩坑多了之后还有一个体会：KNN 的调参顺序一定是先归一化、再调 k、后考虑权重，顺序反了容易白忙活一场。如果你做的是小样本、低维度的任务，它甚至能直接成为最终方案；数据量上来以后，就把它当基准，再换更快的模型。这样安排，我基本没吃过亏。