简介：面向机器学习入门与课程设计场景，提供一份基于鸢尾花数据集的K近邻（KNN）分类Python实现。代码完整覆盖数据分析与建模流程：先借助箱式图了解特征分布，接着采用两种方式完成特征预处理，将数据随机划分为80%训练集与20%测试集；利用5折交叉验证在K=3~9的候选范围内选择最优近邻数，并以整体预测错误率为指标绘制K值与错误率的变化曲线；最后在测试集上评估模型性能，输出混淆矩阵以及每个类别的查准率、查全率、F1分值，同时计算宏查准率、宏查全率与宏F1分值。资源包仅含1个py文件，大小约5KB，文件数量少但逻辑完整，便于直接运行或作为实验作业的参考模板。目前已有328人学习浏览，适合希望快速掌握KNN分类、交叉验证及多分类评价指标的高校学生与实践者。
1. iris_KNN 是什么：150 条数据里的分类全流程
一个名为 iris_KNN.rar 的压缩包，里面装的基本就是鸢尾花数据集、一份 KNN 分类脚本，再配上 k 折交叉验证和测试集预测集的划分代码。这个组合在机器学习入门项目里出现频率极高，因为数据干净、类别均衡、特征只有 4 个，正好用来验证最朴素的分类算法。它解决的问题很简单：给你 150 条花萼和花瓣的测量数据，判断每朵花属于 setosa、versicolor 还是 virginica。但这个小项目里藏着一整套分类模型的通用流程——数据怎么划分、交叉验证怎么做、预测结果怎么解读。下面就把这套流程完整拆开，适合正在做课程设计、入门机器学习，或者想复现一个标准 KNN 分类管线的人照着跑。
2. 先搞懂 KNN 在 iris 上为什么是首选：算法原理与选型理由
2.1 KNN 的决策逻辑与 iris 数据集的匹配度
KNN，全称 K-Nearest Neighbors，核心思想用一句话说就是"物以类聚"：给定一个待预测样本，在特征空间中找到离它最近的 K 个训练样本，让这 K 个邻居投票决定它属于哪个类别。它没有显式的训练过程，不需要学习权重参数，所有"学习"都发生在预测时刻，这也是它被称为"惰性学习"算法的原因。
iris 数据集包含 150 条样本，每条样本有 4 个特征：花萼长度、花萼宽度、花瓣长度、花瓣宽度，单位都是厘米。标签是 3 种鸢尾花，每种恰好 50 条。这个数据的神奇之处在于，它的特征分布呈现明显的簇状结构：setosa 独自待在一侧，versicolor 和 virginica 在另一侧但有部分重叠。KNN 这种基于局部距离的算法，恰恰对簇状分布的数据非常友好，因为类别之间边界虽然不规则，但局部区域内邻居的类别一致性很高。
把 iris 和 KNN 放在一起，是教科书级别的匹配：KNN 天然支持多分类，iris 恰好是三分类；KNN 不需要训练阶段，适合小样本；KNN 对异常值不敏感，最终决策是 K 个邻居投票，单条异常样本很难影响结果。需要提醒的是，这里的 iris 是鸢尾花数据集，不是虹膜识别（iris recognition）里那个 iris——一个是植物学测量数据，一个是生物特征图像，搜索的时候留意区分就好。
2.2 选 KNN 而不选其他分类器的三个现实理由
很多人会问：iris 这种小数据，逻辑回归、决策树、朴素贝叶斯都能做，为什么课程设计和项目包里的默认方案总是 KNN？我自己的判断有三个理由。
第一，KNN 的决策边界是非线性的。iris 的三个类别里，versicolor 和 virginica 的边界是弯曲且互相渗透的，逻辑回归只能给出线性边界，在这个区域表现会偏弱；决策树虽然能拟合非线性边界，但树模型的特征切分逻辑会把边界切成矩形台阶，边界附近容易过拟合。KNN 的距离投票机制天然适配这种不规则的簇状边界。
第二，KNN 的调参维度非常清晰。整个模型需要关心的超参数就两个：K 值和距离度量。对初学者来说，理解 K 值如何影响决策边界，比理解正则化系数、核函数要直观得多。你在 iris 上把 K 从 1 调到 15，能直接看到准确率的变化曲线，这种反馈对建立模型直觉非常重要。
第三，KNN 不需要假设数据分布。朴素贝叶斯假设特征独立，逻辑回归假设某种线性关系，KNN 的唯一假设是"距离近的样本类别更可能一致"。在 iris 这种特征量纲一致、分布相对规整的数据上，这个假设成立得非常好。
当然，KNN 也有明显的短板。预测时需要对所有训练样本计算距离，样本量一上来推理就变慢；特征维度升高后，高维空间的距离度量会失真，这就是常说的维度灾难。但在 iris 这个场景下，150 条样本、4 个特征，这些短板全都不触发。它在这里的价值，是让你把注意力集中在数据划分和模型评估这些更通用的环节上。
2.3 动手前先看清 iris 数据长什么样
不管代码包里是怎么组织的，接手 iris_KNN 这个项目的第一步都应该是把数据加载出来看清楚，而不是直接跑训练。我一般用 pandas 读入，然后看前几行、统计信息和类别分布。
import pandas as pd from sklearn.datasets import load_iris # 直接从 sklearn 加载，返回的是 Bunch 字典结构 iris = load_iris() df = pd.DataFrame(iris.data, columns=iris.feature_names) df['target'] = iris.target print(df.head()) # 前 5 行，确认特征名和数值范围 print(df.describe()) # 均值、标准差、min/max，判断是否需要标准化 print(df['target'].value_counts()) # 确认三类样本数量均衡 # 把数字标签映射成类别名，方便后续观察预测结果 df['label'] = df['target'].map({0: 'setosa', 1: 'versicolor', 2: 'virginica'}) print(df.groupby('label').size())这段代码做的事情很基础但很关键。load_iris()返回的对象里，data是 150×4 的特征矩阵，target是 150 个数字标签，feature_names是四个特征名。输出describe()能让你一眼看出花萼长度范围在 4.3 到 7.9，花瓣长度范围在 1.0 到 6.9——量纲一致但数值范围差距不大，这意味着标准化与否对结果的影响需要实测验证，而不是想当然。类别分布检查是为了确认三类样本是否均衡，iris 是每类 50 条，完全均衡，所以后面选准确率作为评估指标是合理的。
如果代码包里给的是 CSV 而不是 sklearn 的 Bunch，注意检查文件里是否有表头、是否有缺失值、标签列是类别名还是数字。我见过一个翻车案例：CSV 的标签列是字符串，直接传入KNeighborsClassifier.fit()也能跑，但predict_proba输出的列顺序和字符串顺序对不上，导致后面画图全错。这些看起来琐碎的问题，往往就是预测阶段报错或结果异常的根源。
3. k 折交叉验证：从手写循环到 scikit-learn 标准实现
3.1 为什么单次划分不够：k 折的统计意义
在 iris 这种只有 150 条样本的小数据集上，如果只做一次训练集/测试集划分，结果会很不安定。假设随机划分导致测试集里 virginica 占比偏高，而训练集里 virginica 占比偏低，模型准确率就会偏离真实水平；换一个随机种子，划分变均匀了，准确率又会回升。也就是说，单次划分的结果波动很大，你无法判断 96% 的准确率是模型真的好，还是这次划分走了运。
k 折交叉验证解决的就是这个问题：把数据随机分成 k 份大小近似相等的子集，轮流拿出其中 1 份作为验证集、其余 k-1 份作为训练集，重复 k 次，得到 k 个准确率，再取平均。以 k=5 为例，每份 30 条样本，每次用 120 条训练、30 条验证，跑 5 次，最终得到一个平均准确率和标准差。这个平均值的统计意义比单次划分的准确率高得多，因为它覆盖了数据的不同组合。
对 iris 这种小样本，k 的取值一般在 5 到 10 之间。k 太小，比如 2，每折训练集只有 75 条，模型学到的信息不足，方差很大；k 太大，比如 150，就成了留一法，每折只留 1 条验证，计算量大且准确率方差极端。同时要注意，交叉验证的 k 和 KNN 算法里的 K 是两个完全不同的东西：一个是评估策略的折数，一个是投票邻居数。我第一次做这个项目时把两个 K 都设成 5，后来反思这只是个巧合，它们之间没有任何换算关系。
3.2 手写一个 5 折交叉验证循环
很多人直接调用cross_val_score，结果对交叉验证的理解停留在 API 层，出了问题不知道从哪里查起。我建议至少手写一次循环，把过程看透。
import numpy as np from sklearn.datasets import load_iris from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score iris = load_iris() X, y = iris.data, iris.target k_folds = 5 indices = np.arange(len(X)) np.random.seed(42) np.random.shuffle(indices) # 打乱顺序，避免原始数据按类别排列带来的偏差 fold_sizes = np.full(k_folds, len(X) // k_folds, dtype=int) fold_sizes[: len(X) % k_folds] += 1 # 不能整除时前几份多放 1 条样本 scores = [] current = 0 for fold_idx in range(k_folds): start, end = current, current + fold_sizes[fold_idx] val_idx = indices[start:end] train_idx = np.concatenate([indices[:start], indices[end:]]) clf = KNeighborsClassifier(n_neighbors=5) clf.fit(X[train_idx], y[train_idx]) y_pred = clf.predict(X[val_idx]) scores.append(accuracy_score(y[val_idx], y_pred)) current = end print("每折准确率:", scores) print("平均准确率: %.4f (+/- %.4f)" % (np.mean(scores), np.std(scores)))这个手写版本里最容易被忽略的是indices的生成逻辑。直接用np.arange(150)按顺序切分的话，iris 原始数据是前 50 条 setosa、中间 50 条 versicolor、后 50 条 virginica，顺序切分会造成每折验证集只包含某一个类别，准确率直接崩掉。所以先shuffle让类别在整体中均匀分布，这是手写交叉验证最容易踩的坑。另一个细节是fold_sizes：160 条样本做 5 折时每份 32 条，没问题；但如果样本数 157，前 2 份是 32 条、后 3 份是 31 条，代码里这个逻辑能保证每份数量最多差 1 条，避免某折验证集过大或过小。
3.3 用 scikit-learn 的 KFold 与 cross_val_score 落地
手写循环理解了原理之后，工程落地就应该用成熟实现，避免自己维护索引逻辑出错。
from sklearn.model_selection import KFold, cross_val_score from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import load_iris iris = load_iris() X, y = iris.data, iris.target # 设置 5 折、打乱数据、固定随机种子 kf = KFold(n_splits=5, shuffle=True, random_state=42) clf = KNeighborsClassifier(n_neighbors=5) scores = cross_val_score(clf, X, y, cv=kf, scoring='accuracy') print("每折准确率:", scores) print("平均准确率: %.4f (+/- %.4f)" % (scores.mean(), scores.std()))这里KFold的shuffle=True和手写版的np.random.shuffle作用一致，random_state=42保证每次运行结果可复现。cross_val_score内部会自动完成每折的训练和评估，返回一个长度为n_splits的数组。scoring='accuracy'表示用准确率作为评估指标，对 iris 这种平衡数据集是合适的；如果换到类别不平衡的数据，应该考虑f1_macro或roc_auc_ovr。
特别提醒一点：cross_val_score只能拿到评分，拿不到每折训练好的模型。如果后续需要分析某个折里的具体预测错误，要改用cross_validate或者手动用KFold.split写循环。不要把cross_val_score当成黑匣子，它背后的索引切分逻辑，就是你手写的那十几行代码。
4. 训练集/测试集划分与预测：完整建模流程与单条样本推断
4.1 train_test_split 的坑：随机种子与分层抽样
交叉验证负责评估模型在多种数据划分下的平均表现，但最终要提交结果或做实际预测时，还是需要一个固定的训练集和一个独立的测试集。train_test_split是这里最常用的工具，常用比例是 8:2 或 7:3。对 150 条样本来说，8:2 意味着训练集 120 条、测试集 30 条，这个量级对 KNN 来说完全够用。
from sklearn.model_selection import train_test_split from sklearn.datasets import load_iris import numpy as np iris = load_iris() X, y = iris.data, iris.target # test_size=0.2, stratify=y 保证测试集中三类样本比例与整体一致 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) print("训练集类别分布:", np.bincount(y_train)) print("测试集类别分布:", np.bincount(y_test))random_state=42看起来像玄学，实际上是后悔药。不固定随机种子的话，每次运行划分结果都不同，你的实验结果就无法被别人复现，自己也说不清楚准确率波动是模型原因还是划分原因。固定之后，同一份数据在任何机器上跑都是完全相同的划分。stratify=y则是分层抽样的开关，按类别比例分配训练集和测试集。iris 每类 50 条，测试集 30 条意味着每类约 10 条；如果不分层，极端情况下测试集可能漏掉某个类别，准确率照样高，但模型在那个类别上的真实能力完全没被验证到。
注意：
stratify参数只在分类问题里有意义，回归问题不要传这个参数；而且分类目标必须是离散的类别标签，像 0、1、2 这种。
有人会问，有了 k 折交叉验证还需要train_test_split吗？答案是两者职责不同：交叉验证用来在开发阶段选 K 值、选特征、评估模型稳定性；最终的训练测试集划分用来模拟真实上线场景，测试集是"从未见过"的数据。交叉验证的每个折都会重新划分数据，而train_test_split划出的测试集在整个调参过程中都不该被触碰，否则就构成一种变相的数据泄漏。
4.2 用测试集评估模型的完整流程
划分好数据之后，完整的 KNN 训练评估流程如下，这段代码也是 iris_KNN 项目包最核心的部分。
from sklearn.neighbors import KNeighborsClassifier from sklearn.metrics import accuracy_score, classification_report # 选择 K=5，使用默认的欧氏距离 knn = KNeighborsClassifier(n_neighbors=5, metric='euclidean') knn.fit(X_train, y_train) y_pred = knn.predict(X_test) print("测试集准确率: %.4f" % accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names=iris.target_names))fit在这段代码里比较特殊：KNN 的fit并不像逻辑回归那样去求解权重矩阵，它只是把训练集数据缓存起来，预测时直接拿新样本和这些缓存样本算距离。所以 KNN 的fit几乎瞬间完成，耗时主要发生在predict阶段。classification_report输出每个类别的精确率、召回率、F1 值，对 iris 这种三分类问题，能直接看出混淆集中在哪两个类别上。在 120 条训练样本、30 条测试样本的配置下，K=5 通常能拿到 96% 左右的准确率，偶尔会有条 versicolor 被误判成 virginica。
这里要注意fit和predict的输入形状：X_train必须是二维数组或 DataFrame，形状是 (120, 4)；y_train是一维数组或 Series，形状是 (120,)。很多人从 pandas 转 numpy 时，误把只有一列的 DataFrame 传进去，导致 shape 变成 (120, 1) 而不是 (120,)，predict 时就会报维度不匹配。这种报错其实是好事，最怕的是形状恰好对得上但顺序错。
4.3 从 KNN 模型拿到单条样本的预测结果
课程设计和实际应用里经常需要预测单条花朵数据，比如你手头有了一组新的测量值，想知道它是哪个品种。这里要注意 KNN 的predict和predict_proba两种输出的区别。
import numpy as np # 假设新测到一朵花：花萼长 5.1，花萼宽 3.5，花瓣长 1.4，花瓣宽 0.2 new_sample = np.array([[5.1, 3.5, 1.4, 0.2]]) pred_class = knn.predict(new_sample) pred_proba = knn.predict_proba(new_sample) print("预测类别:", iris.target_names[pred_class[0]]) print("各类别投票占比:", dict(zip(iris.target_names, pred_proba[0])))new_sample必须构造成二维数组，即使只有一条样本，也要写成[[...]]的嵌套形式，因为predict默认输入是"多条样本组成的矩阵"。predict_proba对 KNN 来说输出的并不是严格概率，而是 K 个邻居中各类别的投票占比。比如 K=5 时返回[0.0, 0.8, 0.2]，表示 5 个邻居里有 4 个是 versicolor、1 个是 virginica。这个占比在 K 值小的时候取值很稀疏，K=3 时只有 0.0、0.333、0.667、1.0 几档，不要把它当作平滑的后验概率来解读。
单条预测最容易出现的错误是特征顺序和训练时不一致。训练时特征是花萼长度、花萼宽度、花瓣长度、花瓣宽度，预测时一旦换成别的顺序，距离计算就全错，模型不会报错，但结果完全不可信。我自己的习惯是写预测代码前强制打印训练特征名列表，然后显式对齐，而不是靠记忆手写。
5. 避坑：我在 iris_KNN 上踩过的 5 个真实问题
5.1 准确率 100% 却不敢上线：数据泄漏问题
现象：模型在测试集上拿到 100% 准确率，交叉验证也是 100%，但换到真实新数据上准确率暴跌到 70% 左右。
原因：最常见的是标准化时机错了。有人在划分训练测试集之前就对整个 X 做了标准化，或者用所有数据的均值和方差去缩放测试集。这样测试集的统计信息参与了模型的预处理过程，属于典型的数据泄漏。KNN 是距离类算法，标准化对结果影响很大，测试集一旦带着全局统计信息进入训练流程，模型相当于提前看过了测试集。
解决：严格遵循"先划分后缩放"的顺序。用训练集拟合StandardScaler，再分别变换训练集和测试集，测试集的变换只使用训练集算出的均值和方差。更稳妥的做法是用sklearn.pipeline.Pipeline把标准化和 KNN 串起来，配合cross_val_score使用，Pipeline 会保证每个折内的数据隔离。
from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler pipe = Pipeline([ ('scaler', StandardScaler()), ('knn', KNeighborsClassifier(n_neighbors=5)) ]) scores = cross_val_score(pipe, iris.data, iris.target, cv=kf, scoring='accuracy')5.2 K 值取奇数还是偶数：平票与准确率抖动
现象：K=4 时测试准确率比 K=3 和 K=5 都差，换一个随机种子又反过来，准确率曲线在相邻 K 值之间来回跳。
原因：iris 是三分类，平票不只在偶数 K 时出现。K=4 时可能出现 2:1:1 的投票，K=6 时可能出现 2:2:2 的僵局。sklearn 默认的weights='uniform'在平票时执行的是随机打破，所以准确率表现出随 K 值抖动的现象，而不是平滑变化。
解决：在小范围 K 值上做网格搜索，看平均交叉验证准确率，而不是单次划分的准确率；如果业务场景对平票敏感，把weights改成'distance'，让距离更近的邻居有更高投票权重，能显著减少平票概率。手动选 K 的经验是：三分类问题优先试奇数 K，但不要盲目增大 K，过大的 K 会把远处不同类别的样本也拉进投票，决策边界过于平滑，反而欠拟合。
5.3 距离度量选欧氏还是曼哈顿：对结果的影响有多大
现象：把metric从'euclidean'改成'manhattan'后，准确率从 0.96 降到 0.93，但有人改成余弦距离反而升到 0.98，结论互相矛盾。
原因：距离度量实际上改变了特征空间里的相似性定义。欧氏距离对所有特征同等看待，适合特征量纲一致且相关度不高的情况；曼哈顿距离对特征范围更敏感，对异常值更稳健，但 iris 的特征数值范围不大且异常值少，曼哈顿反而引入了不必要的偏差。iris 上不建议用余弦距离，因为余弦相似度忽略向量模长，而花萼和花瓣的测量值是绝对尺度，丢掉模长会丢掉重要判别信息。
解决：把距离度量视为一个超参数，用交叉验证统一评估，不要凭单次测试集结果决定。默认从'euclidean'开始，只在特征稀疏或维度偏高时尝试'manhattan'，不要在 iris 这种小数据上过度纠结距离函数，它的准确率差异在统计上并不显著。
5.4 标准化与不标准化：距离类算法的生死线
现象：在原始特征上 KNN 准确率只有 0.90，套上StandardScaler后提升到 0.96；换个数据集，标准化后反而下降。
原因：KNN 的核心是特征空间中的距离计算，特征数值范围不同时，范围大的特征会主导距离。iris 的花瓣长度在 1.0 到 6.9 之间，花萼宽度在 2.0 到 4.4 之间，虽然差距不算极端，但确实会影响邻居的选择。标准化把每个特征变成均值 0、方差 1，让每个特征对距离的贡献同等权重。有些数据集里特征本身就是同一物理量纲且有意义的绝对尺度，标准化后反而破坏了原始距离含义，所以表现下降。
解决：以结果为导向，用交叉验证对比标准化前后的平均准确率。但顺序必须做对：先对训练集拟合 scaler，再去变换训练集和测试集；如果用 Pipeline 包起来，这个顺序不会被写错。还有一个边界：标准化只适用于连续数值特征，如果以后把 KNN 迁移到混合数据类型，类别特征要做独热编码，不能直接丢进StandardScaler。
5.5 划分后预测时特征顺序对不上
现象：代码不报错，但预测结果出现大量错误，检查发现训练时准确率极高，线上预测时全乱套。
原因：训练时用的是 DataFrame 的原始列顺序，预测时手写了一个 numpy 数组，特征顺序凭记忆排列，和训练时不一致，或者漏掉了一个特征。KNN 不做特征名校验，喂进去的数字只要形状对就能算出结果，所以这类错误极具迷惑性。
解决：预测前严格打印训练时的特征名列表，用它去索引待预测数据。如果待预测数据是 DataFrame，直接用df[feature_names]重排列；如果是 numpy 数组，用np.asarray(df)[:, feature_indices]手动调整列顺序。我在调试时会在预测前打印X_test.shape和第一行数据，跟训练数据的head()做肉眼比对，很多问题一下就暴露了。
6. 不只看准确率：验证 KNN 模型可靠性的三个进阶技巧
6.1 用学习曲线判断 KNN 是否欠拟合
在 iris 上跑一组 K 值（1 到 20），记录每个 K 值在训练集和验证集上的平均准确率，画出曲线。你会发现 K=1 时训练集准确率 100%，验证集波动大；K 增大到 5 附近，验证集准确率到峰值；K 继续增大，两个准确率同时下降，说明决策边界过于平滑，模型开始欠拟合。这个曲线能帮你在不碰测试集的情况下定下 K 值范围。我一般会把交叉验证的平均准确率和标准差一起画成误差带曲线，观察的结论更可靠。
6.2 混淆矩阵看错误分布
调用confusion_matrix查看测试集 30 条样本的预测结果，你会发现错误几乎全部集中在 versicolor 和 virginica 之间，setosa 从不被混淆。这是 iris 数据本身的特点：setosa 在特征空间中和另外两类距离极远，而 versicolor 与 virginica 边界重叠。知道这一点，你就明白 KNN 在这个数据上的准确率上限不是 100%，而是由这个固有重叠决定的，调参只能逼近这个上限，不能突破。
6.3 把 KNN 迁移到其他数据集的注意点
iris 上的流程跑通只代表入门。换到真实数据集时，先检查样本量和特征维度：超过 10 万条样本时，KNN 的预测速度会变成瓶颈，需要考虑用 KDTree 或 BallTree 加速；换到股票量化分析这类时间序列数据时，普通KFold的随机打乱是错的，时间序列必须按时间顺序划分，否则未来的数据泄漏到训练集里，验证结果会严重虚高。我自己的教训是：在 iris 上跑通就以为掌握了 KNN，直到把同样的代码套到带噪声的真实数据上，才发现标准化、交叉验证方式和类别分布这些前提条件比调 K 值重要得多。希望帮到你。
本文还有配套的精品资源，点击获取
