Python房价预测实战：从线性回归到决策树的完整建模与调优指南

1. 从零开始：为什么选择Python做房价预测？

如果你正在看这篇文章，大概率是想用Python做点实际的机器学习项目，而房价预测几乎是所有人的第一站。这太正常了，谁不想用代码“算一算”自己心仪的房子值多少钱呢？但你可能也发现了，网上教程多如牛毛，从导入库到跑出结果，代码可能就十几行。跟着做一遍，模型跑起来了，R²分数也出来了，但关上电脑，心里还是空落落的：我到底做了什么？为什么用线性回归？决策树又是什么鬼？我的模型真的可信吗？

这正是我想和你聊的。今天我们不搞“速成”，不复制粘贴代码。我会带你用Python亲手构建线性回归和决策树模型来预测房价，但重点远不止于此。我会拆开每一个黑箱，告诉你为什么数据要这么处理，为什么这个参数要这么调，以及——更重要的是——在实际操作中，那些教程不会告诉你的“坑”和“门道”。比如，你知不知道，对于房价数据，不做特征工程直接扔给线性回归，效果可能还不如你拍脑袋猜的准？再比如，决策树长得枝繁叶茂就一定好吗？我们怎么判断它是不是在“死记硬背”？

所以，这篇文章是给真正想弄明白的人看的。无论你是刚学完Python语法想找项目练手的学生，还是想转行数据分析、机器学习的职场新人，甚至是已经写过几个模型但总觉得差点意思的同行，我希望接下来的内容能给你带来一些实实在在的、能带走的“手感”。我们会从最原始的数据开始，一步步走到模型评估与选择，整个过程就像一次完整的数据科学小项目实战。放心，所有代码都会给，但更重要的是代码背后的思考。

2. 战场准备：理解数据与搭建Python环境

在写第一行模型代码之前，有两件事比代码本身更重要：一是彻底理解你要用的数据，二是准备好趁手的“兵器”。很多人模型效果不好，第一步就错了。

2.1 数据初探：房价数据里到底藏着什么？

我们通常使用的经典数据集是波士顿房价数据集，但出于一些版权和伦理考虑，现在更推荐使用sklearn.datasets中的fetch_california_housing（加州住房数据集）或load_diabetes等。这里我们以加州住房数据集为例，它更贴近现实，特征也更有意思。

首先，我们看看数据长什么样：

from sklearn.datasets import fetch_california_housing import pandas as pd # 加载数据 housing = fetch_california_housing() # 将数据转换为DataFrame，方便查看 df = pd.DataFrame(housing.data, columns=housing.feature_names) df['MedHouseVal'] = housing.target # 目标变量：房屋中位数价格（单位：十万美元） print(f"数据集形状: {df.shape}") print(df.head()) print(df.info()) print(df.describe())

运行这几行代码，你会看到数据的大致样貌。这个数据集大约有2万条样本，8个特征，比如MedInc（住户收入中位数）、HouseAge（房屋年龄中位数）、AveRooms（平均房间数）等。目标变量MedHouseVal是房屋中位价。

关键的第一步：理解每个特征的含义。这不是走过场。比如AveRooms（平均房间数）和AveBedrms（平均卧室数），这两个特征高度相关，因为卧室数包含在房间数内。直接使用可能会导致线性回归中的多重共线性问题，影响模型稳定性。再比如Population（人口）和AveOccup（平均入住率），它们可能反映了区域的热度，但与房价的关系可能是非线性的。

更重要的一步：观察目标变量的分布。画个直方图看看：

import matplotlib.pyplot as plt import seaborn as sns sns.histplot(df['MedHouseVal'], bins=50, kde=True) plt.xlabel('Median House Value (in $100,000)') plt.title('Distribution of House Prices') plt.show()

你会发现房价的分布可能不是完美的正态分布，或许有右偏（少数极高房价）。线性回归假设误差服从正态分布，目标变量的严重偏态可能会影响这个假设。虽然不一定需要立即对目标变量做变换（如对数变换），但心里要有数，这在后续模型评估和误差分析时是个重要的参考点。

2.2 环境搭建：别在包版本上栽跟头

“我代码和你一模一样，为什么报错？”——90%的问题出在环境上。对于这个项目，我们不需要复杂的环境，但版本一致性能避免无数麻烦。

核心工具栈：

• Python 3.8+：这是基础。
• Jupyter Notebook / VSCode：交互式探索的首选，方便你一步步看数据和结果。
• 核心库：
  • scikit-learn：机器学习核心库，包含我们要用的线性回归、决策树、数据拆分、评估指标等所有功能。请务必使用较新版本（如1.0+），因为API更稳定。
  • pandas：数据处理利器。
  • numpy：数值计算基础。
  • matplotlib&seaborn：数据可视化，让数据自己“说话”。

一个避坑建议：创建虚拟环境。强烈建议不要用系统全局的Python环境。使用conda或venv创建一个独立环境。

# 使用conda（如果你安装了Anaconda/Miniconda） conda create -n house_price_pred python=3.9 conda activate house_price_pred pip install scikit-learn pandas numpy matplotlib seaborn jupyter # 或者使用venv python -m venv house_price_env # 激活环境（Windows） house_price_env\Scripts\activate # 激活环境（Mac/Linux） source house_price_env/bin/activate pip install scikit-learn pandas numpy matplotlib seaborn jupyter

这样做的好处是，项目的依赖被隔离，不会与其他项目冲突。当你以后回看或分享这个项目时，只需要一个requirements.txt文件就能复现完全相同的环境。

注意：如果你在安装scikit-learn时遇到速度慢的问题，可以使用国内镜像源，例如pip install scikit-learn -i https://pypi.tuna.tsinghua.edu.cn/simple。

3. 数据炼金术：清洗、探索与特征工程

数据科学家常说“Garbage in, garbage out”（垃圾进，垃圾出）。模型再高级，喂给它垃圾数据，也只能吐出垃圾结果。这一章，我们就像炼金术士一样，把原始数据“炼”成模型能更好理解的“金子”。

3.1 数据清洗：处理缺失值与异常值

幸运的是，fetch_california_housing是一个清洗过的数据集，没有缺失值。但在真实项目中，处理缺失值是必经之路。这里我们模拟一下思路：如果是数值特征，常用中位数或均值填充；如果是类别特征，则用众数或单独作为一个类别。

对于异常值，我们需要保持警惕。异常值可能是有价值的极端情况，也可能是数据录入错误。它们对线性回归的影响尤其大，因为线性回归试图最小化所有误差的平方和，一个巨大的异常值会把整个回归线“拉”偏。

我们可以用箱线图（Boxplot）快速检测异常值：

fig, axes = plt.subplots(2, 4, figsize=(16, 8)) axes = axes.ravel() # 将二维坐标轴数组展平 for i, col in enumerate(df.columns[:-1]): # 遍历除目标列外的所有特征 sns.boxplot(y=df[col], ax=axes[i]) axes[i].set_title(f'Boxplot of {col}') axes[i].set_ylabel('') plt.tight_layout() plt.show()

你会看到像AveRooms、AveBedrms、Population这些特征存在很多远离箱体的点（即异常值）。直接删除它们吗？不一定。在房价预测里，超大面积的豪宅（对应极高的AveRooms）是真实存在的，它们提供了高端市场的信息。一个更稳健的做法是使用对异常值不敏感的模型（比如决策树），或者在特征工程中对其进行处理，例如进行缩尾处理（Winsorization）或使用分位数进行截断。

3.2 探索性数据分析：发现特征与房价的关系

这一步是艺术和科学的结合。我们要可视化特征与目标变量（房价）的关系。

数值特征：散点图是好朋友

fig, axes = plt.subplots(2, 4, figsize=(16, 8)) axes = axes.ravel() for i, col in enumerate(df.columns[:-1]): axes[i].scatter(df[col], df['MedHouseVal'], alpha=0.3, s=10) # alpha透明度，s点大小 axes[i].set_xlabel(col) axes[i].set_ylabel('MedHouseVal') # 尝试画一条简单的趋势线（使用numpy的polyfit） try: z = np.polyfit(df[col], df['MedHouseVal'], 1) p = np.poly1d(z) axes[i].plot(df[col], p(df[col]), "r--", linewidth=1) except: pass plt.tight_layout() plt.show()

从散点图你可以直观看到：

• MedInc（收入）与房价有强烈的正相关关系，趋势线向上走，这符合常识。
• HouseAge（房龄）与房价的关系看起来比较弱，甚至可能不是线性的。
• AveRooms与房价的关系在某个点之后似乎变得平缓，这可能暗示着非线性或存在异常值影响。

关系矩阵：一眼看穿所有相关性

plt.figure(figsize=(10, 8)) correlation_matrix = df.corr() sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm', center=0) plt.title('Feature Correlation Heatmap') plt.show()

热力图中，颜色越深红代表正相关性越强，越深蓝代表负相关性越强。你会发现MedInc与MedHouseVal相关性最高（可能超过0.6）。同时，注意特征之间的相关性，例如AveRooms和AveBedrms相关性极高（>0.8），这验证了我们之前的猜测——存在多重共线性风险。

3.3 特征工程：为模型注入“洞察力”

原始特征可以直接用，但经过我们的大脑加工后，模型效果往往更好。

1. 处理高相关特征：对于AveRooms和AveBedrms，我们可以创造一个新特征Bedroom_Ratio（卧室与房间的比例），这或许能反映房屋的结构布局，然后可以考虑删除原始的两个高相关特征之一，以避免共线性。

df['Bedroom_Ratio'] = df['AveBedrms'] / df['AveRooms'] # 可以考虑删除AveBedrms # df = df.drop(columns=['AveBedrms'])

2. 创造组合特征：有时候，两个特征组合起来比单独使用更有意义。例如，Population（人口）和AveOccup（平均入住率）都描述区域人员密度，我们可以创建一个Density（密度）特征，虽然这里只是简单相加，但提供了一个思路。

df['Density'] = df['Population'] / df['AveOccup'] # 注意：这里只是示例，真实含义需斟酌

3. 非线性特征转换：如果怀疑特征与目标存在非线性关系（如从散点图观察到），可以尝试创建多项式特征。例如，为MedInc添加平方项。这在线性回归中尤其有用，因为线性回归本身是线性的，但通过添加非线性特征，可以拟合更复杂的模式。

df['MedInc_Squared'] = df['MedInc'] ** 2

4. 特征缩放：线性回归和决策树对特征尺度的敏感度不同。线性回归的系数大小受特征尺度影响（使用梯度下降求解时，缩放能加速收敛），而决策树基于信息增益或基尼不纯度进行分裂，对尺度不敏感。但为了公平比较和某些后续步骤（如正则化），我们通常进行标准化（StandardScaler）或归一化（MinMaxScaler）。这里我们使用标准化，使特征均值为0，方差为1。

from sklearn.preprocessing import StandardScaler # 分离特征和目标 X = df.drop(columns=['MedHouseVal']) y = df['MedHouseVal'] # 初始化缩放器，并拟合训练数据（注意：先拆分再拟合！） # 我们将在下一章做数据拆分，这里先演示流程 scaler = StandardScaler() # 假设X_train是训练集特征 # X_train_scaled = scaler.fit_transform(X_train) # X_test_scaled = scaler.transform(X_test) # 使用训练集的参数来转换测试集

重要提示：永远不要在整个数据集上拟合StandardScaler或MinMaxScaler后再拆分！这会导致数据泄露（Data Leakage），因为测试集的信息（均值和方差）污染了训练过程。正确的顺序是：先拆分训练集和测试集，然后在训练集上拟合缩放器，并用这个拟合好的缩放器去转换训练集和测试集。

4. 模型构建与训练：线性回归 vs 决策树

数据准备好了，现在进入核心环节：造模型。我们会像教练训练两个不同特点的运动员一样，分别训练线性回归和决策树模型。

4.1 数据拆分：守住评估的底线

首先，我们必须把数据分成训练集和测试集。训练集用来教模型，测试集是最终考试，用来评估模型在从未见过的新数据上的表现。通常按8:2或7:3的比例拆分。

from sklearn.model_selection import train_test_split # 假设X和y已经准备好（包含我们工程后的特征） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) print(f"训练集大小: {X_train.shape}") print(f"测试集大小: {X_test.shape}")

random_state参数设为一个固定值（比如42），可以确保每次运行代码时，拆分的结果都是一样的，这对于结果的可复现性至关重要。

现在，对特征进行缩放：

scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) # 只在训练集上拟合 X_test_scaled = scaler.transform(X_test) # 用训练集的参数转换测试集

4.2 第一个运动员：线性回归模型

线性回归试图找到一条直线（在高维空间是超平面），使得所有数据点到这条直线的垂直距离（误差）的平方和最小。它的假设是特征与目标之间存在线性关系。

from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score # 创建模型实例 lr_model = LinearRegression() # 训练模型 lr_model.fit(X_train_scaled, y_train) # 在训练集和测试集上进行预测 y_train_pred_lr = lr_model.predict(X_train_scaled) y_test_pred_lr = lr_model.predict(X_test_scaled) # 评估模型 def evaluate_model(y_true, y_pred, set_name): mse = mean_squared_error(y_true, y_pred) mae = mean_absolute_error(y_true, y_pred) r2 = r2_score(y_true, y_pred) print(f"{set_name}评估:") print(f" 均方误差(MSE): {mse:.4f}") print(f" 平均绝对误差(MAE): {mae:.4f}") print(f" 决定系数(R²): {r2:.4f}") return mse, mae, r2 print("线性回归模型性能:") train_metrics_lr = evaluate_model(y_train, y_train_pred_lr, "训练集") test_metrics_lr = evaluate_model(y_test, y_test_pred_lr, "测试集")

解读结果：

• MSE（均方误差）：误差的平方和，对大的误差惩罚更重。数值越小越好。
• MAE（平均绝对误差）：误差的绝对值和，更直观。比如MAE为0.5，意味着平均预测偏差是0.5（单位是十万美元，即5万美元）。
• R²（决定系数）：表示模型能解释的目标变量方差的比例。范围在0到1之间，越接近1越好。如果测试集R²远低于训练集R²，说明模型可能过拟合了。

查看模型系数（权重）：

# 将系数与特征名对应起来 coef_df = pd.DataFrame({ 'feature': X.columns, 'coefficient': lr_model.coef_ }) print(coef_df.sort_values(by='coefficient', ascending=False))

这能告诉你模型认为哪个特征对房价的影响最大（正负和大小）。例如，MedInc的系数很可能最大且为正，这很合理。

4.3 第二个运动员：决策树回归模型

决策树采用完全不同的思路。它通过一系列“是/否”问题（基于特征阈值）将数据不断划分，直到每个叶子节点里的样本房价都足够相似。它不假设线性关系，能捕捉复杂的非线性模式。

from sklearn.tree import DecisionTreeRegressor # 创建模型实例，先不限制深度，看看效果 dt_model = DecisionTreeRegressor(random_state=42) # 训练模型 dt_model.fit(X_train_scaled, y_train) # 决策树虽然对尺度不敏感，但我们用了统一缩放后的数据 # 预测与评估 y_train_pred_dt = dt_model.predict(X_train_scaled) y_test_pred_dt = dt_model.predict(X_test_scaled) print("\n决策树回归模型性能 (默认参数):") train_metrics_dt = evaluate_model(y_train, y_train_pred_dt, "训练集") test_metrics_dt = evaluate_model(y_test, y_test_pred_dt, "测试集")

一个很可能出现的惊人结果：你可能会发现，决策树在训练集上的R²接近1.0，MSE接近0，表现得完美无缺！但在测试集上，R²却低得多，MSE也很大。

这就是典型的“过拟合”（Overfitting）！决策树默认会一直生长，直到每个叶子节点只剩下一个样本或无法再分。这导致它完美记忆了训练数据的所有细节（包括噪声），但对新数据的泛化能力极差。这棵树已经复杂到失去了概括能力。

5. 模型优化与调参：从“死记硬背”到“掌握规律”

上一章我们看到决策树过拟合了。现在，我们要通过“调参”来优化这两个模型，找到那个在“欠拟合”（太简单）和“过拟合”（太复杂）之间的最佳平衡点。

5.1 决策树的剪枝：限制它的“自由生长”

决策树有一系列参数来控制其生长，防止过拟合：

• max_depth：树的最大深度。这是最常用、最有效的参数。限制深度相当于限制模型复杂度。
• min_samples_split：一个节点至少需要多少个样本才能继续分裂。值越大，树越简单。
• min_samples_leaf：一个叶子节点至少需要多少个样本。值越大，树越简单。
• max_features：寻找最佳分裂时考虑的最大特征数。可以防止过度依赖某个强特征。

我们使用交叉验证网格搜索来寻找最佳参数组合：

from sklearn.model_selection import GridSearchCV # 定义参数网格 param_grid = { 'max_depth': [3, 5, 10, 15, 20, None], # None表示不限制 'min_samples_split': [2, 5, 10], 'min_samples_leaf': [1, 2, 4], 'max_features': ['auto', 'sqrt', 'log2'] # auto即所有特征 } # 创建决策树模型 dt_for_grid = DecisionTreeRegressor(random_state=42) # 创建GridSearchCV对象，使用5折交叉验证，以负均方误差（-MSE）为评分标准（sklearn默认是最大化评分，所以用负MSE） grid_search = GridSearchCV(estimator=dt_for_grid, param_grid=param_grid, cv=5, scoring='neg_mean_squared_error', # 负MSE，越大越好 n_jobs=-1, # 使用所有CPU核心并行计算 verbose=1) # 输出搜索过程 # 在训练集上执行网格搜索 grid_search.fit(X_train_scaled, y_train) # 输出最佳参数和最佳得分 print(f"最佳参数: {grid_search.best_params_}") print(f"最佳交叉验证分数（负MSE）: {grid_search.best_score_:.4f}") print(f"对应的最佳MSE: {-grid_search.best_score_:.4f}") # 获取最佳模型 best_dt_model = grid_search.best_estimator_ # 用最佳模型在测试集上做最终评估 y_test_pred_best_dt = best_dt_model.predict(X_test_scaled) print("\n优化后的决策树在测试集上性能:") evaluate_model(y_test, y_test_pred_best_dt, "测试集")

这个过程可能需要一些时间，但它系统地遍历了各种参数组合，并用交叉验证来评估每种组合的泛化能力，最终找到最稳健的一组参数。

5.2 线性回归的优化：引入正则化

线性回归本身参数少，但我们可以通过引入正则化来防止过拟合，特别是当特征较多或存在共线性时。正则化在损失函数中添加一个惩罚项，限制模型系数的大小。

• 岭回归（Ridge Regression）：使用L2正则化，惩罚系数的平方和。它会让所有系数都变小，但不会为零。
• 套索回归（Lasso Regression）：使用L1正则化，惩罚系数的绝对值之和。它倾向于将一些不重要的特征的系数直接压缩到零，从而实现特征选择。

from sklearn.linear_model import Ridge, Lasso from sklearn.model_selection import cross_val_score # 尝试不同的正则化强度alpha alphas = [0.001, 0.01, 0.1, 1, 10, 100] ridge_scores = [] lasso_scores = [] for alpha in alphas: ridge = Ridge(alpha=alpha, random_state=42) lasso = Lasso(alpha=alpha, random_state=42, max_iter=10000) # Lasso需要更多迭代 # 使用交叉验证的负MSE分数 ridge_cv_score = -cross_val_score(ridge, X_train_scaled, y_train, cv=5, scoring='neg_mean_squared_error').mean() lasso_cv_score = -cross_val_score(lasso, X_train_scaled, y_train, cv=5, scoring='neg_mean_squared_error').mean() ridge_scores.append(ridge_cv_score) lasso_scores.append(lasso_cv_score) # 可视化不同alpha下的交叉验证MSE plt.figure(figsize=(10, 6)) plt.plot(alphas, ridge_scores, 'o-', label='Ridge') plt.plot(alphas, lasso_scores, 's-', label='Lasso') plt.xscale('log') # alpha跨度大，用对数坐标 plt.xlabel('Alpha (Regularization Strength)') plt.ylabel('Cross-Validation MSE') plt.title('Regularization Strength vs. Model Performance') plt.legend() plt.grid(True) plt.show()

通过这个图，你可以选择一个使交叉验证误差最小的alpha值。然后，用这个alpha重新训练最终的正则化模型，并在测试集上评估。

5.3 可视化决策树：理解模型是如何做决定的

优化后的决策树不再是一棵“疯长”的树，我们可以将其可视化，看看它到底是怎么做预测的。这能极大地增强模型的可解释性。

from sklearn.tree import plot_tree import matplotlib.pyplot as plt plt.figure(figsize=(20, 10)) # 这里我们使用优化后模型，并限制深度以便可视化，比如 max_depth=3 plot_tree(best_dt_model, feature_names=X.columns.tolist(), filled=True, rounded=True, max_depth=3, fontsize=10) plt.title("Optimized Decision Tree (First 3 Levels)") plt.show()

在生成的树图中，你可以看到：

• 每个节点上的判断条件（例如MedInc <= 0.2）。
• mse表示该节点样本的均方误差，值越小说明该节点样本的房价越接近。
• samples表示该节点包含的样本数。
• value是该节点样本房价的平均值，也是如果预测落到这个节点的预测值。
• 颜色深浅通常表示value的大小，越深可能代表房价越高或越低。

通过这棵树，你可以清晰地追踪一个样本是如何从根节点被一系列问题引导到最终的叶子节点，并获得一个预测值的。这种白盒特性是决策树类模型最大的优点之一。

6. 模型评估与对比：谁才是更好的“房价预言家”？

模型训练和调优都完成了，现在是时候让两位“运动员”正式同台竞技，并深入分析它们的表现。评估不能只看一个R²分数，我们需要多维度、可视化地审视。

6.1 性能指标对比

让我们把优化后的线性回归（或岭回归）和优化后的决策树的测试集表现放在一起对比：

# 假设我们已经得到了最佳线性回归模型 best_lr_model 和最佳决策树模型 best_dt_model # 以及它们在测试集上的预测结果 y_test_pred_best_lr 和 y_test_pred_best_dt from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import pandas as pd metrics_dict = { 'Model': ['Linear Regression', 'Decision Tree'], 'Test MSE': [ mean_squared_error(y_test, y_test_pred_best_lr), mean_squared_error(y_test, y_test_pred_best_dt) ], 'Test MAE': [ mean_absolute_error(y_test, y_test_pred_best_lr), mean_absolute_error(y_test, y_test_pred_best_dt) ], 'Test R²': [ r2_score(y_test, y_test_pred_best_lr), r2_score(y_test, y_test_pred_best_dt) ] } metrics_df = pd.DataFrame(metrics_dict) print(metrics_df)

这个表格会给你一个直观的数字对比。通常，在这个问题上，经过适当调优的线性回归和决策树R²分数可能相差不大，都在0.6-0.7左右（取决于特征工程和数据）。但它们的误差分布和特点完全不同。

6.2 可视化诊断：深入误差内部

数字是冰冷的，图表能告诉我们更多故事。

1. 预测值 vs 真实值散点图：

fig, axes = plt.subplots(1, 2, figsize=(14, 6)) # 线性回归 axes[0].scatter(y_test, y_test_pred_best_lr, alpha=0.5) axes[0].plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2) # 完美预测线 axes[0].set_xlabel('True Values') axes[0].set_ylabel('Predicted Values') axes[0].set_title('Linear Regression: True vs Predicted') axes[0].grid(True) # 决策树 axes[1].scatter(y_test, y_test_pred_best_dt, alpha=0.5) axes[1].plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2) axes[1].set_xlabel('True Values') axes[1].set_ylabel('Predicted Values') axes[1].set_title('Decision Tree: True vs Predicted') axes[1].grid(True) plt.tight_layout() plt.show()

理想情况下，所有点应该落在红色虚线上。观察点的分布：

• 如果点均匀分布在红线两侧，说明模型无偏。
• 如果点呈喇叭形（误差随真实值增大而增大），说明模型可能存在异方差性。
• 决策树的预测值可能会呈现“阶梯状”，因为它的输出是叶子节点内样本的平均值。

2. 残差分布图：残差 = 真实值 - 预测值。一个好的模型，其残差应该随机分布在0附近，没有明显的模式。

residuals_lr = y_test - y_test_pred_best_lr residuals_dt = y_test - y_test_pred_best_dt fig, axes = plt.subplots(2, 2, figsize=(12, 10)) # 残差散点图（vs 预测值） axes[0, 0].scatter(y_test_pred_best_lr, residuals_lr, alpha=0.5) axes[0, 0].axhline(y=0, color='r', linestyle='--') axes[0, 0].set_xlabel('Predicted Values') axes[0, 0].set_ylabel('Residuals') axes[0, 0].set_title('Linear Regression: Residuals vs Predicted') axes[0, 0].grid(True) axes[0, 1].scatter(y_test_pred_best_dt, residuals_dt, alpha=0.5) axes[0, 1].axhline(y=0, color='r', linestyle='--') axes[0, 1].set_xlabel('Predicted Values') axes[0, 1].set_ylabel('Residuals') axes[0, 1].set_title('Decision Tree: Residuals vs Predicted') axes[0, 1].grid(True) # 残差直方图 axes[1, 0].hist(residuals_lr, bins=30, edgecolor='black') axes[1, 0].set_xlabel('Residuals') axes[1, 0].set_ylabel('Frequency') axes[1, 0].set_title('Linear Regression: Residuals Distribution') axes[1, 0].grid(True) axes[1, 1].hist(residuals_dt, bins=30, edgecolor='black') axes[1, 1].set_xlabel('Residuals') axes[1, 1].set_ylabel('Frequency') axes[1, 1].set_title('Decision Tree: Residuals Distribution') axes[1, 1].grid(True) plt.tight_layout() plt.show()

从残差图中，我们希望看到：

• 散点图：残差随机分布在0线上下，没有明显的曲线或漏斗形状。
• 直方图：残差近似服从正态分布（钟形曲线）。如果严重偏离，说明模型可能没有捕捉到数据中的某些模式。

6.3 模型选择：没有银弹，只有权衡

现在，你手头有两个模型和一堆评估图表。该怎么选？

• 线性回归的优点：

  • 可解释性强：系数直接反映了特征对目标的影响方向和大小。你可以说“收入每增加一个标准化单位，房价预计上涨X个单位”。
  • 计算高效：训练和预测速度都非常快。
  • 理论基础扎实：有完整的统计推断框架（如计算置信区间、p值等，虽然sklearn默认不提供）。
  • 如果关系接近线性，它是非常稳健且高效的选择。

• 线性回归的缺点：

  • 对非线性关系束手无策：它只能拟合直线（超平面）。如果房价与房龄是“倒U型”关系，它无法很好拟合。
  • 对异常值敏感：因为损失函数是平方误差，一个异常值会带来巨大影响。
  • 要求满足一系列统计假设（如线性、独立性、同方差性、正态性等），现实数据往往难以完全满足。

• 决策树的优点：

  • 能捕捉复杂非线性关系和交互效应（例如，高收入且靠近海岸的区域房价会飙升）。
  • 对数据尺度不敏感，不需要特征缩放（虽然我们做了，但主要是为了和线性回归统一）。
  • 对异常值不敏感，因为它基于数据划分，而不是距离。
  • 结果直观易懂，可以通过树图解释单个预测。

• 决策树的缺点：

  • 容易过拟合，必须通过剪枝等参数严格控制。
  • 不稳定：训练数据微小的变化可能导致生成完全不同的树。
  • 外推能力差：对于预测超出训练数据范围的值，表现可能很差。
  • 默认的决策树是“贪心”算法，可能找不到全局最优树。

我的经验与建议：对于房价预测这类问题，我个人的经验是，特征工程的质量往往比模型选择更重要。一个做了充分特征工程（比如引入了地理位置交互项、非线性变换）的线性回归，其表现可能超过一个使用原始特征的复杂决策树。

在实际项目中，我通常会这样做：

1. 先跑一个简单的线性回归作为基准模型。它快速、可解释，能立刻告诉你特征的线性影响力。
2. 用决策树（或它的集成版本如随机森林）作为另一个基准，看看非线性模型能带来多少提升。
3. 仔细分析两者的残差图。如果线性回归的残差图显示出明显的非线性模式（如U型），那我就知道必须引入非线性特征或换用更复杂的模型。
4. 不要满足于单个模型。可以尝试集成方法，比如将线性回归和决策树的预测取平均（简单集成），或者使用更高级的梯度提升树（如XGBoost, LightGBM），它们通常能取得更好的效果。

最终选择哪个模型部署，需要权衡性能（精度）、解释性、计算成本和稳定性。如果业务方需要知道每个特征的具体影响，线性回归或带正则化的线性模型可能是更好的选择。如果纯粹追求预测精度，并且有足够的计算资源，集成树模型通常是更优解。

7. 总结与进阶思考：从项目到实战

走完这一整套流程，你已经完成了一个标准的、小型的机器学习项目。但真实世界的数据科学工作远不止于此。基于这个房价预测项目，我想分享几个能让你走得更远的进阶思考点。

1. 特征工程是永无止境的探索我们只做了最基础的特征工程。在真实场景中，房价预测的特征可以极其丰富：

• 地理位置信息：加州住房数据集有经纬度（Latitude,Longitude）。我们可以计算到市中心、海岸线、著名商圈的距离，或者使用聚类算法（如K-Means）将地理位置相似的区域分组，创建区域类别特征。
• 时间特征：如果数据有时间维度（如交易年份、月份），可以提取周期性特征。
• 外部数据融合：爬取或购买学区评分、犯罪率、周边配套设施（地铁、商场、医院）等数据，与现有数据合并。这才是数据科学项目中价值最大的部分。

2. 模型融合的威力我们对比了单个模型。但“三个臭皮匠，顶个诸葛亮”。尝试以下方法：

• 投票/平均法：简单地将线性回归、决策树甚至KNN的预测结果进行平均。
• 堆叠法：用几个基础模型（如线性回归、决策树）的预测结果作为新特征，训练一个元模型（比如另一个线性回归）来做最终预测。sklearn的StackingRegressor可以很方便地实现。
• 直接使用强大的集成模型：如随机森林（多棵决策树的平均）和梯度提升树（如XGBoost, LightGBM, CatBoost）。它们几乎是结构化数据表格竞赛的标配，能自动处理非线性、交互效应，并有效防止过拟合。你可以把它们当作一个更强大、更不容易过拟合的“超级决策树”来用。

3. 模型部署与监控模型在Jupyter Notebook里跑出高分只是第一步。如何让其他人能用上你的模型？

• 模型持久化：使用joblib或pickle库保存训练好的模型和特征缩放器。

  import joblib joblib.dump(best_dt_model, 'house_price_dt_model.pkl') joblib.dump(scaler, 'feature_scaler.pkl')

• 构建简单API：使用Flask或FastAPI创建一个Web服务，接收房屋特征，返回预测价格。
• 模型监控：模型上线后，其性能可能会随着时间推移而下降（概念漂移）。需要定期用新数据评估模型，并设定重训练机制。

4. 关于这个项目的反思通过这个项目，你应该深刻体会到，机器学习不是调包魔法。它是一套严谨的流程：理解问题 -> 获取数据 -> 探索数据 -> 预处理数据 -> 选择模型 -> 训练模型 -> 评估模型 -> 调优模型 -> 解释/部署模型。每一步都需要基于数据和领域知识的判断。

对于房价预测这个具体问题，线性回归给了我们一个简洁、可解释的基线。决策树展示了捕捉复杂模式的能力，但也警示了我们过拟合的风险。最终的赢家，很可能是在优秀特征工程基础上构建的集成模型。但无论如何，这个从零开始，亲手处理数据、训练模型、分析结果的过程，其价值远大于最终的那个R²分数。它培养的是一种用数据思考和解决问题的“手感”，这才是你最应该从这次项目中带走的东西。下次当你面对一个新的数据集时，这套流程和思考方式，就是你最好的工具箱。