简介：这份资源是AAAI 2017计算机可持续性研究最佳学生论文的配套代码，聚焦深度学习在农作物产量预测中的应用，面向具备Python与TensorFlow基础、从事遥感或农业数据分析的研究者与高年级学生。包内共54个文件，以38个py脚本为核心，辅以npy、npz、csv、mat等数据文件及svg图表，压缩包约1.25MB，结构按数据下载、清洗、建模、批量训练与半监督学习等模块划分。代码完整呈现了从Google Earth Engine批量拉取MODIS影像、切片与三维直方图预处理，到CNN/LSTM与高斯过程模型构建、逐月逐年批量训练及结果对比分析的全流程，并附有产量制图与变差函数等分析脚本。目前已有1544人学习下载，适合希望复现论文实验、理解遥感时序建模细节或借鉴大规模影像下载技巧的读者参考。
1. 从一块试验田说起：这个项目到底能预测什么
去年帮一个做智慧农业的朋友看数据，他手里有十几年的玉米、小麦、大豆产量记录，还有对应的气象站数据、土壤墒情、施肥量，甚至卫星遥感植被指数。他问我的第一个问题是：能不能在播种前就大致判断今年这块地能打多少粮？这个问题听起来简单，但真要用代码落地，牵扯到特征工程、时序建模、空间差异、模型泛化一堆事。后来我翻到一个叫 crop_yield_prediction 的项目，定位很明确——用 Python 和深度学习做农作物产量预测，输入历史气象、土壤、管理措施等多源数据，输出单位面积产量或区域总产量。它适合两类人：一类是农业信息化方向的学生或研究者，想找一个能跑通、能改的基线模型；另一类是做农业 SaaS 或种植决策系统的开发者，需要把产量预测模块嵌进自己的平台。项目本身不追求 SOTA，但胜在结构清晰、依赖干净，拿过来改特征、换模型、接自己的数据都方便。
2. 技术选型与目录结构：为什么是 Python + 深度学习
2.1 为什么不用传统回归，而选深度学习
农作物产量预测这个场景，早期做法多是线性回归、随机森林、XGBoost，特征手工构造，模型可解释性强。但实际数据里存在几个麻烦：气象因子有时序依赖，比如灌浆期的连续高温对产量的影响不是线性的；土壤属性有空间异质性；不同年份之间分布漂移明显。这些用树模型也能做，但要做端到端的多源融合，深度学习更顺手。项目选 Python 作为主语言，框架层面常见做法是 PyTorch 或 TensorFlow/Keras 二选一。从项目命名和典型实现看，它大概率采用 Keras 或 PyTorch Lightning 这类高层封装，方便快速搭 LSTM、GRU、CNN-LSTM 混合结构。数据处理用 pandas + numpy，可视化用 matplotlib/seaborn，评估用 scikit-learn 的指标函数。这套组合在农业数据科学里算是标准配置，不花哨，但够用。
2.2 目录结构长什么样
一个能跑起来的产量预测项目，目录通常不会太深。我按常见工程习惯还原一下：
crop_yield_prediction/ ├── data/ │ ├── raw/ # 原始气象、土壤、产量记录 │ ├── processed/ # 清洗对齐后的训练数据 │ └── external/ # 遥感指数、行政区划等辅助数据 ├── src/ │ ├── data_loader.py # 读取与合并多源数据 │ ├── features.py # 特征构造：积温、降水距平、NDVI 统计量 │ ├── dataset.py # 构造时序样本、划分训练验证集 │ ├── model.py # 网络结构定义 │ ├── train.py # 训练循环、早停、模型保存 │ └── evaluate.py # RMSE、MAE、R² 及残差分析 ├── configs/ │ └── default.yaml # 超参数、路径、窗口长度 ├── notebooks/ │ └── eda.ipynb # 探索性数据分析 ├── requirements.txt └── README.md这个结构的好处是数据、代码、配置分离。你换一块地的数据，只动 data/ 和 configs/；换模型，只动 model.py。很多新手把路径写死在代码里，换台机器就翻车，这个项目至少从目录上避免了这个问题。
2.3 核心依赖与版本注意
requirements.txt 里一般会锁几个关键包：numpy、pandas、scikit-learn、torch 或 tensorflow、pyyaml、tqdm。这里有个血泪经验：深度学习框架版本和 CUDA 驱动不匹配是最高频的翻车点。如果你没有 GPU，项目通常也支持 CPU 训练，只是慢。建议先建虚拟环境，再按官方命令装框架，最后装其余依赖。不要一上来就 pip install -r requirements.txt，因为 torch 的版本可能和你的 CUDA 对不上。常见做法是先去框架官网复制对应命令，再手动补其他包。
3. 数据管线拆解：从原始表格到模型能吃的张量
3.1 多源数据对齐：时间、空间、作物类型
产量预测的第一道坎不是模型，是数据对齐。气象数据按天或按旬，土壤数据可能一年一测，产量数据按收获季。项目里通常有一个 data_loader.py 负责把这些表按「行政区划代码 + 年份 + 作物类型」拼起来。下面是一段典型逻辑：
import pandas as pd def merge_sources(weather_df, soil_df, yield_df): # 气象数据按年和地区聚合：积温、总降水、极端高温天数 weather_agg = weather_df.groupby(['region_id', 'year']).agg( gdd=('temp', lambda x: ((x - 10).clip(lower=0)).sum()), # 生长度日 precip_sum=('precip', 'sum'), heat_days=('temp', lambda x: (x > 35).sum()) ).reset_index() # 土壤数据通常变化慢，按地区取最近一次观测 soil_latest = soil_df.sort_values('survey_year').groupby('region_id').tail(1) # 产量表作为主表，左连接气象和土壤 df = yield_df.merge(weather_agg, on=['region_id', 'year'], how='left') df = df.merge(soil_latest, on='region_id', how='left') return df这段代码的关键参数：gdd 的计算基温取 10℃，不同作物不一样，玉米常取 10，小麦可能取 0；heat_days 阈值 35℃ 也是经验值。逻辑说明：先把高频气象数据压成年度统计量，再和低频土壤、产量表连接。注意 soil_latest 只取最近一次，因为土壤属性年际变化小，但如果你研究的是长期定位试验，应该保留时间维度。
3.2 特征工程：积温、降水距平、遥感指数
原始数据直接喂给网络效果通常不好，项目里 features.py 会构造几类特征。除了上面的积温、总降水，常见还有降水距平（当年降水减多年均值）、生育期分段统计（播种到出苗、出苗到抽雄等）。如果接入遥感数据，还会算 NDVI 的最大值、均值、积分。下面是一个分段统计的示例：
def build_phase_features(weather_df, phase_dict): # phase_dict: {'sowing': (doy_start, doy_end), 'grain_filling': (...)} records = [] for region, group in weather_df.groupby('region_id'): for year, year_group in group.groupby('year'): row = {'region_id': region, 'year': year} for phase, (start, end) in phase_dict.items(): phase_data = year_group[(year_group['doy'] >= start) & (year_group['doy'] <= end)] row[f'{phase}_precip'] = phase_data['precip'].sum() row[f'{phase}_mean_temp'] = phase_data['temp'].mean() records.append(row) return pd.DataFrame(records)参数说明：doy 是年积日，phase_dict 需要根据作物物候期调整，比如玉米抽雄期大概在播种后 60 到 80 天。逻辑上就是把时间序列切成有农学意义的片段，让模型学到「关键期缺水」这类规律。我一般会把这些分段特征和原始时序一起输入，让网络自己决定用哪部分。
3.3 时序样本构造与归一化
如果模型是 LSTM 或 CNN-LSTM，输入通常是滑动窗口。dataset.py 里会做两件事：把每个样本切成 (time_steps, n_features)，并对特征做标准化。注意：归一化参数必须只用训练集拟合，再应用到验证集和测试集，否则数据泄露，评估结果虚高。常见做法是保存训练集的均值和方差，推理时复用。
from sklearn.preprocessing import StandardScaler import numpy as np def make_sequences(features, targets, window=30): X, y = [], [] for i in range(len(features) - window): X.append(features[i:i+window]) y.append(targets[i+window]) return np.array(X), np.array(y) # 划分训练集后再 fit scaler scaler = StandardScaler() train_scaled = scaler.fit_transform(train_features) val_scaled = scaler.transform(val_features)window 取 30 表示用过去 30 天的气象驱动预测产量，实际项目里可能按旬或按生育期阶段。这里要注意：产量标签通常一个生长季只有一个值，所以序列到单值的映射更常见，而不是序列到序列。
4. 模型结构与训练：LSTM、CNN-LSTM 怎么选
4.1 基线模型：从全连接网络开始
别一上来就堆 LSTM。项目里通常先给一个 MLP 基线，输入是聚合后的年度特征，输出产量。这样你能快速知道数据里有没有信号。如果 MLP 的 R² 已经 0.7 以上，再上时序模型提升空间可能有限。MLP 结构简单：两层全连接，ReLU 激活，Dropout 防过拟合，最后线性输出。
import torch.nn as nn class YieldMLP(nn.Module): def __init__(self, input_dim): super().__init__() self.net = nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Dropout(0.3), nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, 1) # 回归输出 ) def forward(self, x): return self.net(x)参数说明：input_dim 是特征数，128 和 64 是隐藏层宽度，Dropout 0.3 是经验值。损失函数用 MSE 或 Huber，后者对异常值更稳。优化器 Adam，学习率 1e-3 起步。
4.2 时序模型：LSTM 与 CNN-LSTM 的取舍
如果数据是逐日或逐旬的序列，LSTM 能捕捉累积效应。CNN-LSTM 则先用一维卷积提取局部模式，再交给 LSTM 学长期依赖。项目里常见实现如下：
class CNNLSTM(nn.Module): def __init__(self, n_features, hidden=64): super().__init__() self.conv = nn.Conv1d(n_features, 32, kernel_size=3, padding=1) self.lstm = nn.LSTM(32, hidden, batch_first=True) self.fc = nn.Linear(hidden, 1) def forward(self, x): # x: (batch, time, features) -> conv 需要 (batch, features, time) x = x.permute(0, 2, 1) x = torch.relu(self.conv(x)) x = x.permute(0, 2, 1) out, _ = self.lstm(x) return self.fc(out[:, -1, :]) # 取最后时间步逻辑说明：卷积核大小 3 表示看连续 3 天的局部天气，LSTM 隐藏层 64 是常见起点。取最后时间步的输出做回归，因为产量对应整个生长季结束。如果数据里不同地区序列长度不一致，需要 padding 和 mask，这是容易忽略的点。
4.3 训练循环与早停
train.py 里一般会写一个标准训练循环，带验证集早停和模型保存。关键参数：batch_size 32 或 64，epochs 100 起步，patience 10 到 20。学习率可以配 ReduceLROnPlateau，验证损失不降就减半。
best_loss = float('inf') patience_counter = 0 for epoch in range(epochs): model.train() for xb, yb in train_loader: pred = model(xb) loss = criterion(pred, yb) optimizer.zero_grad() loss.backward() optimizer.step() # 验证 model.eval() val_loss = evaluate(model, val_loader) if val_loss < best_loss: best_loss = val_loss torch.save(model.state_dict(), 'best.pt') patience_counter = 0 else: patience_counter += 1 if patience_counter >= patience: break注意：验证损失用 MSE 还是 MAE 要统一，否则早停判断会乱。保存 best.pt 而不是最后一个 epoch，这是后悔药级别的习惯。
5. 避坑与常见问题：数据泄露、过拟合、空间外推
5.1 现象：验证集 R² 高得离谱，测试集一塌糊涂
原因：归一化用了全量数据，或者时序样本构造时把未来信息混进来了。比如用整个生长季的均值去预测该季产量，模型在验证集上等于开卷考试。解决：严格按时间或地区划分，先切分再 fit scaler；时序窗口只允许用窗口内的数据。
5.2 现象：训练损失降，验证损失先降后升
原因：过拟合，尤其是样本量少、特征维度高时。解决：加 Dropout、L2 正则、早停；减少模型宽度；做特征选择。农业数据年份有限，过拟合是常态，别迷信大模型。
5.3 现象：换一个省份预测，误差翻倍
原因：空间外推。模型学到的可能是某地区特有的气候-产量关系，换到积温带不同的地方就失效。解决：加入气候区划作为特征，或做区域自适应；更稳妥的是每个区域单独建模，再融合。
5.4 现象：产量标签单位不统一，有的按公斤/亩，有的按吨/公顷
原因：数据来源杂，没做单位归一。解决：在 data_loader 里强制统一到同一单位，并记录转换系数。这个坑不显眼，但会让模型输出完全没法解释。
5.5 现象：GPU 显存不够，batch_size 调小后训练不稳定
原因：batch 太小导致梯度噪声大。解决：用梯度累积模拟大 batch，或者换更小的模型。CPU 训练时把 num_workers 设成 0 或 2，避免多进程卡死。
6. 二次开发：换作物、接实时气象、做区域预测
6.1 换作物类型要动哪些地方
项目默认可能针对玉米或小麦，换作物不是改个标签就行。你需要调整：积温基温（玉米 10℃，小麦 0℃）、生育期分段（phase_dict）、关键气象阈值（高温胁迫温度）。这些参数集中在 configs/default.yaml 和 features.py 里。我一般会新建一个 configs/soybean.yaml，复制默认配置后逐项改，而不是在代码里写 if-else。
6.2 接入实时气象做滚动预测
原始项目多半是离线训练，如果你想做播种前预测或生长季中滚动更新，需要把 data_loader 改成能拉取最新气象数据。常见做法是留一个接口函数，输入地区代码和日期，返回对齐后的特征向量。推理时用训练好的 scaler 做变换，再喂给模型。注意：实时数据可能有缺失，要有插值或回退策略。
6.3 从单点预测到区域制图
如果你有网格化气象和土壤数据，可以把模型应用到每个网格，输出产量分布图。这一步的关键是批量推理和结果拼接。下面是一个批量预测的骨架：
def predict_grid(model, grid_features, scaler, batch_size=1024): model.eval() preds = [] with torch.no_grad(): for i in range(0, len(grid_features), batch_size): batch = grid_features[i:i+batch_size] batch_scaled = scaler.transform(batch) batch_tensor = torch.tensor(batch_scaled, dtype=torch.float32) preds.append(model(batch_tensor).numpy()) return np.concatenate(preds)参数说明：batch_size 根据显存调，grid_features 的列顺序必须和训练时一致。逻辑上就是逐块推理再拼回网格。这里最容易翻车的是特征顺序错位，建议把特征名列表存成 json，推理时校验。
6.4 一个实用技巧：用残差分析找模型盲区
训练完别只看 RMSE。把预测值减真实值，按年份、地区、产量水平分组画箱线图。如果某一年残差普遍偏负，说明模型没学到该年的特殊事件（比如干旱）。这时候要么加特征，要么在损失函数里给该年更高权重。我习惯在 evaluate.py 里固定输出三张图：预测 vs 真实散点、残差时间序列、残差空间分布。这三张图比任何指标都直观。
从那以后我每次接农业预测项目，都强制先跑一遍数据对齐检查和残差分组，确认没有泄露和空间外推问题再调模型。希望帮到你。
本文还有配套的精品资源，点击获取
