简介：本资源为2025年华中杯C题「就业状态分析与预测」的word版参赛作品，面向参加数学建模竞赛的学生，以及从事就业数据分析、机器学习建模的研究人员与从业者。内容围绕宜昌地区5000名样本就业数据，依次完成KMeans聚类特征分析、XGBoost就业状态预测、引入CPI与GDP增速等宏观变量优化模型，以及基于余弦相似度的人岗匹配推荐四个任务，完整呈现从数据预处理到模型评估的全过程。资源包内含1个docx文档，约860KB，涵盖问题重述、模型假设、数据预处理、四问建模与附录代码等模块，结构清晰便于对照学习。目前已有321人学习下载。读者可从中获取完整的赛题解题思路、特征选择与模型优化策略、宏观变量融合建模方法及人岗匹配实现路径，适合作为竞赛参考与数据分析实战范本。
1. 从一份华中杯C题word版说起：就业状态预测到底在算什么
去年秋招季，有个做校招系统的朋友找我，说想给后台加一个「学生就业状态预判」模块，问我有没有现成的建模思路能参考。我翻了一圈公开资料，发现华中杯C题这道「就业状态分析与预测」其实是个很典型的落地场景——它要解决的不是单纯的分类准确率问题，而是把一堆结构混乱的问卷字段，整理成能喂给模型的数值矩阵，再输出可解释的就业状态标签。这份word版资源就是围绕这个任务展开的，包含数据预处理思路、KMeans聚类做人群分层的方案，以及XGBoost做状态预测的完整流程。适合谁？正在准备数学建模竞赛的学生、想拿真实问卷数据练手的算法初学者，以及需要给招聘系统加预测模块的工程师。它不教你调参玄学，但能让你把「人岗匹配」这个模糊概念拆成可执行的字段和标签。
2. 数据预处理：把问卷字段变成模型能吃的矩阵
2.1 先搞清楚字段类型再动手
就业状态分析的数据通常来自问卷或教务系统导出，字段类型混杂得让人头疼。常见的有几类：连续型（如绩点、实习月数）、有序类别（如学历层次：专科/本科/硕士）、无序类别（如专业名称、就业城市）、多选字段（如「你投递过哪些行业」）。很多人一上来就pd.get_dummies全量独热，结果维度爆炸到几千列，XGBoost跑起来内存直接飙红。我的习惯是先做字段分桶：连续型保留原值但做标准化，有序类别用序号编码，无序类别且取值超过15个的，先做频次过滤——把出现次数少于总样本1%的类别归为「其他」，再独热。这样能把维度压到可控范围。
import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler # 假设df是原始问卷数据 # 1. 连续型字段标准化 cont_cols = ['gpa', 'intern_months', 'project_count'] scaler = StandardScaler() df[cont_cols] = scaler.fit_transform(df[cont_cols]) # 2. 有序类别映射 edu_map = {'专科': 1, '本科': 2, '硕士': 3, '博士': 4} df['edu_level'] = df['education'].map(edu_map) # 3. 无序类别频次过滤后独热 def freq_encode(series, threshold=0.01): freq = series.value_counts(normalize=True) valid = freq[freq >= threshold].index return series.where(series.isin(valid), '其他') df['major_group'] = freq_encode(df['major']) df = pd.get_dummies(df, columns=['major_group', 'city'], prefix=['major', 'city'])这段代码的逻辑是：标准化让连续字段在同一量纲下参与距离计算（KMeans对尺度敏感），有序映射保留了学历的自然顺序，频次过滤避免了长尾类别带来的稀疏噪声。参数threshold我一般设0.01，样本量小于500时可以放宽到0.02，否则「其他」类会吞掉太多信息。
2.2 缺失值不是填个均值就完事
问卷数据里缺失值往往有业务含义。比如「实习月数」为空，可能是学生根本没实习过，而不是漏填。直接填0比填均值更合理。但「绩点」为空就可能是真漏填，这时候用专业中位数填充比全局均值更稳。我一般会先跑一个缺失模式热力图，看缺失是随机的还是成片的。如果某字段缺失率超过40%，考虑直接丢弃，因为填充引入的偏差可能比丢掉更大。
# 缺失值处理策略 # 实习月数为空 => 没实习过，填0 df['intern_months'] = df['intern_months'].fillna(0) # 绩点为空 => 按专业分组填中位数 df['gpa'] = df.groupby('major')['gpa'].transform( lambda x: x.fillna(x.median()) ) # 就业状态标签列不能有空，有空的直接删 df = df.dropna(subset=['employment_status'])注意groupby后的transform返回的是与原表同索引的序列，这样不会打乱行顺序。如果某个专业全为空，中位数还是NaN，可以再兜底填全局中位数。这一步做完，数据基本能进模型了。
3. KMeans聚类：先给人群分层再谈预测
3.1 为什么聚类要放在预测之前
直接拿XGBoost预测就业状态，模型会告诉你「绩点高、实习多的人容易就业」，这没错但太粗。KMeans的价值在于把样本切成若干行为模式不同的人群，比如「高绩点低实习」「低绩点高实习」「双高」「双低」四类。然后在每类内部单独看就业状态分布，你会发现「低绩点高实习」的就业率可能比「高绩点低实习」还高。这种分层洞察是单纯分类模型给不了的。而且聚类标签可以作为新特征喂给XGBoost，提升模型对非线性关系的捕捉能力。
3.2 聚类特征选择和K值确定
不是所有字段都适合进KMeans。我一般选3-5个连续型或有序型字段，比如绩点、实习月数、项目数、面试次数。类别型字段独热后维度太高，会稀释距离度量。K值怎么定？肘部法看惯性下降拐点，轮廓系数辅助验证。但别迷信轮廓系数，有时候业务上需要分成4类（对应四种就业策略），即使K=3轮廓系数更高，也选4。
from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score cluster_features = ['gpa', 'intern_months', 'project_count', 'interview_count'] X_cluster = df[cluster_features].values inertias = [] sil_scores = [] K_range = range(2, 8) for k in K_range: km = KMeans(n_clusters=k, random_state=42, n_init=10) labels = km.fit_predict(X_cluster) inertias.append(km.inertia_) sil_scores.append(silhouette_score(X_cluster, labels)) # 选K=4，业务可解释性强 km_final = KMeans(n_clusters=4, random_state=42, n_init=10) df['cluster'] = km_final.fit_predict(X_cluster)n_init=10表示用10次不同初始化取最优，避免陷入局部最优。random_state固定后结果可复现。聚类完成后，用df.groupby('cluster')['employment_status'].value_counts(normalize=True)看看每类的就业分布，如果某一类就业率异常低，这类就是重点帮扶对象。
3.3 聚类结果的可视化验证
降维到二维看分布是最直观的验证方式。PCA或者t-SNE都行，PCA快但可能丢结构，t-SNE慢但局部结构保留好。我一般先用PCA快速看一眼，如果类间重叠严重再换t-SNE。
from sklearn.decomposition import PCA import matplotlib.pyplot as plt pca = PCA(n_components=2) X_pca = pca.fit_transform(X_cluster) plt.figure(figsize=(8, 6)) scatter = plt.scatter(X_pca[:, 0], X_pca[:, 1], c=df['cluster'], cmap='viridis', alpha=0.6) plt.colorbar(scatter, label='Cluster') plt.title('KMeans Clustering (PCA projection)') plt.xlabel('PC1') plt.ylabel('PC2') plt.show()如果图上四类分得很开，说明聚类特征选得不错；如果混成一团，要么换特征，要么降K值。这一步别省，血泪经验——曾经有个项目聚类后三类完全重叠，后来发现是某个特征量纲没统一，标准化后立刻分开了。
4. XGBoost预测：从特征工程到模型调参
4.1 特征矩阵的最终组装
把预处理后的字段、聚类标签、以及可能的交互特征拼在一起。交互特征比如「绩点×实习月数」，能捕捉「双高」效应。但别盲目加，先用XGBoost的feature_importance看一眼哪些重要。
# 组装特征矩阵 feature_cols = cont_cols + ['edu_level', 'cluster'] + \ [c for c in df.columns if c.startswith('major_') or c.startswith('city_')] X = df[feature_cols] y = df['employment_status'].map({'未就业': 0, '已就业': 1, '升学': 2}) # 交互特征 X['gpa_x_intern'] = X['gpa'] * X['intern_months']标签映射要把字符串转成整数，XGBoost多分类要求标签从0开始连续。如果类别不均衡，比如「未就业」只占5%，可以用scale_pos_weight或者直接上StratifiedKFold做分层采样。
4.2 训练集测试集划分与交叉验证
时间序列数据不能随机划分，但问卷数据一般没有时间维度，随机划分即可。不过要用分层抽样保证各类别在训练集和测试集比例一致。
from sklearn.model_selection import train_test_split, StratifiedKFold from xgboost import XGBClassifier from sklearn.metrics import classification_report, confusion_matrix X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) model = XGBClassifier( n_estimators=300, max_depth=5, learning_rate=0.05, subsample=0.8, colsample_bytree=0.8, objective='multi:softmax', num_class=3, random_state=42, eval_metric='mlogloss' ) model.fit(X_train, y_train, eval_set=[(X_test, y_test)], verbose=False) y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) print(confusion_matrix(y_test, y_pred))max_depth=5是防止过拟合的常见起点，树太深容易记住噪声。learning_rate=0.05配合n_estimators=300是慢学习率多树的经典组合。subsample和colsample_bytree都设0.8增加随机性，提升泛化。如果mlogloss在验证集上先降后升，说明树太多了，减n_estimators。
4.3 特征重要性与模型解释
XGBoost自带feature_importances_，但默认是增益-based，对类别型特征有偏。更稳的是用permutation_importance，打乱某特征后看性能下降多少。
from sklearn.inspection import permutation_importance perm_imp = permutation_importance(model, X_test, y_test, n_repeats=10, random_state=42) for i in np.argsort(perm_imp.importances_mean)[::-1][:10]: print(f"{X.columns[i]}: {perm_imp.importances_mean[i]:.4f}")如果「实习月数」排第一，「绩点」排第二，那说明实习经历对就业状态影响更大。这个结论可以直接写进分析报告，比单纯说「模型准确率85%」有说服力得多。
5. 避坑与排查：那些让模型翻车的细节
5.1 标签泄露：用未来信息预测过去
现象：模型准确率奇高，接近99%，但上线后一塌糊涂。原因：特征里混入了标签相关的字段。比如「就业状态」是「已就业」，而特征里有「签约公司名称」——这明显是就业后才有的信息。解决：逐字段过一遍，问自己「这个字段在预测时刻是否已知」。问卷里「当前是否在职」这种字段绝对不能进特征。
5.2 类别不均衡导致少数类全错
现象：混淆矩阵里「升学」类召回率为0。原因：升学样本只占8%，模型倾向于全预测为「已就业」以降低整体损失。解决：用compute_sample_weight给少数类加权，或者用SMOTE过采样。但SMOTE对类别型特征不友好，我一般优先用样本权重。
from sklearn.utils.class_weight import compute_sample_weight weights = compute_sample_weight('balanced', y_train) model.fit(X_train, y_train, sample_weight=weights)5.3 聚类标签不稳定
现象：每次跑KMeans，聚类标签编号都变，导致XGBoost特征对不上。原因：KMeans的标签是任意分配的，没有固定顺序。解决：固定random_state，并且在保存模型时把聚类中心也存下来，预测新样本时用km.predict而不是重新训练。
5.4 独热编码后训练集测试集列数不一致
现象：训练时500列，测试时502列，报错。原因：测试集里出现了训练集没有的类别。解决：用align对齐列，缺失的列填0。
X_train, X_test = X_train.align(X_test, join='left', axis=1, fill_value=0)5.5 特征量纲不统一导致KMeans失效
现象：聚类结果全挤在一起。原因：绩点范围0-4，实习月数范围0-24，距离计算被实习月数主导。解决：聚类前必须标准化，用StandardScaler或MinMaxScaler。注意标准化参数只能从训练集拟合，再应用到测试集。
6. 进阶技巧：用SHAP值把模型黑匣子打开
模型跑通只是第一步，真正让业务方信服的是「为什么这个人被预测为未就业」。SHAP值是目前最靠谱的解释工具，它基于博弈论，给每个特征对单个样本预测的贡献度打分。安装shap后，几行代码就能出图。
import shap explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X_test) # summary plot shap.summary_plot(shap_values, X_test, plot_type="bar") # 单个样本解释 shap.force_plot(explainer.expected_value[0], shap_values[0][0], X_test.iloc[0])TreeExplainer对XGBoost有专门优化，计算速度比KernelExplainer快几个数量级。summary_plot的bar图看全局重要性，beeswarm图看特征影响方向——比如「实习月数」值越大，SHAP值越正，说明实习越多越容易就业。force_plot适合给单个学生做解释，比如「你的绩点贡献了+0.3，但面试次数少贡献了-0.5，所以预测为未就业」。
我一般会把SHAP值和聚类标签交叉分析：看看「低绩点高实习」这一类里，哪些特征在推动就业预测。如果发现「项目数量」在这类人群里SHAP值特别高，那就可以建议学校多组织项目实践，而不是死磕绩点。这种颗粒度的洞察，比单纯报准确率有用得多。
还有一个技巧是SHAP交互值，能看两个特征的联合效应。比如「绩点×实习月数」的交互SHAP值，如果双高时显著为正，说明两者有协同效应。代码上把shap_values换成explainer.shap_interaction_values(X_test)即可，但计算量会大很多，样本多的时候慎用。
从那以后我每次做完分类模型，都强制走一遍SHAP解释，哪怕业务方没要求。因为一旦你自己看到某个特征的方向和直觉相反，就能提前发现数据里的坑。希望帮到你。
本文还有配套的精品资源，点击获取
