从数据到洞察：基于LightGBM与特征工程的用户体验建模实战

1. 项目概述：从赛题到实战的完整拆解

“北京移动用户体验影响因素研究”，这个题目一出来，很多数学建模和大数据竞赛的参赛者可能会觉得既熟悉又头疼。熟悉的是，它属于经典的“数据驱动型”问题，在各类竞赛和实际业务中屡见不鲜；头疼的是，“用户体验”这个指标太虚了，它不像销售额、点击率那样有明确的数值，影响因素又盘根错节，从网络信号到资费套餐，从手机型号到用户行为，如何从海量数据中抽丝剥茧，建立有效的数学模型，并最终用代码实现，是横在队伍面前的一道高墙。这道题源自2022年MathorCup高校数学建模挑战赛大数据赛道的B题，其核心价值在于，它完美模拟了一个真实世界的数据科学项目闭环：从模糊的业务问题定义，到数据理解与清洗，再到特征工程、模型构建与评估，最后落地为可运行的代码。这不仅考验数学功底，更考验工程化思维和解决实际问题的能力。

简单来说，这个项目要解决的是：基于北京移动提供的大规模用户数据（通常是脱敏后的信令数据、业务数据、用户属性数据等），量化分析究竟是哪些因素在影响用户的“体验”，并建立一个能够预测或评估用户体验水平的模型。对于参赛学生而言，这是一个绝佳的练兵场；对于数据分析从业者，其思路和方法也具有直接的借鉴意义。接下来，我将以一名数据科学实践者的视角，彻底拆解针对该赛题“问题二”的建模方案与代码实现全过程，分享从思路构建到代码落地的每一个关键细节和踩过的坑。

2. 问题理解与核心目标定义

任何数据项目的第一步，也是最关键的一步，就是准确理解问题。题目中的“问题二”通常会在“问题一”进行初步分析（如描述性统计、关键指标计算）的基础上，要求进行更深入的建模分析。根据MathorCup的常见出题风格，问题二很可能指向以下几个具体目标之一或组合：1）构建用户体验综合评价指数；2）识别影响用户体验的关键驱动因素（特征重要性分析）；3）建立用户体验的预测模型（如分类：好/中/差；或回归：评分预测）。

2.1 明确“用户体验”的量化方式

这是建模的基石。原始数据中很可能没有直接的“用户体验得分”。我们需要利用现有数据构造一个代理指标。常见的思路有：

• 基于业务规则合成：例如，结合“网络掉线率”、“页面加载延时”、“语音通话质量差次数”等多个负面指标，通过加权或阈值法合成一个“体验劣化指数”。
• 基于用户行为推断：例如，将“用户离网风险评分”、“套餐降档意向”、“投诉次数”等作为体验差的反向指标。
• 无监督学习聚类：对用户多维度行为特征进行聚类，将聚类结果（如“高价值稳定用户”、“潜在流失用户”、“低活跃度用户”）作为体验等级的标签。

在本次方案中，我们假设采用第一种方法，定义一个用户体验得分。例如：用户体验得分 = 100 - (a * 掉线率*100 + b * 高延时占比*100 + c * 投诉次数*权重)其中a, b, c为权重系数，需要根据业务知识或后续分析确定。这一步的输出，就是后续建模的目标变量。

2.2 确定建模任务类型

有了目标变量，就可以定义任务：

• 如果我们将得分划分为“优、良、中、差”几个等级，那么任务是一个多分类问题。
• 如果我们直接使用连续得分，那么任务是一个回归问题。
• 如果我们只关心体验“好”与“不好”，则可以转化为二分类问题。

回归问题能提供更精细的预测，但解释性可能稍弱；分类问题更直观，便于后续制定差异化策略。考虑到竞赛的全面性和展示性，采用回归与分类结合的思路往往更出彩：先用回归模型预测具体得分，再根据得分阈值划分等级，并利用分类模型（如决策树、逻辑回归）来增强关键因素的解释性。

3. 数据预处理与特征工程实战

原始数据通常是“脏”且“散”的。这部分工作会占据整个项目60%以上的时间，直接决定模型性能的上限。

3.1 数据清洗与整合

假设我们拥有多张表：用户基本信息表、月度业务量详单表、网络质量指标表、客户服务记录表。

import pandas as pd import numpy as np # 1. 加载数据 user_info = pd.read_csv('user_info.csv') business = pd.read_csv('monthly_business.csv') network = pd.read_csv('network_quality.csv') service = pd.read_csv('service_record.csv') # 2. 关键字段类型转换与异常值处理 # 例如，将日期字段转换为datetime类型 business['month'] = pd.to_datetime(business['month']) # 处理异常值：对于业务量，使用盖帽法（Winsorization） def winsorize(series, limits=[0.05, 0.05]): return series.clip(lower=series.quantile(limits[0]), upper=series.quantile(1-limits[1])) business['data_usage'] = winsorize(business['data_usage']) # 3. 数据合并：以用户ID为主键，关联各表信息 # 注意处理时间窗口，例如分析特定月份的用户体验，需关联该月及前几个月的特征 df = user_info.merge(business, on='user_id', how='left') df = df.merge(network, on=['user_id', 'month'], how='left') # 服务记录可能需要聚合，例如计算每个用户每月的投诉次数 service_cnt = service.groupby(['user_id', service['create_time'].dt.month]).size().reset_index(name='complaint_count') df = df.merge(service_cnt, left_on=['user_id', df['month'].dt.month], right_on=['user_id', 'create_time'], how='left') df['complaint_count'].fillna(0, inplace=True)

3.2 特征工程：创造模型“燃料”

这是体现建模者功力的地方。特征不能直接从原始字段拿来就用，需要加工。

• 统计特征：对用户历史行为做滚动统计。例如，计算过去3个月平均通话时长、流量使用量的环比增长率、业务量的波动性（标准差）。

  # 计算用户过去3个月平均流量使用量（假设数据已按用户和时间排序） df['avg_data_3m'] = df.groupby('user_id')['data_usage'].transform(lambda x: x.rolling(3, min_periods=1).mean()) # 计算月度流量环比 df['data_usage_mom'] = df.groupby('user_id')['data_usage'].pct_change()

• 比值特征：揭示结构信息。例如，“夜间流量占比”、“国际长途通话时长占比”、“4G流量占全部流量的比例”。
• 交互特征：捕捉因素间的协同效应。例如，“套餐流量余量”与“实际使用流量”的差值（是否经常超量）、“高价值用户”标签与“网络差区域”的交叉（高价值用户在差区域的体验可能更敏感）。
• 分箱与编码：对连续型特征（如年龄、在网时长）进行分箱（等频、等宽），然后进行标签编码或独热编码，有助于线性模型捕捉非线性关系。
• 时间序列特征：如果数据时间跨度足够，可以提取趋势、季节性等特征。

注意：特征工程后会产生大量特征，必须进行特征选择，避免维度灾难和过拟合。可以使用方差过滤（移除方差过低的特征）、相关性分析（移除高度相关的特征）、以及基于模型的方法（如L1正则化、树模型的特征重要性）。

4. 建模方案设计与模型选型

针对“影响因素研究”和“预测”的双重目标，我们设计一个分层建模方案。

4.1 第一层：用户体验得分回归模型

目标：精准预测连续的用户体验得分。

• 模型选型：
  • LightGBM/XGBoost：首选。这类梯度提升树模型对表格数据效果极佳，能自动处理非线性关系和特征交互，且内置了特征重要性评估。计算效率高，非常适合大数据竞赛。
  • 随机森林：作为稳健的基准模型。解释性相对较好，但预测精度和效率通常略逊于GBDT。
  • 线性回归/岭回归：作为可解释性的对比。如果特征工程做得足够好（如通过分箱、多项式特征），线性模型也可能有不错的表现。
• 为什么选LightGBM？
  1. 效率：基于直方图的决策树算法，训练速度快，内存消耗低，适合大数据场景。
  2. 精度：采用Leaf-wise生长策略，在相同分裂次数下能获得更好的精度。
  3. 功能全面：直接支持类别特征、缺失值处理，并提供丰富的特征重要性输出。

4.2 第二层：用户体验等级分类模型

目标：理解影响用户体验等级跃迁的关键规则。

• 模型选型：
  • 逻辑回归：虽然简单，但其系数可以直观解释为“特征变化一个单位，用户体验为‘优’的概率的对数几率变化多少”，非常适合因素分析。
  • 决策树/CART：能生成清晰的“如果-那么”规则，例如“如果用户在网时长>24个月且月度投诉次数=0，那么体验等级为优的概率是85%”。这种规则业务人员非常喜欢。
  • 同样可以使用LightGBM分类：如果追求更高的分类准确率。

4.3 模型融合思路

为了进一步提升预测的稳定性和鲁棒性，可以考虑：

• Stacking：将LightGBM、随机森林、线性回归等作为第一层基模型，将其预测结果作为新特征，输入到一个第二层的元模型（如线性回归或简单的神经网络）中进行训练。这在竞赛中往往是提分利器。
• Blending：将训练集划分为两部分，一部分训练基模型，另一部分用训练好的基模型预测并作为新特征，与原始特征结合训练元模型。

5. 代码实现详解与核心环节

我们将以LightGBM回归模型为核心，展示从特征准备到模型训练、评估、因素分析的全流程代码。

5.1 环境准备与数据划分

import lightgbm as lgb from sklearn.model_selection import train_test_split, KFold, GridSearchCV from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score import matplotlib.pyplot as plt import seaborn as sns # 假设df是经过充分特征工程后的DataFrame，包含特征X和标签y（用户体验得分） X = df.drop(columns=['user_id', 'month', 'exp_score']) # 移除ID、时间列和标签列 y = df['exp_score'] # 划分训练集和测试集（时间序列数据需按时间划分，此处假设为随机划分） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 对于LightGBM，可以定义分类特征（如果之前没有进行独热编码） categorical_features = ['city_district', 'phone_brand', 'plan_type'] # 示例 for col in categorical_features: X_train[col] = X_train[col].astype('category') X_test[col] = X_test[col].astype('category')

5.2 LightGBM模型训练与超参数调优

直接使用默认参数往往不是最优的，需要进行调优。

# 1. 创建LightGBM数据集 train_data = lgb.Dataset(X_train, label=y_train, categorical_feature=categorical_features, free_raw_data=False) test_data = lgb.Dataset(X_test, label=y_test, reference=train_data, categorical_feature=categorical_features, free_raw_data=False) # 2. 设置初始参数 params = { 'boosting_type': 'gbdt', 'objective': 'regression', # 回归任务 'metric': {'l2', 'l1', 'rmse'}, # 评估指标 'num_leaves': 31, # 树的最大叶子数，控制模型复杂度 'learning_rate': 0.05, 'feature_fraction': 0.9, # 每次迭代随机选择90%的特征，防止过拟合 'bagging_fraction': 0.8, # 每次迭代随机选择80%的数据，类似随机森林 'bagging_freq': 5, 'verbose': 0, 'seed': 42 } # 3. 使用交叉验证进行初步调参和确定最佳迭代轮数 cv_results = lgb.cv(params, train_data, num_boost_round=1000, nfold=5, stratified=False, shuffle=True, metrics='rmse', early_stopping_rounds=50, verbose_eval=50, seed=42) best_num_boost_rounds = len(cv_results['rmse-mean']) print(f'Best num_boost_round: {best_num_boost_rounds}') # 4. 使用GridSearchCV或Bayesian Optimization进行关键参数调优（示例：网格搜索） # 这里简化演示，实际竞赛中可使用Optuna等更高效的库 param_grid = { 'num_leaves': [15, 31, 63], 'learning_rate': [0.01, 0.05, 0.1], 'min_data_in_leaf': [20, 50, 100], } gbm = lgb.LGBMRegressor(objective='regression', metric='rmse', n_estimators=best_num_boost_rounds) grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='neg_root_mean_squared_error', verbose=1, n_jobs=-1) grid_search.fit(X_train, y_train) print(f'Best parameters: {grid_search.best_params_}') # 5. 用最佳参数训练最终模型 best_params = grid_search.best_params_ best_params.update({'objective': 'regression', 'metric': 'rmse', 'verbose': -1}) final_model = lgb.train(best_params, train_data, valid_sets=[test_data], num_boost_round=best_num_boost_rounds, callbacks=[lgb.early_stopping(stopping_rounds=30)])

5.3 模型评估与结果分析

训练完成后，必须从多个维度评估模型。

# 预测 y_pred = final_model.predict(X_test, num_iteration=final_model.best_iteration) # 评估指标 mse = mean_squared_error(y_test, y_pred) rmse = np.sqrt(mse) mae = mean_absolute_error(y_test, y_pred) r2 = r2_score(y_test, y_pred) print(f'Test MSE: {mse:.4f}') print(f'Test RMSE: {rmse:.4f}') print(f'Test MAE: {mae:.4f}') print(f'Test R2: {r2:.4f}') # 可视化：预测值 vs 真实值散点图 plt.figure(figsize=(10,6)) plt.scatter(y_test, y_pred, alpha=0.5) plt.plot([y_test.min(), y_test.max()], [y_test.min(), y_test.max()], 'r--', lw=2) plt.xlabel('True Exp Score') plt.ylabel('Predicted Exp Score') plt.title('True vs Predicted Values') plt.show() # 可视化：残差分布图 residuals = y_test - y_pred plt.figure(figsize=(10,6)) sns.histplot(residuals, kde=True) plt.xlabel('Residuals') plt.title('Distribution of Residuals') plt.axvline(x=0, color='r', linestyle='--') plt.show()

一个好的模型，其预测值与真实值散点图应紧密分布在对角线附近，残差应近似服从均值为0的正态分布。

5.4 影响因素分析：洞察业务本质

这是回答赛题“影响因素研究”的关键。

# 1. 特征重要性（增益） importance_gain = pd.DataFrame({ 'feature': X_train.columns, 'importance_gain': final_model.feature_importance(importance_type='gain') }).sort_values('importance_gain', ascending=False) # 2. 特征重要性（分裂次数） importance_split = pd.DataFrame({ 'feature': X_train.columns, 'importance_split': final_model.feature_importance(importance_type='split') }).sort_values('importance_split', ascending=False) print("Top 10 features by gain:") print(importance_gain.head(10)) # 可视化 plt.figure(figsize=(12,8)) sns.barplot(x='importance_gain', y='feature', data=importance_gain.head(20)) plt.title('Top 20 Feature Importance (Gain)') plt.tight_layout() plt.show() # 3. SHAP值分析（更精确地解释单个预测和整体特征影响） # 需要安装shap库: pip install shap import shap explainer = shap.TreeExplainer(final_model) shap_values = explainer.shap_values(X_test) # 摘要图：展示特征影响的全貌 shap.summary_plot(shap_values, X_test, plot_type="dot", max_display=20) # 依赖图：分析单个特征如何影响预测 # 例如，分析“月度投诉次数”的影响 shap.dependence_plot('complaint_count', shap_values, X_test, interaction_index=None)

SHAP值是当前最受推崇的可解释性工具，它能告诉我们每个特征对于每个预测样本的贡献值（正或负），并且满足一致性。从SHAP摘要图中，我们可以清晰地看到哪些特征对模型输出影响最大，以及这种影响的方向（红色为高特征值，蓝色为低特征值）。

6. 分类模型与规则提取

在回归模型的基础上，我们可以将预测得分分箱（如0-60为差，60-80为中，80-90为良，90-100为优），然后训练一个分类模型来提取决策规则。

from sklearn.tree import DecisionTreeClassifier, export_text, plot_tree from sklearn.metrics import classification_report, confusion_matrix # 1. 创建分类标签 y_train_class = pd.cut(y_train, bins=[0, 60, 80, 90, 100], labels=['差', '中', '良', '优']) y_test_class = pd.cut(y_test, bins=[0, 60, 80, 90, 100], labels=['差', '中', '良', '优']) # 2. 训练决策树分类器（为了可解释性，可以限制树深度） clf = DecisionTreeClassifier(max_depth=5, min_samples_leaf=50, random_state=42) clf.fit(X_train, y_train_class) # 3. 评估 y_pred_class = clf.predict(X_test) print(classification_report(y_test_class, y_pred_class)) # 4. 可视化决策树 plt.figure(figsize=(20,12)) plot_tree(clf, feature_names=X_train.columns, class_names=clf.classes_, filled=True, rounded=True, fontsize=10) plt.show() # 5. 输出文本规则（便于在论文中展示） tree_rules = export_text(clf, feature_names=list(X_train.columns)) print(tree_rules)

从决策树规则中，我们可以得到诸如“如果‘4G网络覆盖率’ > 95% 且 ‘月度投诉次数’ <= 1，则该用户有很高概率被分类为‘优’”这样的业务洞察，这比单纯的特征重要性排名更具可操作性。

7. 方案总结、常见问题与避坑指南

回顾整个方案，其核心链路是：业务问题量化 -> 数据清洗与特征创造 -> 集成学习模型预测 -> 可解释性工具分析。这套流程不仅适用于本赛题，也适用于绝大多数用户画像、体验评估、风险预测等商业分析场景。

7.1 常见问题与排查技巧实录

在实际操作中，你几乎一定会遇到以下问题：

7.2 独家避坑技巧与心得

1. 数据探索先行，模型殿后：在写任何模型代码之前，花大量时间用pandas_profiling或手动进行数据可视化。了解每个字段的分布、缺失情况、异常值。对目标变量与关键特征的关系画散点图、箱线图。这个阶段的洞察会直接指导特征工程的方向。
2. 搭建可复现的Pipeline：将数据预处理、特征工程、模型训练封装成函数或类。使用Pipeline和ColumnTransformer（sklearn）。这不仅能保证训练和预测时数据处理的一致性，更能让你快速尝试不同的特征组合。
3. 验证策略决定成败：对于时间序列数据，绝对不能随机划分！必须按时间顺序划分（例如用前8个月训练，后2个月测试），否则会严重高估模型性能。使用时间序列交叉验证（TimeSeriesSplit）。
4. 记录每一次实验：使用MLflow、Weights & Biases甚至一个简单的Excel表格，记录每次尝试的特征组合、模型参数、评估指标。这能帮你系统性地寻找优化方向，而不是盲目调参。
5. 业务解释优先：最终评委或业务方关心的不是你的RMSE降低了0.001，而是“我们发现了影响用户体验的三大关键因素，分别是...，建议采取...措施”。因此，在模型达到可接受性能后，应将重心转向SHAP分析、决策规则提取，并准备清晰的可视化图表来讲好数据故事。

最后，把这个项目从赛题变成一个真正有意义的分析，关键在于跳出数据看业务。模型指标是冰冷的，但背后的每一个用户、每一次通话、每一兆流量都是真实的。你的工作，就是通过数据和算法，让这些沉默的信息开口说话，为提升真实的用户体验找到那条数据驱动的路径。这个过程里对业务逻辑的不断追问和验证，远比调出一个高分模型更有价值。