BOSS光谱变量选择：bootstrap重采样与软收缩MATLAB实现

简介：面向光谱分析与化学计量学方向的研究生、教师及工程技术人员，这份MATLAB代码包聚焦高维近红外光谱的变量选择难题，提供BOSS（Bootstrapping Soft Shrinkage）算法的可运行实现。其核心将Bootstrap抽样与基于LASSO的软阈值化结合，用于评估变量稳定性、筛选重要特征，并可与偏最小二乘等建模流程衔接，适合方法学习、实验复现和论文对比。包内共15个文件，以10个m脚本为主，涵盖主算法、示例入口、光谱预处理、PLS建模、样本划分与交叉验证等辅助函数；另有4个mat格式的玉米近红外光谱示例数据和1个txt说明文件，压缩包约1.55MB，结构紧凑，便于按流程阅读和调试。已有4909人学习下载，读者可借助示例数据跑通从预处理、变量选择到模型验证的完整链路，并参考现有函数替换数据或调整参数，快速搭建自己的光谱特征提取实验。

1. 光谱变量选择的困局：为什么全波段 PLS 常常打不过几百个波长

做光谱 MATLAB 特征提取时，变量选择算法 BOSS 经常被拿来和 CARS、UVE 对比。很多人第一次跑全波段 PLS 都有个错觉：波长点越多，信息越全，模型应该越稳。实际恰恰相反，近红外或拉曼光谱动辄上千个变量，相邻波长高度共线，散射背景和仪器漂移混在里面，PLS 的回归系数会被噪声波长拽着走。训练集上交叉验证看起来不错，换一批样本就翻车。变量选择要解决的不是“挑相关性最高的波长”，而是找一组互补、稳定、对未知样本有泛化能力的变量子集。BOSS 的思路很特别：它不急着砍变量，而是用 bootstrap 重采样反复估计变量重要性，再用软收缩让权重一点点衰减。理解这套机制，比记住几个参数更有用。

2. BOSS 的核心机制：bootstrap 重采样如何把不稳定的回归系数变成权重

2.1 从 PLS 回归系数到变量重要性

PLS 回归系数是变量选择最直接的入口。对光谱矩阵 X（n 个样本、p 个波长）和响应向量 y，PLS 会得到一组回归系数 b，长度等于波长数。b 的绝对值越大，通常意味着该波长对预测贡献越大。问题在于，光谱数据里 p 往往远大于 n，波长之间又强共线，单个 PLS 模型的 b 非常不稳定：删掉几个样本、换一个潜变量数，系数符号甚至都可能翻转。拿一次建模的 |b| 当变量重要性，相当于用一张照片判断一个人的性格，玄学成分太大。

常见的实现思路是：不信任单次回归系数，而是反复对样本做有放回抽样，每次拟合一个 PLS 模型，把多次得到的 |b| 累加起来。某个波长如果在大多数重采样模型里系数都大，它的重要性才可信；如果只是偶然在某次模型里冒尖，累加后会被平均掉。这个“反复扰动、看谁稳”的过程，就是 bootstrap 在变量选择里的核心价值。它不直接告诉你哪个波长最好，而是告诉你哪个波长在样本扰动下仍然被模型需要。

2.2 bootstrap 采样与权重累加

BOSS 的主循环可以拆成四步。第一步，初始化每个变量的权重 w 为 1，表示一开始所有波长平等。第二步，按当前权重对样本做 bootstrap 重采样，每次有放回地抽 n 个样本，拟合 PLS，得到回归系数 b。第三步，把 |b| 归一化后乘到权重上，让重要变量的权重变大，不重要变量的权重相对变小。第四步，对权重做软收缩，把小的权重压得更小，然后归一化，进入下一轮。随着迭代推进，权重会逐渐分化，最后按权重排序或阈值截断，得到候选变量子集。

这里有个容易忽略的细节：bootstrap 采样的是样本，不是变量。每次重采样都会改变样本分布，迫使 PLS 在不同样本子集上重新分配回归系数。如果某个波长只是拟合了某几个样本的噪声，它在其他重采样模型里系数就会掉下去，累加后权重自然起不来。相反，真正跟响应相关的波长，即使样本被扰动，系数仍然稳定，权重会一步步累积。权重用乘法而不是加法，是为了形成“证据累积”效应：早期表现好的变量，后续更容易被保留；早期表现差的变量，后面很难翻盘。这种机制有点像复利，时间越长，分化越明显。

2.3 权重归一化与变量排序

权重更新之后必须归一化，否则数值会随着迭代次数膨胀或衰减到不可比较。常见的做法是每轮把权重除以总和，或者除以最大值，让权重落在同一量纲里。归一化之后，可以按权重从大到小排序，也可以设一个阈值，把低于阈值的变量暂时剔除。BOSS 通常不会在每一轮直接删变量，而是保留完整权重向量，等迭代结束后再根据权重曲线选择子集。这样做的好处是，某个变量即使某一轮权重掉下去，后面还有机会被重新拉起来；如果过早硬删，就失去了这种“后悔药”。

变量排序还有一层实际意义：光谱波长是有顺序的，相邻波长往往代表同一段吸收峰。如果选出来的变量在波长轴上很分散，模型可能只是在拟合噪声；如果选出来的变量集中在几个吸收峰附近，解释性会好很多。实际跑 BOSS 时，我一般会把权重曲线和原始光谱叠在一起看，确认选中的波长落在有化学意义的吸收带上，而不是随机散落。这一步不增加计算量，但能提前发现很多翻车迹象。

3. 软收缩：为什么 BOSS 不直接砍掉小系数

3.1 硬阈值、指数衰减与软收缩的差别

变量选择算法大致分两派。一派是硬阈值：每轮按重要性排序，直接保留前 k 个变量，或者把低于阈值的变量删掉，典型代表是 UVE 这类方法。另一派是软收缩：不直接删，而是让权重按某种规则衰减，小的越小，大的相对越大，典型代表是 CARS 的指数衰减函数和 BOSS 的权重幂次收缩。硬阈值的问题是“一刀切”，某个变量这轮排在阈值边缘，被删掉之后就再也没有机会回来。光谱数据里很多弱信息变量单独看很弱，但和其他变量组合起来有互补作用，硬删容易误伤。

BOSS 的软收缩通常写成 w_i = (w_i / max(w))^alpha，其中 alpha 是收缩指数。alpha 大于 1 时，小于 1 的权重被幂运算压得更小，大权重相对保留。比如 alpha 取 1.2，权重 0.5 会变成 0.435，权重 0.1 会变成 0.063，差距被拉大。这个操作每轮都做，变量之间的权重差距会逐渐拉开，最后自然形成“少数变量占主导”的格局。它不像硬阈值那样规定每轮必须剩多少变量，而是让数据自己决定哪些变量能活下来。常见的实现思路里，alpha 取值在 1.1 到 1.5 之间比较常见，太小收缩不够，权重分化慢；太大收缩过猛，几轮之后变量就剩不下几个。

3.2 迭代停止条件与子集选择

BOSS 迭代到什么时候停，是个需要提前设计的问题。常见做法有三种：固定迭代次数、权重阈值触发、变量数下限触发。固定迭代次数最好理解，比如跑 50 轮，每轮记录当前保留的变量子集和交叉验证误差，最后选误差最小的那一轮。权重阈值触发是指当最大权重和最小权重的差距超过某个比例，或者低于阈值的变量数超过一定比例时停止。变量数下限触发是防止收缩过猛，比如剩余变量少于 3 个就强制停止。三种方式可以组合使用，实际代码里通常以固定迭代次数为主，辅以变量数下限保护。

子集选择不能只看训练集误差。BOSS 每轮都会产生一个候选子集，如果用训练集 RMSE 选，很容易选到变量最多、拟合最充分的那一轮，等于没做变量选择。正确的做法是每轮用交叉验证计算 RMSECV，选 RMSECV 最小且变量数相对较少的子集。如果样本量允许，最好再留一个独立验证集，用 RMSEP 确认。交叉验证的折数、重复次数、潜变量上限都会影响结果，这些参数要在跑 BOSS 之前定好，不能边跑边调，否则选出来的子集只是对验证集的过拟合。

3.3 与 CARS 的机制差异

CARS 也做变量选择，但它的核心是指数衰减函数：每轮强制保留一定比例的变量，比例按指数曲线下降，然后基于回归系数绝对值排序保留。BOSS 不预设每轮保留多少变量，而是用权重软收缩让变量自然分化。这个差别带来两个后果。第一，BOSS 对变量数的控制更“软”，前期可能保留很多变量，后期才逐渐收敛；CARS 的变量数下降曲线是人为设定的，跑起来更可控，但也更依赖经验。第二，BOSS 的 bootstrap 重采样对样本扰动更敏感，如果样本量小或者异常样本多，权重波动会比较大；CARS 基于全样本回归系数，稳定性稍好，但对共线性变量的处理不如 BOSS 细腻。两者没有绝对优劣，关键看数据结构和验证方式。

4. MATLAB 落地：一个可复现的 BOSS 变量选择实现

4.1 数据组织与预处理

MATLAB 里做光谱变量选择，数据组织要先把 X 和 y 对齐。X 是 n×p 的光谱矩阵，每行一个样本，每列一个波长；y 是 n×1 的响应向量，行顺序必须和 X 一致。预处理常见的有 SNV、MSC、一阶差分、二阶差分，目的是压掉散射背景和基线漂移。这里有个血泪经验：预处理一定要在训练集上拟合参数，再应用到验证集，不能拿全数据一起做 SNV 或标准化，否则验证集信息会泄漏到训练过程，RMSECV 看起来很美，独立验证就崩。划分训练集和验证集时，尽量按样本来源或批次分层，不要简单随机打乱，否则相近样本可能同时出现在训练和验证里，误差会被低估。

代码里我通常把预处理和变量选择分开写，预处理后的 X 保留列索引映射。如果做了一阶差分，波长数会少一列，波长向量也要同步截断，否则最后选出来的变量索引对不上原始波长。这个坑很常见，尤其是从别处拷来的预处理函数，默认删掉第一列或最后一列，跑完 BOSS 发现选中的波长整体偏移，模型解释全乱。

4.2 主循环与模型选择

下面这段 MATLAB 代码是一个简化版的 BOSS 主循环，重点展示权重更新、软收缩和交叉验证评估的衔接。实际使用时可以把交叉验证部分换成自己的 CV 函数，或者用并行加速 bootstrap 循环。

function [bestIdx, bestW, hist] = boss_select(X, y, opts) % BOSS_SELECT 基于 bootstrap 软收缩的光谱变量选择 % X: n×p 光谱矩阵；y: n×1 响应向量 % opts: B bootstrap 次数，maxIter 最大迭代，alpha 收缩指数 % maxLV 最大潜变量数，cvFold 交叉验证折数，threshold 权重阈值 [n, p] = size(X); w = ones(1, p); % 初始化变量权重 hist = struct('iter', {}, 'nVar', {}, 'rmsecv', {}, 'idx', {}); rng(opts.seed); % 固定随机种子，保证可复现 for it = 1:opts.maxIter w = w / sum(w); % 每轮先归一化，避免数值漂移 coef = zeros(1, p); for b = 1:opts.B idx = randsample(n, n, true); % 有放回抽样样本 Xb = X(idx, :); yb = y(idx); lv = min(opts.maxLV, size(Xb, 1) - 1); [~, ~, ~, ~, BETA] = plsregress(Xb, yb, lv); coef = coef + abs(BETA(2:end)'); % 第一行是截距，跳过 end coef = coef / opts.B; coef = coef / (sum(coef) + eps); % 归一化成变量重要性 w = w .* coef; % 乘法累积证据 w = w / max(w + eps); w = w .^ opts.alpha; % 软收缩，小权重加速衰减 w = w / sum(w); keep = find(w > opts.threshold); if numel(keep) < 3 break; % 变量太少，提前停止 end rmsecv = cv_rmse(X(:, keep), y, opts.maxLV, opts.cvFold); hist(end+1).iter = it; hist(end).nVar = numel(keep); hist(end).rmsecv = rmsecv; hist(end).idx = keep; end [~, best] = min([hist.rmsecv]); bestIdx = hist(best).idx; bestW = w; end function rmse = cv_rmse(X, y, maxLV, k) % 固定折数的 PLS 交叉验证，返回最小 RMSECV n = size(X, 1); cv = cvpartition(n, 'KFold', k); rmse = inf; for lv = 1:maxLV err = 0; for f = 1:k tr = training(cv, f); te = test(cv, f); [~, ~, ~, ~, BETA] = plsregress(X(tr, :), y(tr), lv); yp = [ones(sum(te), 1), X(te, :)] * BETA; err = err + sum((y(te) - yp).^2); end rmse = min(rmse, sqrt(err / n)); end end

这段代码里几个参数需要说清楚。opts.B是每轮 bootstrap 的次数，太小权重估计不稳，太大计算量上去，常见取 50 到 100。opts.maxIter是最大迭代轮数，50 轮通常够用，权重分化基本完成；如果数据变量特别多，可以加到 100。opts.alpha是软收缩指数，1.1 到 1.5 之间比较常见，越大收缩越激进。opts.threshold是权重截断阈值，设得太高第一轮就删掉太多变量，设得太低最后剩几百个变量，等于没选。opts.maxLV是 PLS 最大潜变量数，必须小于训练样本数，否则 PLS 会过拟合。cv_rmse里对每个潜变量数都做一遍交叉验证，取最小误差，这样每轮的子集评估相对公平。

代码里有个细节值得注意：plsregress返回的BETA第一行是截距，回归系数从第二行开始，所以取BETA(2:end)。预测时要在 X 前面补一列 1，否则截距对不上。这个坑我在早期实现里踩过，训练集 R2 很高，验证集预测值整体偏移，查了半天才发现是截距没加。

4.3 结果解读与变量子集验证

跑完 BOSS 之后，hist里记录了每轮的变量数、RMSECV 和变量索引。先看 RMSECV 随迭代次数的变化曲线：如果曲线先降后升，说明变量收缩到某个点后开始丢失有用信息，最佳轮次在谷底附近；如果曲线一直下降，说明收缩还不够，可以增加迭代次数或提高 alpha；如果曲线震荡很大，可能是 bootstrap 次数太少或样本量太小。再看bestIdx对应的权重分布，权重高的变量应该集中在几个吸收峰附近，而不是均匀散落。最后用独立验证集算 RMSEP、R2 和 RPD，确认选出来的子集真的能预测新样本，而不是只对交叉验证友好。

变量子集验证还有一个小技巧：把 BOSS 选出来的变量和全波段 PLS、CARS 选出来的变量做对比，看预测误差和变量数。如果 BOSS 用更少的变量达到相近或更好的 RMSEP，说明变量选择有效；如果 BOSS 变量少但误差明显变大，可能是收缩过猛，需要调低 alpha 或提高阈值。对比时要用同一套训练集、验证集和预处理，否则数字没有可比性。

5. 避坑与排查：BOSS 跑出来全是波长或只剩两三个变量

5.1 权重几乎不变，最后保留全部变量

现象是迭代几十轮后，权重曲线仍然很平，keep里还有几百上千个变量，RMSECV 和全波段 PLS 差不多。原因通常是软收缩不够：alpha 太小，权重分化慢；或者每轮归一化之后没有做幂运算，权重只是简单累乘，差距拉不开。另一个常见原因是 PLS 潜变量数设得太多，回归系数被分散到很多潜变量上，每个波长的 |b| 都不大，归一化后权重趋于均匀。解决办法是把 alpha 提到 1.2 到 1.5，限制maxLV不超过 10，检查权重更新后是否真的做了w .^ alpha。如果数据变量特别多，可以先把 bootstrap 次数加到 100，让权重估计更稳。

5.2 第一轮就只剩几个变量，模型直接崩

现象是第一次迭代后keep里只剩两三个变量，RMSECV 反而比全波段还大。原因可能是阈值设得太高，比如threshold设成 0.01，归一化后大部分权重都低于这个值；也可能是 alpha 太大，第一轮就把小权重压没了。还有一种情况是数据里有异常样本，bootstrap 采样反复抽到异常值，回归系数被带偏，权重集中在少数几个波长上。解决办法是把阈值降到 1e-4 到 1e-3，先不删变量，按权重排序逐步截断；检查异常样本，必要时先做异常值剔除；alpha 从 1.1 开始试，不要一上来就 1.5。

5.3 RMSECV 很小但验证集 RMSEP 很大

这是变量选择里最典型的翻车方式。交叉验证误差很低，独立验证集误差却高出一截。原因通常有三个：预处理用了全数据，验证集信息泄漏；变量子集是按交叉验证误差反复挑出来的，相当于对交叉验证过拟合；训练集和验证集样本划分不合理，相近样本被分到两边。解决办法是预处理只在训练集上拟合，验证集用同样的参数变换；用嵌套交叉验证选子集，或者留一个完全独立的验证集，从头到尾不参与变量选择；按批次或来源分层划分样本，避免相近样本泄漏。

5.4 不同随机种子结果差异很大

BOSS 里有 bootstrap 随机采样，随机种子不同，选出来的变量子集可能差很多。样本量越小、共线性越强，这种波动越明显。如果每次跑出来的变量子集重合度很低，说明权重估计不稳定，模型解释性要打折扣。解决办法是固定随机种子，保证结果可复现；增加 bootstrap 次数，比如从 50 加到 100 或 200；重复跑多次 BOSS，统计每个变量被选中的频率，保留高频变量，相当于做一层稳定性选择。频率选择会增加计算量，但对小样本光谱数据很值得。

5.5 变量索引错位，选中的波长对不上

现象是 BOSS 选出来的变量索引在预处理后的矩阵里，但波长向量还是原始长度，画图时峰位整体偏移。原因通常是预处理函数删了列，比如一阶差分后变量数少一，或者 MSC 去掉了某个参考波长，但波长向量没有同步截断。解决办法是预处理函数返回列索引映射，或者每次预处理后手动更新波长向量；变量选择结果保存列索引而不是波长值，最后再用索引去查波长；画权重曲线前先确认 X 的列数和波长向量长度一致。这个坑不涉及算法，但一旦踩了，后面所有解释都是错的。

6. 设计取舍：BOSS 的软收缩边界在哪里

BOSS 不是万能变量选择器，它的有效性建立在一个假设上：重要变量在 bootstrap 重采样下回归系数相对稳定。如果数据里存在强共线性的一组变量，它们可能轮流在 bootstrap 模型里冒头，权重被分散，最后只保留其中一两个，模型预测可能没问题，但解释性会丢。遇到这种情况，可以在 BOSS 之后做一步变量聚类，把同一吸收峰附近的变量合并成一个区间，再评估区间重要性。另一个边界是样本量。BOSS 的权重估计依赖多次重采样，样本量太小时，bootstrap 样本之间高度重叠，权重波动大，选出来的子集不稳定。样本量小于 30 时，我一般会降低 bootstrap 次数、增大交叉验证折数，或者干脆先用 UVE 做粗筛，再上 BOSS。

计算成本也是取舍点。BOSS 的耗时大致是迭代次数 × bootstrap 次数 × PLS 拟合成本，变量数上千、样本数几百时，跑一次可能要几分钟到十几分钟。如果只是做探索性分析，可以把 bootstrap 次数降到 30，迭代次数降到 20，先看权重曲线有没有分化趋势；确认方向后再用完整参数跑一遍。下面的对比表是我在几个模拟项目里常用的判断依据，不是绝对标准，但能帮你快速定位问题。

验证 BOSS 结果时，我习惯做三件事：固定随机种子跑一遍完整流程，确认结果可复现；用独立验证集算 RMSEP，和全波段 PLS 对比；把选中的变量按权重排序，检查前 20 个变量是否落在有化学意义的吸收带上。三件事都过了，才敢把变量子集交给后续建模。从那以后我每次跑 BOSS 都强制先留独立验证集、固定随机种子，再谈变量子集好不好，不然很容易被交叉验证的数字骗过去。希望帮到你。

本文还有配套的精品资源，点击获取