逻辑回归如何处理非线性边界？特征映射与正则化实战解析

1. 项目定位与整体设计思路

1.1 微芯片质检场景到底在解决什么问题

芯片制造流程中有一道绕不开的环节——出厂前质量检测。每一片微芯片在封装前都要经过一系列电性能测试，测试会得到若干项关键指标，工程师根据这些指标的高低组合判断芯片能否放行。绝大多数时候，质量判定逻辑并非"某指标超过阈值就报废"这么简单，而是多项指标之间呈现复杂的耦合关系，单靠人工经验划几条规则线，很容易把良品误杀或者把次品放走。

这个项目处理的正是这样一种经典场景：每颗微芯片经过两项核心测试（这里记为test1和test2），得到二维平面上的一个坐标点；标签y表示该芯片是否合格（1为合格，0为不合格）。把数据散点图画出来后会看得非常直观——合格点和报废点并不像课堂练习里那样可以被一条直线干净地分开，而是呈现出类似同心圆交错的非线性分布。换句话说，这是一个典型的线性不可分二分类问题。

模型的目标很简单：训练一个分类器，输入两项测试指标，输出芯片合格的概率。但这个"简单"背后有两层真实挑战。第一，决策边界需要是一条曲线，怎么用线性模型去拟合曲线？第二，样本量并不大（这里只有一百多颗），强行拟合复杂边界很容易把噪声也学进去，导致训练集上分数好看、新数据上一塌糊涂。这两点正好对应这个项目两个核心技术动作——特征映射（Feature Mapping）和正则化（Regularization）。

这个项目非常适合两类人参考：一类是刚接触机器学习不久、想搞明白逻辑回归怎么处理非线性问题的初学者，另一类是做工业质检、手里有类似二维测试指标但不知道怎么建模的工程师。它不依赖深度学习框架，用Matlab几行核心代码就能跑通，模型的可解释性也很强，适合作为质检预测模型的第一版基线方案。

1.2 特征映射：从线性到非线性的关键一跃

线性模型拟合不了曲线边界，这是小学数学都能理解的道理——直线画不成圆圈。但换个角度看，边界之所以是曲线，是因为我们只在x1-x2这个二维坐标下观察它。如果能把样本投影到一个更高维的特征空间，原先弯弯曲曲的边界说不定就变成"平直"的了，线性模型自然就派上用场。

这个思考方向在数学上完全站得住脚。特征映射要做的事情，就是把原始特征[x1, x2]通过多项式组合，扩展成一组高维特征。以本项目采用的6次多项式映射为例，扩出来的特征包含所有形如x1^(i-j) * x2^j的项，其中总次数从1到6都要覆盖。做完之后，原本2个特征变成了28个特征。第1个是常数项1，其余27个是各种幂次组合，比如x1、x2、x1^2、x1x2、x2^2、x1^3、x1^2x2……一直到x2^6。

听起来很美好，但这里要泼一盆冷水：特征维度从2跳到28，模型表达能力确实上去了，可过拟合的风险也跟着上来了。高维多项式可以画出非常复杂的决策边界，在训练集上把每个点都包进去，但那根本不是"学到了规律"，而是"背下了答案"。这正是项目标题里"正则化"三个字存在的意义——正则化就是对高维表达能力的刹车装置，它让模型能画出足够复杂的边界，同时不会复杂到失去理智。

2. 正则化逻辑回归原理与参数解析

2.1 代价函数、梯度与正则化项

逻辑回归的核心逻辑其实就两步。第一步，用线性组合z = θ^T x算出一个实数值；第二步，把这个值塞进Sigmoid函数：

h(z) = 1 / (1 + e^(-z))

输出落在0到1之间，正好可以解释为"属于正类的概率"。决策规则也简单：概率大于等于0.5判为合格，小于0.5判为不合格。

但问题在于怎么确定参数θ。这就要靠代价函数来衡量当前参数到底好不好。逻辑回归的代价函数长这样：

J(θ) = -(1/m) * Σ [y^(i) * log(h(x^(i))) + (1-y^(i)) * log(1-h(x^(i)))]

这个式子不需要死记，只需要理解两点。第一，当预测值和真实标签一致时，对应项的代价接近0；不一致时代价趋向无穷大，模型因此有了"纠错动力"。第二，它等价于对训练样本做极大似然估计——找出最能解释现有观测结果的参数组合。

现在把正则化项加进来。因为我们要优化的特征有28个，其中θ1到θ27对应高维特征项，如果我们放任这些参数自由生长，模型就会趋于复杂。正则化的做法是在代价函数末尾加一项惩罚：

J(θ) = -(1/m) * Σ [...] + (λ / (2m)) * Σ_{j=1}^{n} θ_j^2

注意几个细节。第一，惩罚项的求和从j=1开始，θ0（对应常数项）不参与惩罚。原因很直观：常数项只影响整体平移，不影响决策边界的弯曲程度，所以不必约束它。第二，惩罚力度由λ控制。λ太小，惩罚形同虚设；λ太大，所有θ都被压向0，模型退化成一条直线。

对应的梯度也需要同步调整。对于θ0，梯度就是普通逻辑回归的形式：

∂J/∂θ0 = (1/m) * Σ (h^(i) - y^(i)) * x0^(i)

对于j≥1的参数，则要在后面加一项λ/m * θj：

∂J/∂θj = (1/m) * Σ (h^(i) - y^(i)) * xj^(i) + (λ/m) * θj

这里要特别说一句：不要把正则化项对θ求导的结果搞错。Σ θj^2对θj求导是2θj，前面还有λ/(2m)，两者相乘正好是λ/m * θj，这个系数是λ/m而不是λ/(2m)，代码里多写少写一个2就是完全不同的惩罚力度。

2.2 λ参数的选择逻辑与过拟合控制

λ的选择是整个项目里最需要手感的地方。我见过不少新手跑完代码，看到训练准确率能到87%就心满意足，但换一批数据立刻打回原形，这就是典型的过拟合症状。

用一个生活化的类比来解释λ的作用。想象你在教一个学生做判断题，λ=0相当于让他把标准答案和题目原文一起背下来，考试时遇到一模一样就满分，换了个措辞就懵。λ很大相当于只许他把答案归纳成不超过十个字的规律，结果他总结成"凡选择题都对"，自然也是废的。λ=1则介于中间，学到的规律既能覆盖训练样本，又不过度死板，这正是项目的默认选择。

实操中判断λ是否合适，最有效的办法不是看训练集准确率，而是画决策边界图。用训练好的θ在特征空间里生成网格预测，把概率等于0.5的等值线画出来，这条线就是模型学到的分类边界。λ=0时边界弯弯曲曲，把一些孤立的噪声点都包了进去；λ=1时的边界圆润自然，恰好贴着两类样本的分界区域走；λ=100时边界退化成一条近似直线，很多合格样本都被误判了。决策边界的可视化比任何数值指标都更能说明问题，建议大家都亲手画一次。

3. Matlab代码实现与关键步骤

3.1 数据加载与可视化

先看数据。项目提供的是一个txt文件（经典路径是ex2data2.txt），每行三个数字：test1、test2、y。Matlab里加载一行代码搞定：

data = load('ex2data2.txt'); X = data(:, [1, 2]); % 两项测试指标 y = data(:, 3); % 标签：1合格，0不合格

加载完之后第一步别急着建模，先可视化。画散点图的时候用find函数分别取出正负样本的下标，再用不同的标记样式画出来：

pos = find(y == 1); neg = find(y == 0); plot(X(pos, 1), X(pos, 2), 'k+', 'LineWidth', 2, 'MarkerSize', 7); hold on; plot(X(neg, 1), X(neg, 2), 'ko', 'MarkerFaceColor', 'y', 'MarkerSize', 7);

这个可视化步骤不是走过场。我习惯先把图放大看几秒，心里对边界大概长什么样有个预判，再跑模型去验证。这个项目的数据分布呈两圈嵌套的形态，合格样本集中在外圈环形带和中心区域，不合格样本则散布在环形带之间的区域，是一种非常典型的非线性模式。

然后写特征映射函数。6次多项式映射的完整实现如下：

function out = mapFeature(X1, X2) degree = 6; out = ones(size(X1(:, 1))); for i = 1:degree for j = 0:i out(:, end+1) = (X1.^(i-j)) .* (X2.^j); end end end

这段代码值得逐行理解。外层循环i从1到6控制总次数，内层循环j从0到i控制x2的分配次数，x1的次数就是i-j。out初始化为全1列，对应常数项。循环结束后，每个样本对应一行28列的特征向量。算法的顺序是先加总次数低的项再加高的，排列规律并不影响后续训练，但保证一致性对调试有好处。

3.2 代价函数与梯度计算的矢量化实现

这是整个项目最核心的代码块。把代价函数和梯度写进同一个函数里，方便后面交给优化器调用：

function [J, grad] = costFunctionReg(theta, X, y, lambda) m = length(y); h = sigmoid(X * theta); % 代价函数（带正则化，但theta0不参与惩罚） J = (1/m) * sum(-y .* log(h) - (1-y) .* log(1-h)) ... + (lambda/(2*m)) * sum(theta(2:end).^2); % 梯度（theta0单独处理） grad = (1/m) * X' * (h - y); grad(2:end) = grad(2:end) + (lambda/m) * theta(2:end); end

这段代码里有三个矢量化的关键点。第一，X * theta一步算出所有样本的线性组合z，再用sigmoid函数整体映射，避免了for循环。第二，-y .* log(h) - (1-y) .* log(1-h)按元素计算每个样本的代价，sum聚合成标量。第三，梯度公式(1/m) * X' * (h-y)是从最小二乘和逻辑回归共通的矩阵形式推导来的，X'是X的转置，乘上残差向量正好得到每个特征的梯度分量。

sigmoid函数单独写一个文件：

function g = sigmoid(z) g = 1 ./ (1 + exp(-z)); end

这里必须用点除./而不是斜杠/，原因很简单：z是一个向量，需要逐元素计算。这种细节错误不报错但结果全错，是我觉得Matlab新手最容易踩的坑之一。

3.3 模型训练与预测流程

参数初始化时，直接全设为零向量即可。逻辑回归的代价函数是凸函数，理论上不存在局部最优问题，零向量初始化完全够用：

initial_theta = zeros(size(X, 2), 1); lambda = 1;

接下来用fminunc做优化。fminunc是Matlab内置的无约束优化函数，内部用的是拟牛顿法，比手动写梯度下降省心得多——不用调学习率，收敛也快：

options = optimset('GradObj', 'on', 'MaxIter', 400); [theta, cost] = fminunc(@(t) costFunctionReg(t, X, y, lambda), initial_theta, options);

这里@(t) costFunctionReg(t, X, y, lambda)创建了一个匿名函数，把X、y、lambda固定住，只把theta作为变量传进去。'GradObj', 'on'告诉优化器，我们提供的函数不仅返回代价还返回梯度，这样可以大幅提升优化效率。MaxIter设400一般足够，如果没收敛就往上加。

预测函数同样简短：

function p = predict(theta, X) p = sigmoid(X * theta) >= 0.5; end

注意X * theta输出的是连续概率值，大于等于0.5的置为true（即1），否则为false（即0），正好匹配标签的定义。这里不要把阈值调来调去，0.5是逻辑回归的默认分界线，除非业务上有特殊的误判成本考量，否则不需要动它。

4. 质量评估与结果分析

4.1 分类准确率与混淆矩阵

训练完成后，评估是重头戏。项目里最直接的指标就是训练准确率：

p = predict(theta, X); fprintf('Train Accuracy: %f\n', mean(double(p == y)) * 100);

lambda=1时，这个数字通常会落在83%左右。但我要强调，训练准确率不是这个项目的核心结论。样本量只有118个，训练准确率高并不能证明模型好，关键要看决策边界是否合理、是否有泛化到新数据的潜力。

只看准确率还有一个盲区：如果合格样本占多数，模型哪怕把所有样本都判为合格，准确率也能很高。所以如果要做更严谨的评估，建议顺手输出混淆矩阵：

tp = sum(p == 1 & y == 1); % 真正例：实际合格，预测合格 fp = sum(p == 1 & y == 0); % 假正例：实际不合格，预测合格 tn = sum(p == 0 & y == 0); % 真负例：实际不合格，预测不合格 fn = sum(p == 0 & y == 1); % 假负例：实际合格，预测不合格

混淆矩阵的价值在于能看出误判方向。在芯片质检场景里，把坏芯片放出去（假负例，fn）和把好芯片拦下来（假正例，fp）的代价完全不同——前者可能导致整批产品出问题，后者只是增加返工成本。如果业务上对某一类误判更敏感，可以通过调整阈值来倾斜决策，这时候有混淆矩阵在手就能清晰知道调整的影响。我自己的习惯是每次训练完都把四个数打出来，做到心中有数。

4.2 不同λ对决策边界的影响

为了直观理解λ的作用，建议把λ分别设成0、1、100，各训练一次，画出三条决策边界对比。绘图代码的核心是用网格预测：

u = linspace(-1, 1.5, 50); v = linspace(-1, 1.5, 50); z = zeros(length(u), length(v)); for i = 1:length(u) for j = 1:length(v) z(i, j) = mapFeature(u(i), v(j)) * theta; end end z = z'; contour(u, v, z, [0, 0], 'LineWidth', 2);

这段代码重点看两个细节。第一，mapFeature(u(i), v(j)) * theta计算的是网格点上的线性组合值，等于0的位置就是决策边界所在处。第二，z = z'这行转置必不可少——contour函数期望z的维度与u、v的排列方式匹配，不转置画出来的边界会镜像翻转，这是一个非常经典的Matlab绘图坑。

三种λ的结果对比很鲜明：

从这个表能看出一个关键规律：训练准确率高不等于模型好。λ=0的训练准确率最高，但实际应用时最不可靠。λ=1虽然"损失"了几个训练点的准确率，但换来的是对整体数据分布规律的把握。这就像考试时背答案的学生和真正理解知识点的学生，前者成绩可能更高，后者才扛得住大考。

5. 踩坑记录与调参经验

5.1 特征维度爆炸与计算开销

把特征从2维映射到28维之后，整个计算规模并没有变大到无法接受，但要警惕一个趋势：如果把degree从6改到10，特征数会变成(10+1)(10+2)/2=66个；改到20，特征数就是231个。多项式映射的特征数量是随degree平方级增长的，在高维场景下训练速度和内存占用都会明显上升。

更重要的是，degree越大，过拟合风险越高，不是越大越好。在实际项目中我建议先用degree=4或6试跑，看决策边界是否已经足够贴合数据分布，不够再往上加。一上来就设degree=15，决策边界会画出各种匪夷所思的扭曲，λ再大也难救回来。

5.2 收敛判断与fminunc使用细节

fminunc有个常见的翻车点：报错说"Objective function returned NaN"。这通常有两个原因。一个是数据没有归一化，特征值尺度差异过大导致数值不稳定。好在这个项目的特征映射结果都是x1、x2的幂次组合，而x1、x2本身取值在[-1, 1]，映射后各列量级差异不大，所以不需要额外做归一化。但如果你在别的数据集上套用这套代码，建议先检查feature range。

另一个原因是λ设置得过大时，伴随正则化梯度的计算在小数值精度下可能出现数值振荡。如果遇到fminunc不收敛，优先检查lambda是否设成了一个夸张的大数（比如10^6），再检查sigmoid函数是否用了点除。不要把Matlab的warning当成耳旁风，优化器提示梯度过大的时候，多半是代码某处写错了，先排查再继续。

5.3 过拟合与欠拟合的平衡技巧

在实际调参过程中，我总结了一个"自上而下"的检查顺序，比盲目调λ高效得多：

第一步，先用λ=0跑一遍，强制模型过拟合，确认代码逻辑是否正确、优化是否收敛。如果λ=0时的决策边界都画不出来，那问题在代码不在参数。第二步，设λ=1，画出决策边界，观察形态是否合理。如果边界依然弯折严重，说明degree太高或λ偏小，适当加大λ或降低degree。第三步，设λ=100，确认边界是否会退化成直线。如果不会，说明数据特征本身就比较强，可以适当放宽λ约束。

还有一个小技巧：把数据集按7:3划出验证集，分别计算训练准确率和验证准确率。当两者差距超过10个百分点，基本可以判定过拟合，需要加大λ；当两者都很低，说明欠拟合，需要提升degree或减小λ。这套方法比单看训练准确率的说服力强得多。

最后再分享一个我在实际项目中养成的习惯：每跑一组参数，都把θ向量保存下来，并记录对应的λ、degree、训练准确率。调参过程本身就是在探索这个数据集的"分布地形"，记录多了之后，你对模型行为的直觉会越来越准，而不是每次都从头开始试。