模式识别核心框架：贝叶斯决策到EM聚类的六维知识体系

简介：本资源是西安电子科技大学（XDU）《模式识别》课程期末复习专用知识点串联笔记，面向人工智能、智能科学与技术等专业本科生，聚焦考前系统梳理与重点突破。内容覆盖贝叶斯决策理论、判别函数与决策面设计、正态分布下的统计分类、Fisher线性判别（LDA）、感知机与广义线性判别、KNN与决策树、无监督学习（高斯混合模型、EM算法、K-means、FCM、层次聚类）及特征选择（Filter/Wrapper策略、可分性判据）等核心模块，并含典型例题推导与关键公式图解，逻辑清晰、考点明确。资源为1个PDF文件，共1.4MB，排版紧凑、便于打印与碎片化复习。已有713人学习下载，适合作为期末冲刺的结构化知识地图与应试提纲。

1. 模式识别知识地图：西电XDU期末复习的六维骨架

如果你正在翻《模式识别》教材、对着PPT发呆、或在考前一周突然发现“贝叶斯决策”和“EM算法”在脑子里打架——别慌，这不是你学得差，而是这门课天然自带高耦合、强递进、多范式交织的结构特征。西电XDU的这门课不是知识点的线性堆砌，而是一张以统计决策为地基、以判别函数为骨架、以学习范式为血肉、以优化目标为神经的立体网络。梳理下来会发现：全课程可压缩为六个不可割裂的模块——贝叶斯决策体系（含最小错误率/最小风险）→ 线性判别与映射（LDA/Fisher/感知机）→ 非线性扩展路径（核SVM/KNN/广义线性）→ 无监督聚类闭环（K-means/FCM/EM/GMM）→ 特征工程双轨制（Filter+Wrapper+可分性判据）→ 集成与半监督接口（Bagging/AdaBoost/半监督思想）。它不考死记硬背，但极度依赖概念间的逻辑锚点：比如Fisher判别中“类内散度最小化”和贝叶斯中“后验概率最大化”本质是同一优化目标在不同约束下的表达；再比如EM算法的E步“隐变量期望”和K-means的“软分配”其实是隶属度思想的两种实现。这份串联笔记，就是帮你把散落的珍珠用四条金线串起来：决策逻辑线（为什么这么判？）、数学推导线（公式怎么来的？）、算法实现线（代码/步骤怎么走？）、易错映射线（哪里最容易翻车？）。适合两类人：一类是刚学完想搭起知识框架的，一类是考前72小时要精准查漏的。现在，我们从最底层的贝叶斯开始，一层层剥开。

2. 贝叶斯决策体系：从公式到决策面的完整推演链

贝叶斯不是一道题、一个公式，而是一套可落地的决策操作系统。XDU期末从不单独考“写出贝叶斯公式”，而是考你能否用它驱动整个分类流程：从先验概率估计，到似然建模，再到后验计算，最后生成决策面。这一章必须打通“理论-分布-决策-几何”四重映射。

2.1 贝叶斯公式的三种形态与物理意义

贝叶斯公式最常写为：
$$ P(\omega_i|\mathbf{x}) = \frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{p(\mathbf{x})} $$
但考试真正卡人的，是它的等价变形。必须掌握以下两种形式及其使用场景：

提示：XDU真题中常给定两类先验 $P(\omega_1)=0.6, P(\omega_2)=0.4$ 和正态似然 $p(\mathbf{x}|\omega_i)\sim\mathcal{N}(\boldsymbol{\mu}_i,\boldsymbol{\Sigma}_i)$，要求写出判别函数。此时必须用比值形式消去 $p(\mathbf{x})$，否则无法继续。

2.2 最小错误率决策：从后验到判别函数的转化

最小错误率贝叶斯决策的核心是：将“使总错误率最小”的全局目标，转化为“对每个样本 $\mathbf{x}$ 选择后验概率最大的类”。这个看似简单的规则，背后有严格的数学证明（利用条件期望最小化），但期末考更关注其工程实现——即如何把后验比较转化为可计算的判别函数 $g_i(\mathbf{x})$。

当各类服从正态分布 $p(\mathbf{x}|\omega_i)\sim\mathcal{N}(\boldsymbol{\mu}_i,\boldsymbol{\Sigma}_i)$ 时，判别函数为： $$ g_i(\mathbf{x}) = -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) - \frac{1}{2}\ln|\boldsymbol{\Sigma}_i| + \ln P(\omega_i) $$ 这个公式必须能默写并解释每一项：

• 第一项：马氏距离平方的负值 → 衡量 $\mathbf{x}$ 到第 $i$ 类中心的几何距离（考虑协方差结构）
• 第二项：协方差矩阵行列式的对数 →类内离散度惩罚项（$\boldsymbol{\Sigma}_i$ 越大，该项越负，降低该类得分）
• 第三项：先验概率对数 →类别先验偏置项（$P(\omega_i)$ 越大，该项越大，提升该类得分）

注意：当所有类协方差相等（$\boldsymbol{\Sigma}_i = \boldsymbol{\Sigma}$）时，第二项变为常数，可忽略；若协方差还为单位阵（$\boldsymbol{\Sigma}=\mathbf{I}$），则第一项退化为欧氏距离平方。这是XDU简答题高频考点：“协方差相等时判别函数简化为何种形式？”

2.3 最小风险决策：引入代价矩阵的贝叶斯升级

最小错误率假设“分错一类和另一类代价相同”，但现实中并非如此（如医疗诊断中“将病人判为健康”比“将健康人判为病人”代价高得多）。最小风险决策通过代价矩阵 $\lambda_{ij}$（$\lambda_{ij}$ 表示真实为 $\omega_j$ 却判为 $\omega_i$ 的损失）升级贝叶斯框架。

其决策规则为：对每个 $\mathbf{x}$，计算条件风险
$$ R(\alpha_i|\mathbf{x}) = \sum_{j=1}^c \lambda_{ij} P(\omega_j|\mathbf{x}) $$
选择使 $R(\alpha_i|\mathbf{x})$ 最小的行动 $\alpha_i$（即判为 $\omega_i$）。

关键推导在于：将 $P(\omega_j|\mathbf{x})$ 代入贝叶斯公式，得到风险判别函数：
$$ g_i(\mathbf{x}) = -\sum_{j=1}^c \lambda_{ij} p(\mathbf{x}|\omega_j) P(\omega_j) $$
（注意此处为负号，因最小化风险等价于最大化 $-R$）

XDU考题典型设置：给出 2×2 代价矩阵（如 $\lambda_{11}=0, \lambda_{12}=10, \lambda_{21}=1, \lambda_{22}=0$），先验 $P(\omega_1), P(\omega_2)$，以及正态似然参数，要求写出决策面方程。解题铁律：永远先写出两个风险函数 $g_1(\mathbf{x}), g_2(\mathbf{x})$，令 $g_1(\mathbf{x}) = g_2(\mathbf{x})$ 解出决策面，而非试图记忆“修正后的判别函数”。

2.4 决策面的几何本质：超平面、二次曲面与非线性边界

决策面是判别函数相等的点集，其形状完全由似然分布和先验决定：

• 当所有类协方差相等且为 $\boldsymbol{\Sigma}$：决策面为超平面（线性），方程为 $(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j)^T\boldsymbol{\Sigma}^{-1}\mathbf{x} + \text{常数} = 0$
• 当协方差不等：决策面为二次曲面（椭球、抛物面等），含 $\mathbf{x}^T\boldsymbol{\Sigma}_i^{-1}\mathbf{x}$ 项
• 当似然非正态（如混合高斯）：决策面为复杂非线性边界

XDU实验题常要求画出二维决策面草图。技巧：取决策面方程，令其为0，代入几个关键点（如类中心连线中点、坐标轴交点）验证符号变化。例如两类均值 $\boldsymbol{\mu}_1=(0,0), \boldsymbol{\mu}_2=(2,0)$，协方差均为 $\mathbf{I}$，先验相等，则决策面为 $x=1$ 的垂直线——这是线性可分的直观体现。

3. 线性判别与映射：Fisher、感知机与几何直觉的统一

如果说贝叶斯是从概率出发的“自上而下”决策，那么线性判别就是“自下而上”构造最优投影方向。XDU本章核心在于：Fisher准则、感知机准则、最小二乘准则，三者本质都是在寻找一个方向 $\mathbf{w}$，使投影后的数据满足“类内紧凑、类间分离”。它们的区别仅在于优化目标函数和求解方式，而非哲学。

3.1 Fisher线性判别：类间散度/类内散度的最大化

Fisher准则的目标函数是类间散度 $S_B$ 与类内散度 $S_W$ 的比值：
$$ J(\mathbf{w}) = \frac{\mathbf{w}^T S_B \mathbf{w}}{\mathbf{w}^T S_W \mathbf{w}}, \quad \text{其中 } S_B = (\boldsymbol{\mu}_1-\boldsymbol{\mu}_2)(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2)^T, ; S_W = S_1 + S_2 $$
（$S_i$ 为第 $i$ 类散度矩阵）

求解 $J(\mathbf{w})$ 最大化等价于解广义特征值问题：
$$ S_B \mathbf{w} = \lambda S_W \mathbf{w} $$
当只有两类时，有解析解：
$$ \mathbf{w} \propto S_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}_2) $$

关键理解：这个 $\mathbf{w}$ 不是任意方向，而是使投影后两类均值距离最大、同时投影点方差最小的方向。XDU考题常给二维数据点坐标，要求计算 $\mathbf{w}$ 并画出投影轴。务必注意：$S_W$ 是两类散度之和，不是单类散度；计算 $S_W^{-1}$ 时若 $S_W$ 奇异（如样本数<维度），需用伪逆或添加正则项（考题中通常满秩）。

3.2 感知机准则：误分类样本的梯度下降求解

感知机将分类问题转化为寻找一个超平面 $\mathbf{w}^T\mathbf{x} + b = 0$，使所有样本正确分类。其准则函数（原始形式）为：
$$ J(\mathbf{w},b) = -\sum_{\mathbf{x}_i \in \mathcal{M}} y_i(\mathbf{w}^T\mathbf{x}_i + b) $$
其中 $\mathcal{M}$ 是当前被误分类的样本集，$y_i \in {+1,-1}$ 是标签。

梯度下降更新为：
$$ \mathbf{w} \leftarrow \mathbf{w} + \eta y_i \mathbf{x}_i, \quad b \leftarrow b + \eta y_i $$
（$\eta$ 为学习率）

XDU重点考算法流程与收敛性条件：

• 前提：数据线性可分（否则无限循环）
• 收敛保证：Novikoff定理指出，若可分，迭代次数不超过 $\frac{R^2}{\gamma^2}$（$R$ 为样本最大范数，$\gamma$ 为几何间隔）
• 考题陷阱：给出一组明显线性不可分的数据（如异或），问“能否用感知机求解？”——答案必须是“否”，并说明原因。

3.3 从Fisher到感知机：目标函数的内在一致性

表面看Fisher最大化类间/类内比，感知机最小化误分类损失，二者目标迥异。但梳理下来会发现：当两类协方差相等时，Fisher解 $\mathbf{w}{Fisher}$ 与感知机最优超平面法向量 $\mathbf{w}{Perceptron}$ 方向一致。

证明思路（简述）：
Fisher解 $\mathbf{w}_{Fisher} \propto S_W^{-1}(\boldsymbol{\mu}_1-\boldsymbol{\mu}2)$。若 $S_W = \sigma^2 \mathbf{I}$（球形协方差），则 $\mathbf{w}{Fisher} \propto \boldsymbol{\mu}_1-\boldsymbol{\mu}_2$，即指向类中心连线方向。而感知机最优解也必然垂直于连接两类中心的直线（因该直线是最大间隔方向）。二者殊途同归。

这是XDU“论述题”高频考点：“简述Fisher判别与感知机在几何意义上的联系”。回答不能只说“都找方向”，必须点明“当类内散布均匀时，类中心连线方向即最优投影/分离方向”。

3.4 多类Fisher判别：从二类到子空间的降维逻辑

二类Fisher输出一个标量投影 $y = \mathbf{w}^T\mathbf{x}$，而多类（$c$ 类）需输出 $c-1$ 维子空间。目标函数推广为：
$$ J(\mathbf{W}) = \frac{|\mathbf{W}^T S_B \mathbf{W}|}{|\mathbf{W}^T S_W \mathbf{W}|}, \quad \mathbf{W} \in \mathbb{R}^{d \times (c-1)} $$
其中 $S_B = \sum_{i=1}^c N_i (\boldsymbol{\mu}i - \boldsymbol{\mu})(\boldsymbol{\mu}i - \boldsymbol{\mu})^T$（$\boldsymbol{\mu}$ 为总均值），$S_W = \sum{i=1}^c \sum{\mathbf{x} \in \omega_i} (\mathbf{x} - \boldsymbol{\mu}_i)(\mathbf{x} - \boldsymbol{\mu}_i)^T$

求解仍为广义特征值问题：$S_B \mathbf{w}_j = \lambda_j S_W \mathbf{w}_j$，取前 $c-1$ 个最大特征值对应的特征向量组成 $\mathbf{W}$。

易错点：多类 $S_B$ 的定义中，必须用总均值 $\boldsymbol{\mu}$，而非各类均值的简单平均；$S_W$ 是所有类内散度之和，不是各类散度的平均。考题若给三类数据，要求计算 $S_B$，第一步必先算 $\boldsymbol{\mu} = \frac{1}{N}\sum_{i}\sum_{\mathbf{x}\in\omega_i} \mathbf{x}$。

4. 非线性扩展路径：SVM、KNN与核方法的三层抽象

当数据线性不可分时，XDU课程提供三条非线性路径：显式映射（广义线性）、实例驱动（KNN）、隐式映射（SVM核技巧）。它们代表了模式识别中处理复杂边界的三种哲学：前者靠升维，中者靠局部，后者靠变换。本章难点在于理解“为什么核函数能替代显式映射”。

4.1 SVM：从最大间隔到支持向量的硬间隔推导

SVM的核心直觉是：在所有能分开数据的超平面中，选间隔（margin）最大的那个。间隔定义为超平面到最近样本点的距离，最大化间隔等价于最小化 $|\mathbf{w}|$。

硬间隔SVM原始问题：
$$ \min_{\mathbf{w},b} \frac{1}{2}|\mathbf{w}|^2 \quad \text{s.t. } y_i(\mathbf{w}^T\mathbf{x}i + b) \geq 1, \forall i $$
引入拉格朗日乘子 $\alpha_i \geq 0$，得对偶问题：
$$ \max{\boldsymbol{\alpha}} \sum_{i=1}^N \alpha_i - \frac{1}{2} \sum_{i,j=1}^N \alpha_i \alpha_j y_i y_j \mathbf{x}_i^T \mathbf{x}j \quad \text{s.t. } \sum{i=1}^N \alpha_i y_i = 0, ; 0 \leq \alpha_i \leq C $$
（软间隔加 $C$，此处先看硬间隔）

关键结论：

• 支持向量：对应 $\alpha_i > 0$ 的样本，必满足 $y_i(\mathbf{w}^T\mathbf{x}_i + b) = 1$，即位于间隔边界上。
• 解的稀疏性：$\mathbf{w} = \sum_{i} \alpha_i y_i \mathbf{x}_i$，只有支持向量参与权重计算。
• 决策函数：$f(\mathbf{x}) = \text{sign}\left( \sum_{i \in SV} \alpha_i y_i \mathbf{x}_i^T \mathbf{x} + b \right)$

XDU计算题：给4个二维点，手动求解SVM。步骤固定：1) 写出4个约束 $y_i(\mathbf{w}^T\mathbf{x}_i + b) \geq 1$；2) 观察哪2个点最可能为SV（通常是离群点）；3) 设其 $\alpha_i > 0$，其余为0；4) 用KKT条件 $y_i(\mathbf{w}^T\mathbf{x}_i + b) = 1$ 和 $\sum \alpha_i y_i = 0$ 解出 $\mathbf{w}, b$。

4.2 核函数：隐式映射的数学魔法与常见陷阱

当数据在原空间线性不可分，SVM通过核函数 $K(\mathbf{x}_i,\mathbf{x}_j) = \phi(\mathbf{x}_i)^T \phi(\mathbf{x}_j)$将数据映射到高维（甚至无穷维）空间，在那里线性可分。关键洞察：我们不需要知道 $\phi(\cdot)$ 的具体形式，只需保证 $K$ 是正定核（满足Mercer条件）。

常用核函数及XDU考点：

• 线性核：$K(\mathbf{x}_i,\mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$ → 相当于不做映射
• 多项式核：$K(\mathbf{x}_i,\mathbf{x}_j) = (\mathbf{x}_i^T \mathbf{x}_j + c)^d$ → 可捕获交互项（如 $x_1 x_2$）
• RBF（高斯）核：$K(\mathbf{x}_i,\mathbf{x}_j) = \exp(-\gamma |\mathbf{x}_i - \mathbf{x}_j|^2)$ →XDU必考！$\gamma$ 控制单个样本的影响范围：$\gamma$ 大 → 局部性强 → 易过拟合；$\gamma$ 小 → 全局平滑 → 易欠拟合

易错点：学生常混淆 RBF 核中的 $\gamma$ 和标准差 $\sigma$。注意：$K = \exp(-\frac{|\mathbf{x}_i-\mathbf{x}_j|^2}{2\sigma^2})$ 对应 $\gamma = \frac{1}{2\sigma^2}$。考题若给 $\sigma=1$，则 $\gamma=0.5$，不能直接代入 $\sigma$。

4.3 KNN：距离度量、k值选择与贝叶斯误差的关联

KNN是“懒惰学习”的代表，其决策基于最近邻的多数投票。XDU强调其与贝叶斯最优误差的关系：当 $k \to \infty, \frac{k}{N} \to 0$ 时，KNN误差趋近于贝叶斯误差的 $2\epsilon_{Bayes}(1-\epsilon_{Bayes})$（Cover-Hart定理）。

实际应用三大要点：

• 距离度量：欧氏距离最常用，但若特征尺度差异大（如身高cm vs 收入元），必须标准化（Z-score）：$x' = \frac{x - \mu}{\sigma}$
• k值选择：
  • k太小：噪声敏感，决策边界崎岖（过拟合）
  • k太大：类别边界模糊，丢失细节（欠拟合）
  • XDU经验法则：$k = \sqrt{N}$（$N$ 为训练样本数），或用交叉验证选最优k
• 效率优化：KD树、Ball树用于加速最近邻搜索，但XDU考题通常只要求手算小规模（如5个点）的KNN分类。

注意：KNN没有训练过程，“训练”就是存储所有样本。考题问“KNN的训练时间复杂度？”，答：$O(1)$（存储），而非 $O(N)$。

4.4 广义线性判别：显式升维与过拟合的权衡

广义线性判别通过手工构造新特征（如 $x_1^2, x_1 x_2, \sin(x_1)$）将数据映射到高维空间，再用线性分类器。这与SVM核技巧的“隐式升维”形成对比。

例如，对二维数据 $(x_1,x_2)$，构造映射：
$$ \phi(\mathbf{x}) = [x_1, x_2, x_1^2, x_2^2, x_1 x_2]^T $$
则在新空间的线性判别函数 $g(\mathbf{z}) = \mathbf{w}^T \mathbf{z} + b$，代回原变量得：
$$ g(x_1,x_2) = w_1 x_1 + w_2 x_2 + w_3 x_1^2 + w_4 x_2^2 + w_5 x_1 x_2 + b $$
这是一个二次判别函数，可产生椭圆、抛物线等决策面。

XDU易错点：学生常以为“加了 $x_1^2$ 就一定是非线性”，但若只加 $x_1^2$ 而不加其他项，决策面仍是抛物线（非线性），但若映射后仍用线性分类器，则决策面在新空间是线性的，在原空间是非线性的。关键在“在哪一空间看线性”。

5. 无监督聚类闭环：K-means、FCM与EM算法的收敛性对比

无监督学习没有标签，却要发现数据内在结构。XDU本章精髓在于：所有算法都在优化一个目标函数，而EM是通用框架，K-means和FCM是其特例。理解这一点，就能把三个看似独立的算法串成一条线。

5.1 K-means：硬分配下的平方误差最小化

K-means目标是最小化簇内平方误差（WCSS）：
$$ J = \sum_{i=1}^c \sum_{\mathbf{x} \in C_i} |\mathbf{x} - \boldsymbol{\mu}_i|^2 $$
其中 $C_i$ 是第 $i$ 簇，$\boldsymbol{\mu}_i$ 是其质心。

算法步骤（必背）：

1. 初始化：随机选 $c$ 个点作为初始质心（XDU考题常指定初始点）
2. 分配：对每个 $\mathbf{x}$，计算到各质心距离，分配给最近的簇（硬分配：$\mathbf{x}$ 只属于一个簇）
3. 更新：重新计算每个簇的质心 $\boldsymbol{\mu}i = \frac{1}{|C_i|} \sum{\mathbf{x} \in C_i} \mathbf{x}$
4. 收敛：重复2-3步，直到质心不再变化或达到最大迭代次数

易错点：分配步必须计算所有距离，不能只和上一轮质心比；更新步质心是簇内样本均值，不是中位数。考题若给3个点 $(0,0),(2,2),(4,4)$，初设质心 $(0,0),(4,4)$，则第一轮分配后 $C_1={(0,0)}, C_2={(2,2),(4,4)}$，新质心为 $(0,0)$ 和 $(3,3)$ ——$(2,2)$ 被分给 $(4,4)$ 因距离更近（$\sqrt{8}<\sqrt{8}$？错！$|(2,2)-(0,0)|=\sqrt{8}, |(2,2)-(4,4)|=\sqrt{8}$，距离相等时按约定分给编号小的簇。

5.2 FCM：软分配下的加权平方误差

FCM引入隶属度 $u_{ij}$（$0 \leq u_{ij} \leq 1$，$\sum_i u_{ij} = 1$），表示样本 $\mathbf{x}j$ 属于簇 $i$ 的程度。目标函数为：
$$ J_m = \sum{i=1}^c \sum_{j=1}^N u_{ij}^m |\mathbf{x}_j - \boldsymbol{\mu}_i|^2 $$
其中 $m > 1$ 是模糊指数（通常 $m=2$），控制模糊程度（$m \to 1$ → 硬分配；$m \to \infty$ → 完全模糊）。

更新公式（由拉格朗日乘子法导出）：

• 隶属度：$u_{ij} = \frac{1}{\sum_{k=1}^c \left( \frac{|\mathbf{x}_j - \boldsymbol{\mu}_i|}{|\mathbf{x}_j - \boldsymbol{\mu}_k|} \right)^{\frac{2}{m-1}} }$
• 质心：$\boldsymbol{\mu}i = \frac{\sum{j=1}^N u_{ij}^m \mathbf{x}j}{\sum{j=1}^N u_{ij}^m}$

XDU对比题：“K-means与FCM在分配策略上的根本区别？”答：K-means是硬分配（0-1），FCM是软分配（[0,1]），导致FCM质心计算是加权平均，而K-means是算术平均。

5.3 EM算法：高斯混合模型的通用参数估计框架

EM算法是解决含隐变量（latent variable）问题的迭代框架。GMM中，隐变量 $z_i$ 表示样本 $\mathbf{x}_i$ 来自第 $k$ 个高斯分量，其后验概率 $P(z_i=k|\mathbf{x}_i)$ 即E步所求。

GMM概率模型：
$$ p(\mathbf{x}) = \sum_{k=1}^K \pi_k \mathcal{N}(\mathbf{x}|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}_k) $$
其中 $\pi_k$ 为第 $k$ 分量权重，$\sum_k \pi_k = 1$。

EM两步：

• E步：计算后验概率（责任 $r_{ik}$）
  $$ r_{ik} = P(z_i=k|\mathbf{x}_i) = \frac{\pi_k \mathcal{N}(\mathbf{x}_i|\boldsymbol{\mu}_k,\boldsymbol{\Sigma}k)}{\sum{j=1}^K \pi_j \mathcal{N}(\mathbf{x}_i|\boldsymbol{\mu}_j,\boldsymbol{\Sigma}_j)} $$
• M步：最大化Q函数，更新参数
  $$ \pi_k = \frac{1}{N} \sum_{i=1}^N r_{ik}, \quad \boldsymbol{\mu}k = \frac{\sum_i r{ik} \mathbf{x}i}{\sum_i r{ik}}, \quad \boldsymbol{\Sigma}k = \frac{\sum_i r{ik} (\mathbf{x}_i - \boldsymbol{\mu}_k)(\mathbf{x}_i - \boldsymbol{\mu}k)^T}{\sum_i r{ik}} $$

关键理解：K-means是EM在GMM的极限情况——当 $\boldsymbol{\Sigma}k \to 0$（各高斯坍缩为点），$r{ik}$ 退化为0或1（硬分配），M步质心即均值。XDU论述题：“为什么说K-means是EM的特例？”必须点明此极限关系。

5.4 易错 / 易忽略点：无监督算法的四大暗坑

无监督学习没有标签，错误不易察觉，但XDU考题专挖这些“静默陷阱”：

1. K-means的初始质心敏感性
   → 为什么漏：认为算法自动收敛，忽略初始化影响
   → 怎么补：XDU实验要求用K-means++初始化（首质心随机，后续质心按距已选质心距离平方的概率选择），或运行多次取最优；考题若给定初始点，必须严格按其计算，不能自行更换。

2. FCM中模糊指数 $m$ 的取值
   → 为什么漏：直接设 $m=2$，不知其影响
   → 怎么补：$m$ 决定模糊程度，$m=1$ 退化为K-means；$m$ 过大（如 $m=10$）使所有 $u_{ij} \approx 1/K$，失去区分度；XDU默认 $m=2$，但需理解其作用。

3. EM算法的收敛判断标准
   → 为什么漏：只看质心是否变化，忽略对数似然
   → 怎么补：EM收敛应检查对数似然函数 $L(\theta) = \sum_i \ln p(\mathbf{x}_i|\theta)$ 是否不再显著增加（如增量 $<10^{-6}$），而非质心微小变化。考题常给两轮参数，要求计算似然值比较。

4. 层次聚类中距离度量的选择
   → 为什么漏：默认用欧氏距离，忽略连锁方式
   → 怎么补：单连锁（最短距离）易产生“链式效应”（长链簇）；全连锁（最长距离）倾向球形簇；XDU考题若给4个点坐标，要求画层次树，必须明确写出所用距离（如“采用平均连锁”），并计算每步合并的簇间距离。

6. 特征工程双轨制与集成学习接口：Filter/Wrapper、Bagging/Boosting的实战选择

模式识别的终点不是算法，而是如何让算法在真实数据上有效。XDU本章聚焦两大接口：前端的特征筛选（减少噪声）与后端的模型组合（提升鲁棒）。它们不是孤立技巧，而是构成完整pipeline的齿轮。

6.1 Filter方法：基于类别可分性判据的特征子集评估

Filter方法独立于分类器，用预定义指标 $J(S)$评价特征子集 $S$。XDU重点考三类判据：

本文还有配套的精品资源，点击获取