MATLAB模式识别入门：从特征向量到手写数字分类

简介：《模式识别与智能计算——MATLAB技术实现》配套PDF，面向计算机、信息工程、自动化、生物医学工程等专业学生与工程技术人员，帮助读者把模式识别从理论公式落到可运行的Matlab程序，适合具备一定算法基础、希望系统梳理分类器与聚类实现的中高级学习者。压缩包内仅含1个PDF文件，大小约17.87MB，便携易读，可直接在电脑或平板上查阅。全书以14章展开，覆盖特征选择与优化、模式相似性测度、贝叶斯与判别函数分类器、BP/RBF/概率神经网络、决策树、粗糙集，以及模糊聚类、禁忌搜索、遗传算法、蚁群和粒子群聚类等内容，并以手写数字识别贯穿实例，给出实现步骤、示范代码与效果图示，便于对照复现和比较不同算法的适用场景。目前已有313人学习，可作为课程教材或项目参考。

1. 先弄明白一件事：模式识别到底在让电脑做什么

很多新手第一次听到「模式识别」四个字，脑子里浮现的是一黑板公式和一堆看不懂的希腊字母，更别提还要用 MATLAB 把算法一行行敲出来。其实它的目标朴素得很：让电脑回答一个小孩三岁就会的问题——这张图上写的是几。你教小孩认数字，会拿一堆写着 3 的纸片给他看，看多了他自己就会分。模式识别干的是同一件事，只是「看」的人换成了机器，而机器没有直觉，只能靠算。这套以 MATLAB 为实现工具的模式识别算法资源，做的就是把这套「怎么算」拆成十四步：怎么挑特征、怎么量相似度，再到贝叶斯、神经网络、决策树和各种聚类方法，一路讲到能跑出结果、能对比效果。它适合完全没碰过模式识别、但想亲手跑通第一个识别程序的人。

2. 为什么零基础也值得学：先看清它能干什么，再决定从哪下手

2.1 三个日常场景，说清这门技术到底解决什么问题

先不谈公式，谈你每天都在碰的东西。第一个场景是手写数字识别：快递面单上的手机号、银行票据上的金额、考试答题卡上涂的选项，背后干的都是同一件事——把一张图判成十个类别里的一个。这套资源从头到尾就拿手写数字当主线案例，原因很实在：类别只有 0 到 9 十种，样本你自己拿鼠标画几十个就能凑出一批，跑完还能把识别错的图直接显示出来看，比任何抽象例子都直观。

第二个场景是工业质检。流水线上的零件照片，要判断有没有划痕、有没有缺角。这时候你要处理的就不是十个类别了，而是「合格」和「不合格」两类，但底层动作没变：先把图像变成一串数字，再拿这串数字去和已知的样本比。

第三个场景是文本和语音，比如判断一条留言是不是广告。文字没法直接算距离，得先转成特征向量，这就牵出了这门学科最核心的一件事——特征怎么选。

这里必须提前分清两个词，否则你读到后面会晕。有标准答案的叫分类：你手里有一批已经标好「这是 3」「这是 7」的样本，让机器学出一个规则，再去判断新样本。没有标准答案的叫聚类：你只给机器一堆样本，让它自己按相似程度抱团，抱完你再去看每一团大概是什么。这套资源的章节安排就是按这个分的，前面八章偏分类，后面六章偏聚类，中间用手写数字这个案例串起来。

那为什么零基础也值得学？现在调一个现成的库，一行代码就能训练模型，看起来不用懂原理。可一旦结果不对，你面对的就是一个黑匣子：不知道是数据的问题、特征的问题，还是参数的问题。懂特征、懂距离、懂分类边界，你才知道往哪个方向调。这份资源的价值恰恰在这儿——它不满足于给你一个能跑的模型，而是把每一种方法的实现步骤、核心代码和效果对比都摊开给你看。

2.2 为什么新手用 MATLAB 起步，比一上来换别的语言省事

很多人第一反应是：现在都用 Python 了，学 MATLAB 是不是过时？对零基础的人来说，这个问题的答案和你想的不太一样。

第一，MATLAB 的母语就是矩阵。一张灰度图在它眼里就是一个二维矩阵，取一行、算均值、求两点距离，全是一行代码的事。而在别的语言里，你得先 import 一堆东西，再注意数据类型和形状，光是格式转换就能耗掉你一晚上的热情。模式识别的每一步操作，本质上都是矩阵运算，工具和问题刚好对得上。

第二，不用折腾环境。装好就能跑，不会出现「装了一半报错、版本冲突」这种玄学问题。对新手来说，第一天就卡在环境上，基本就等于放弃了。

第三，画图是内置的。识别错了，把那张图显示出来看一眼，比打印一百行数字有用得多。这一点在你调特征、调参数的时候尤其救命。

第四，调试直观。工作区里每个变量的形状、数值都摆在那儿，你能亲眼看到一张 28×28 的图是怎么变成 784 个数字的。

代价也要说清楚：MATLAB 是商业软件，个人买不便宜。学校或单位有授权就用授权版本；实在没有，Octave 能跑通大部分代码，但图形界面和部分函数会有差异，遇到报错先怀疑是不是这个原因，别急着怀疑自己的逻辑。

还有一句实话：这套资源的代码全是 MATLAB 写的，你现在换语言，等于给自己多设一道坎。先把算法跑通、把思路建立起来，语言以后随时能换，思路换不了。

2.3 十四章不是从第一页读到第十四页：给零基础的阅读顺序

这份资源的结构其实很清楚，分三块：前三章是基础（什么是模式、特征怎么选、相似度怎么量），第四到第八章是分类器（贝叶斯、判别函数、神经网络、决策树、粗糙集），第九到第十四章是聚类（基本聚类、模糊聚类，以及禁忌搜索、遗传算法、蚁群、粒子群这几种优化算法跟聚类的结合）。

新手最容易犯的错，是从第一章硬啃到第十四章，结果卡在第六章的神经网络那儿，前功尽弃。我的建议是按下面这个顺序走，每一步都有明确的产出。

为什么要这么排？因为前三章是地基，跳过它们直接看神经网络，你会不知道「输入层的 784 个节点」是哪来的。而神经网络之所以放在第四周，是因为它调参最费时间，先把简单方法跑通、拿到一个基准正确率，你才有参照物去判断神经网络到底有没有变好。

至于后面那些优化算法（禁忌搜索、遗传、蚁群、粒子群），我的建议是先跳过去。它们不是不重要，而是理解它们需要先有「聚类在干什么」的直觉。等你跑通了 K 均值，看到它有时候会陷进一个不太好的分组结果，你再回头看这些算法为什么被发明出来，就一下通了。

3. 动手前的准备：把环境搭好，把第一个能看见结果的例子跑通

3.1 装好 MATLAB，建一个不折腾的文件夹结构

版本上不用太纠结，R2016a 之后的版本基本都能跑。要注意的是，MATLAB 这些年改过一些函数名，比如神经网络的训练函数在新版本里换过写法，你照着资源敲报「函数不存在」，八成是版本差异，先 help 一下看有没有替代函数，别急着改逻辑。

接下来是文件夹。这一步看着琐碎，但这是我最想让你一开始就做对的事：

pr_demo/ data/ 0/ 1/ 2/ ... 9/ src/

思路很简单：每一个数字一个文件夹，文件夹名就是标签。这么做的好处是，你不需要额外写一个标签文件，程序扫一遍目录就知道哪张图是几。以后换成字母识别、划痕检测，照这个结构建就行。

有两条血泪经验：一是路径里别放中文和空格，某些函数读文件时会莫名其妙失败；二是把src设为当前工作目录，或者用addpath加进去，不要在代码里写一长串绝对路径，否则换台电脑就得改一遍。

3.2 第一个例子：用一个 5×7 的点阵，把「特征向量」变成看得见的东西

概念先落地。所谓特征，就是一个能用来区分事物的数字。一张图有很多像素，但不是每个像素都有用，我们挑出来参与计算的那些数字，就是特征。把一批特征按顺序排成一列，就是特征向量。

先用最小的例子把这件事看明白，别一上来就 28×28：

% 手工构造一个 5×7 的二值点阵，代表数字 3 % 1 表示笔画经过的位置，0 表示空白 digit3 = [ ... 0 1 1 1 0; 0 0 0 1 0; 0 1 1 1 0; 0 0 0 1 0; 0 1 1 1 0]; % 看一眼它长什么样 imagesc(digit3); colormap(gray); axis image; % 把矩阵按列拉直成一行，这就是一个 35 维的特征向量 x = digit3(:)'; disp(size(x)); % 输出 1 35

这段代码干了三件事。第一，imagesc把这个 5×7 的矩阵当成一张灰度图画出来，你能亲眼确认「数据即图像」这件事，不是比喻。第二，digit3(:)是 MATLAB 的拉直操作，它按列优先的顺序把矩阵摊平成一维，(:)'再转置成行向量。第三，size(x)告诉你，这个样本有 35 个特征。

为什么要拉直？因为后面所有的距离计算、矩阵乘法，都是在向量和矩阵上做的。图像是二维的，但分类器眼里只有「一个样本 = 一行数字」。想清楚这一点，你就跨过了模式识别入门最难的一道心理门槛。

注意：(:)是按列读的，不是按行。这会影响特征的排列顺序，但只要训练和测试用的是同一种读法，顺序本身不影响结果。新手常犯的错是训练时按列、测试时按行，那就全乱了。

3.3 让程序自己读一批样本：从图片变成特征矩阵

手工造点阵只能玩一玩，真实项目里样本是图片文件。下面这段把某个数字文件夹里的图批量读进来，压成特征矩阵：

% 读入数字 3 的所有样本，每张图压成 35 维特征 folder = fullfile('data', '3'); % 你的样本目录 files = dir(fullfile(folder, '*.png')); % 列出所有 png 文件 n = numel(files); X = zeros(n, 35); % 预分配：n 个样本 × 35 个特征 for i = 1:n img = imread(fullfile(folder, files(i).name)); img = imresize(img, [5 7]); % 统一到 5×7，尺寸必须一致 img = im2double(img); % uint8 转成 0~1 的浮点数 bw = img > 0.5; % 二值化：亮的是笔画，暗的是背景 X(i, :) = bw(:)'; % 拉直成一行，存进第 i 行 end

几个参数值得说清楚。imresize(img, [5 7])里的[5 7]是目标尺寸，行在前列在后，写反了图会变形，虽然还能跑但特征就废了。im2double把 0 到 255 的整数转成 0 到 1 的小数，这一步不能省，原因在第 5 章会专门讲。img > 0.5是二值化的阈值，扫描件和手写图的背景亮度不一样，阈值可能要调，graythresh能自动算一个，但新手先用固定值跑通再说。

真实的手写数字样本尺寸通常是 28×28，也就是 784 个特征。为什么不直接用 784 维？因为维度一高，计算变慢，样本需求也变大，而你在入门阶段根本不需要那么高的分辨率就能看出算法通不通。先用 35 维把流程跑顺，再换成 784 维，你会发现代码一个字都不用改，只是35换成784。这就是把流程和参数分开写的好处。

4. 分类器入门：从最笨的方法开始，一层层往上加

4.1 最笨也最该先学的方法：算距离

分类的本质是比较。你手上有一批已经知道答案的样本，来了一个新样本，就跟它们比一比，谁最像就判成谁。这个「像不像」在机器眼里就是距离。

最直接的做法叫模板匹配：测试样本跟每一个训练样本算距离，取最小的那个，把它的标签抄过来。缺点是慢，训练样本一万个就要比一万次。改进办法是每一类先算一个「类中心」，也就是这一类所有样本的平均向量，然后只跟十个中心比。速度快得多，效果在干净数据上也不差。

% 假设 trainX 是训练特征 (N×784)，trainY 是标签 (N×1) % testX 是测试特征 (M×784)，testY 是对应标签 classes = unique(trainY); % 本例中就是 0 到 9 K = numel(classes); centers = zeros(K, size(trainX, 2)); for k = 1:K centers(k, :) = mean(trainX(trainY == k, :), 1); % 每一类的平均向量 end % 逐个测试样本，算它到 K 个中心的欧式距离 D = zeros(size(testX, 1), K); for k = 1:K diffv = testX - centers(k, :); % 每个维度分别作差 D(:, k) = sqrt(sum(diffv .^ 2, 2)); % 平方求和再开方 end [~, idx] = min(D, [], 2); % 距离最小的那一列就是预测类别 pred = classes(idx); acc = mean(pred == testY); % 正确率 fprintf('类中心分类器正确率：%.2f%%\n', acc * 100);

逻辑是：mean(..., 1)沿第一维求平均，得到的是一行，代表这一类的中心点。sum(diffv .^ 2, 2)里的第二个参数2表示沿列方向求和，也就是把一个样本所有维度的平方差加起来，最后开方得到欧氏距离。min(D, [], 2)返回每一行的最小值，idx就是预测的类别序号。

这套代码跑出来正确率一般在七八十个点，不算高，但它给了你一个极其重要的东西：基准线。后面所有花里胡哨的算法，都要跟这条线比。如果神经网络跑出来还不如它，那问题一定出在你的实现或者数据上，而不是「神经网络不行」。

资源里花了一整章讲相似性测度，就是因为距离怎么定义，直接决定结果。除了欧式距离，还有马氏距离（考虑各维度的相关性，对尺度不敏感）、夹角余弦（只看方向不看长度，适合文本）、Tanimoto 测度（专门给二值特征用的）。你不需要一次全记住，记住一句话就够：不同的距离，等于不同的「像」的定义。

4.2 贝叶斯分类器：把「我觉得」换成「概率上更可能」

距离法有个明显的短板：它假设各类样本在空间里是均匀散开的球。可现实中，有的类本来就分散，有的类很集中。贝叶斯分类器换了个思路——不判断「离谁近」，而是判断「在已知样本分布的前提下，它属于哪一类的可能性更大」。

里面有三个词你得先认识：先验概率，就是还没看样本之前，各类出现的可能性，比如手写数字里 1 和 0 通常比 8 多；类条件概率，就是在已知属于某一类的情况下，出现这个特征值的可能性；后验概率，就是看到特征之后，反推它属于各类的可能性。贝叶斯公式干的就是从前者算后者。

落到代码上，如果假设每一类的特征服从正态分布，那就只需要算出每一类的均值向量和协方差矩阵，然后对每个测试样本算一个判别值：

% 高斯假设下的贝叶斯判别（最小错误率） score = zeros(size(testX, 1), K); for k = 1:K Xk = trainX(trainY == k, :); mu = mean(Xk, 1); % 类均值 S = cov(Xk) + 1e-6 * eye(size(Xk, 2)); % 协方差，加小量防止不可逆 prior = size(Xk, 1) / size(trainX, 1); % 先验：该类样本占比 diffv = testX - mu; % 判别函数：-0.5*(x-mu)'*S^-1*(x-mu) - 0.5*log|S| + log(prior) score(:, k) = -0.5 * sum((diffv / S) .* diffv, 2) ... - 0.5 * log(det(S)) + log(prior); end [~, idx] = max(score, [], 2); pred = classes(idx);

cov算协方差矩阵，1e-6 * eye(...)是加在对角线上的小量，防止矩阵奇异导致求逆失败——这个技巧在实战里非常常用，别嫌它粗糙。diffv / S是 MATLAB 里解线性方程组的写法，等价于diffv * inv(S)，但数值上更稳。最后取判别值最大的那一类。

这套方法在样本量足够的时候常常比距离法高一截。资源里还区分了「最小错误率」和「最小风险」两种决策：前者只看判错的概率，后者还要考虑判错的代价——把 1 认成 7 和把 1 认成 0，代价显然不一样。这个思路在实际业务里比算法本身还重要。

4.3 神经网络：第一层不用懂，先把 BP 跑通

到这一步，你大概能感觉到传统方法的局限：特征是人挑的，分布是人假设的。神经网络换了个玩法——把「挑特征」这件事也交给机器，你只给它原始像素，它自己学出一层层变换，最后输出类别。

BP 网络是最经典的一种。原理一句话：正向把输入算成输出，跟标准答案比一下得到误差，再把误差反向传回去，一点点调权重。这句话你现在不用完全懂，先把流程跑通，看到结果，再回头补原理。

% 用 BP 网络做 10 类手写数字识别 rng(0); % 固定随机种子，保证结果可复现 net = patternnet(50); % 一个隐藏层，50 个神经元 net.trainParam.epochs = 1000; % 最多训练 1000 轮 net.trainParam.goal = 1e-3; % 误差目标 net.divideParam.trainRatio = 0.7; % 70% 训练 net.divideParam.valRatio = 0.15; % 15% 验证 net.divideParam.testRatio = 0.15; % 15% 测试 % 神经网络要求标签是 one-hot 形式，这里做一次转换 T = full(ind2vec(trainY' + 1)); % +1 是因为 ind2vec 从 1 开始索引 net = train(net, trainX', T); % 注意转置：网络要求列是样本 pred = net(testX'); [~, idx] = max(pred, [], 1); predLabel = idx' - 1; % 换回 0~9 acc = mean(predLabel == testY); fprintf('BP 网络正确率：%.2f%%\n', acc * 100); plotconfusion(ind2vec(testY' + 1), pred); % 画混淆矩阵

几个地方新手一定会踩。rng(0)是随机种子，不设的话每次训练结果都不一样，你会以为自己代码写错了。patternnet(50)里的 50 是隐藏层神经元个数，太少学不动，太多容易过拟合，50 到 200 之间先试。trainX'的转置不能漏——MATLAB 的神经网络工具箱默认每一列是一个样本，而你的特征矩阵是每一行一个样本，这个约定不一致是最高频的翻车点。ind2vec把类别标签转成 one-hot，也是格式要求。

跑完之后看什么？不只是正确率，还要看混淆矩阵。哪两个数字最容易被搞混，一眼就能看出来。手写数字里 4 和 9、3 和 8、1 和 7 经常混，这不是你的代码有问题，是它们本来就长得像。想改善，要么加样本，要么换特征，要么上更复杂的网络——资源里 RBF、概率神经网络、自组织竞争网络那几节，讲的就是不同场景下该换哪种。

最后提醒一句：神经网络不是万能的。样本只有几十个的时候，它的表现经常还不如 4.1 那个几十行的距离分类器。先用简单方法拿到基准，再决定要不要上重武器。

5. 新手最容易踩的坑：五个翻车现场和补救办法

5.1 数据和环境上的坑

坑一：路径报错，提示文件不存在。

现象是代码明明照着敲的，imread就是读不到文件。原因多半有两个：一是当前工作目录不在src下，相对路径自然找不到；二是路径里带了中文或者空格，某些函数处理不了。解决办法是用fullfile拼路径，别手工写斜杠；跑之前pwd看一眼当前目录对不对；实在不行先用绝对路径跑通，再改回相对路径。我自己的习惯是每个脚本开头写一句cd(fileparts(mfilename('fullpath')))，让脚本永远在自己的目录下运行。

坑二：图像是 uint8，一减就溢出。

现象是距离算出来全是正数，或者结果离谱到没法看。原因是 MATLAB 里uint8类型的数相减，负数会被截断成 0，255 加 1 会回到 0。解决办法是在做任何运算之前，先im2double转成浮点数。这条在图像处理里几乎是铁律，养成习惯：读进来第一件事就是转类型。

坑三：训练集和测试集混进了同一批样本。

现象是正确率高达 99%，高兴了半小时，换一批新样本立刻掉到 60%。原因是你把同一张图（或者同一张图轻微旋转、平移后的版本）既放进了训练集又放进了测试集，模型等于提前看过答案。解决办法是按「来源」划分而不是按「文件」划分——如果是同一个人写的多个数字，同一个人写的所有样本只能出现在训练集或者测试集其中一边。这个坑极隐蔽，很多论文里的虚高指标就是这么来的。

5.2 算法和参数上的坑

坑四：特征没归一化，某一维数值大就说了算。

现象是正确率怎么调都上不去，换个距离度量又突然好了。原因是不同特征的取值范围差别很大，比如某一维是 0 到 255，另一维是 0 到 1，算欧式距离时前者会完全压过后者。解决办法是在训练之前，对每一维做标准化：减去均值、除以标准差。注意，均值和标准差只能用训练集算，然后套用到测试集上，不能各算各的，否则又是一次信息泄漏。

坑五：神经网络每次跑出来结果都不一样。

现象是同一份代码，跑三次三个正确率，相差能有好几个点。原因有三个：没固定随机种子、学习率设得太大导致震荡、样本顺序被打乱后初始化不同。解决办法是先rng(0)，再把学习率往下调一个数量级试试，最后固定数据划分方式。如果这些做完还是波动很大，那说明你的样本量太小了，这时候该做的是加数据，而不是继续调参。

6. 接下来学什么：三个阶段，一条能自己往下走的路

跑通第一个例子之后，最怕的是「然后呢」。下面这条路线是我觉得对零基础最不容易走岔的。

第一阶段，把「特征」这件事吃透。回去重读第 2 章，重点看主成分分析那一节。它的作用是把你 784 维的特征压到几十维，还能保留大部分信息。你可以在自己跑通的手写数字数据上做个对比：784 维跑一次，降到 30 维再跑一次，看看正确率掉了多少、速度快了多少。这个实验做完，你对「维度」的直觉会完全不一样。

第二阶段，把分类器横向比一遍。同一批数据，同一套划分，分别用类中心距离、贝叶斯、BP 网络跑，把正确率和耗时记在一张表里：

这张表你自己填一遍，比看十篇文章都管用。填的过程中你会自然发现：为什么有的方法在这批数据上好、换一批就崩，这才是真正长本事的时刻。

第三阶段，换个问题练手。手写数字太干净了，你可以试试给它加噪声、做旋转，看看哪个方法最抗造。或者干脆换个场景，比如用同样的流程做简单的图形分类——圆形、三角形、方形，样本自己画。流程一点不用改，改的只是数据读取那几行。能迁移，才说明你真的学会了。

最后一个具体技巧：养成「先可视化再调参」的习惯。任何一次结果异常，第一件事是把出错的那几个样本显示出来看一眼，而不是盯着正确率数字瞎试参数。十次里有八次，问题就摆在那张图上。

我第一次带新人做这类项目的时候，图省事跳过了可视化这一步，直接盯着准确率来回调学习率，调了整整两天，最后把图一画才发现，有一整个类别的样本在读取时全被读成了空白——文件名大小写不一致，循环里悄悄跳过了。从那以后我每次跑新数据，都强制先随机抽九张图拼成一张小图看一遍，确认数据本身没毛病，再去碰算法。希望这个习惯能帮你少走两天弯路，也希望能帮到你顺利迈出第一步。

本文还有配套的精品资源，点击获取