HOG+SVM行人检测实战：从参数训练到硬负样本挖掘

简介：这份资源是一套基于OpenCV 2.4.4与VS2010环境训练SVM分类器、实现HOG行人检测的完整示例工程，适合正在学习目标检测、传统机器学习与OpenCV二次开发的初学者及研究者参考。包体内包含1个核心C++源码文件、可执行程序、VS工程配置文件，以及82个中间编译记录、2个调试符号文件和多种图片样本，共119个文件，压缩包约22.06MB，结构较为完整，基本覆盖训练与预测环节。正样本取自INRIA数据集中的96×160人体图片并裁剪为64×128，负样本从无人体图片中随机裁取，分类器采用OpenCV自带的CvSVM类完成训练，读者可直接对照模型输出图片与日志检查训练效果。已有409人浏览学习。通过源码、编译产物与样本组织方式，可以快速了解HOG特征提取、SVM训练参数配置、正负样本预处理及工程环境配置要点，对于入门行人检测或复现经典检测流程具有实用价值。

1. 训练SVM分类器进行HOG行人检测：为什么这个组合至今仍是性价比很高的起点

训练SVM分类器进行HOG行人检测，这个组合听起来带着十年前教科书的味道，但在实际项目里，它仍是性价比很高的起点：HOG把人形窗口编码成方向梯度直方图，SVM分类器在这个高维特征上画出一条“是行人/不是行人”的分界线，拼起来就是一个不依赖GPU、单帧CPU代价很低、每一步都可解释的检测器。固定机位的人流计数、区域入侵预判，甚至给深度学习模型做前置粗筛，都常拿它做基线。刚接触检测算法、手里只有CPU机器的人，也能用它在两三个晚上跑通“特征+分类器”的完整流程。下面我就把HOG参数、SVM训练和部署检测的链路拆开，顺带记几个值得留意的坑。

2. 先拆HOG：方向直方图为什么能把“人形”变成向量

HOG（Histogram of Oriented Gradients）的特征思想一句话就能说完：图像上某一点的梯度方向和幅值，代表了局部轮廓的形状；把相邻方向统计成直方图，就得到一块能描述“外形”的向量。对行人来说，头部、肩部、四肢边缘的梯度方向相对稳定，HOG把这些稳定信号累积起来，SVM再根据这个统计分布做判断。为什么它不吃颜色？因为HOG在灰度图上算梯度，色彩噪声的干扰远小于对形状的描述力，这决定了它适合监控视频这种亮度噪声大的场景。

2.1 HOG参数原型：winSize/blockSize/cellSize/nbins 怎么配合才不打架

OpenCV 的 HOGDescriptor 构造参数有四个维度：检测窗口 winSize、块 blockSize、块步长 blockStride、细胞单元 cellSize，外加一个方向直方图 bin 数 nbins。这组参数不是随便填的，它们之间是严格的整除和覆盖关系。经典行人检测配置如下表：

这组参数算出来的特征维度是固定的：横向块数 (64-16)/8+1=7，纵向块数 (128-16)/8+1=15，共 105 个块；每块有 4 个 cell，每个 cell 9 个 bin，总维度就是 105×4×9=3780。OpenCV 默认的 getDefaultPeopleDetector() 返回的检测子长度是 3781，正是这个维度的权重向量加一个偏置。你换一个 cellSize=4，维度立刻翻四倍到 15120，SVM 的训练和检测耗时都会明显上涨，所以不要盲目求细。

调整逻辑也很直接：如果你的摄像头是俯视角度而不是平视，行人宽高比会变，winSize 改成 (48, 96) 或 (64, 96) 更合适；如果检测目标是骑行的人或车辆，signed 梯度配合更大的 nbins 才有意义。我的习惯是先固定 winSize，再改 cellSize，最后动 blockSize，因为 blockSize 直接影响记忆体内存对齐和计算效率，非必要不动它。

2.2 方向梯度有符号与无符号、归一化方式对检测率的影响

OpenCV 默认用 unsigned 梯度，也就是把 0-180 度分成 9 个 bin；但 OpenCV 的 HOG 实现里也允许构造带 signed 参数的模式，把 0-360 度分成 18 个 bin。行人检测的经验是 unsigned 更好用：行人正对或背对摄像头时，躯干的左右边缘梯度朝向变化不大，signed 反而把方向信息拆得太细，让同类样本在特征空间的分布更散。换到车辆、自行车这类有明确朝向刚性结构的目标，signed 效果会更好，这也是为什么很多车辆检测采用 18 bin。

归一化是整个 HOG 里最容易被低估的一环。每个 block 会把 4 个 cell 的 36 维直方图拼成一个长向量，再做 L2 范数归一化，OpenCV 内部用的是 L2-Hys，本质是限制向量范数并做截断。这一步让特征对光照变化和局部对比度有很强的抵抗能力。但要注意，OpenCV 的 hog.compute 不会替你做 gamma 校正，如果输入图像的光照分布不均，我一般会在计算前先做一次 gamma 校正，gamma 取 0.5，把过暗区域的梯度响应提起来。这属于预处理习惯，不算 HOG 参数本身，但和参数一样影响最终分布。

2.3 HOG 和线性 SVM：为什么高维特征下核函数不太需要折腾

HOG 特征维度动辄几千，而二分类行人的有效信息密度并不低。在这种高维输入下，线性 SVM 的假设空间已经足够表达“行人/非行人”的分界；RBF 核把特征映射到更高维空间，收益边际很弱，却放大了对训练集的过拟合。就像在 optdigits 手写数字分类任务里，SVM 核函数与参数的影响研究经常需要对比 RBF 与多项式核，那是因为像素向量维度低、样本分布稀疏，核函数能补足线性不可分；而 HOG 特征本身就是人工构造的强特征，线性的分界已经够用了。所以 OpenCV 的 HOGDescriptor 从设计上就只支持线性检测子，setSVMDetector只接收一个权重向量加偏置。

3. 训练SVM分类器：从样本集到可部署检测子的完整流程

3.1 正负样本组织与特征提取：先统一窗口，再谈训练

正样本的裁剪原则只有一个：行人完整、基本居中、四周留一点空白。公开数据集的做法通常是直接统一 resize 到 64×128，但真实项目里你的摄像头是俯视还是水平视角，决定了外扩比例。我一般会在原始标注框上外扩 5%-10%，避免把头顶或鞋跟切在窗口边缘。负样本则相反，一定要来自“不含行人”的场景图，随机裁剪出同样大小的 patch，不要直接把整张负样本压缩成 64×128，那样负样本的尺度分布完全失真，SVM 学不到真实的负样本形态。

import cv2 import numpy as np import glob WIN_SIZE = (64, 128) BLOCK_SIZE = (16, 16) BLOCK_STRIDE = (8, 8) CELL_SIZE = (8, 8) NBINS = 9 hog = cv2.HOGDescriptor(WIN_SIZE, BLOCK_SIZE, BLOCK_STRIDE, CELL_SIZE, NBINS) def extract_feature(image_path): img = cv2.imread(image_path) img = cv2.resize(img, WIN_SIZE) # 统一到检测窗口尺寸 img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) img = np.power(img / 255.0, 0.5) * 255.0 # gamma校正，增强暗部梯度 img = img.astype(np.uint8) return hog.compute(img).reshape(-1)

这段代码做了三件事：把任意尺寸的样本统一到 64×128，这是后面维度对齐的基础；转灰度去掉颜色干扰；gamma 校正在光照变化大的场景里能明显改善特征分布的一致性。hog.compute返回的是一个单列向量，维度就是 3780，reshape(-1)是为了方便拼成训练矩阵。注意这里用了astype(np.uint8)，OpenCV 的 HOG 对输入格式有要求，浮点图传入会报错或产生不可预期的结果。

负样本的随机裁剪我通常额外加一步：保证 patch 与 patch 之间不要重叠太多，否则训练集里会出现大量高度相似的样本，让 SVM 对冗余方向过度自信。样本总量方面，正样本几百张、负样本一两千张就能训出一个能看的模型，后续靠硬负样本挖掘继续补。

3.2 线性SVM训练：C值、类别权重和交叉验证

训练阶段我直接使用 sklearn 的 SVC，它底层封装了 libsvm，线性核下可以很方便地取出权重向量和偏置。这里不要用probability=True，因为开启后内部做了 Platt 缩放，coef_不再是线性决策函数的原始系数，后面没法直接裁剪给 OpenCV 用。

from sklearn.svm import SVC from sklearn.model_selection import cross_val_score X = np.load("features.npy") # 形状 (N, 3780) y = np.load("labels.npy") # 形状 (N,)，正样本1负样本0 clf = SVC( kernel='linear', C=0.01, class_weight='balanced' ) scores = cross_val_score(clf, X, y, cv=5) print("5折交叉验证准确率: %.4f" % scores.mean()) clf.fit(X, y) w = clf.coef_.ravel() # 线性核下就是特征权重向量 b = clf.intercept_.ravel()[0] # 偏置项

C 值是 SVM 的误分类惩罚系数，C 越大越强调把每个训练样本都分对，但容易过拟合；C 越小间隔越宽，泛化好但容易欠拟合。在 HOG 行人检测上，我一般从 C=0.01 起步，后面用网格搜索微调。class_weight='balanced'会根据正负样本数量自动调整权重，负样本远多于正样本时，这一项能防止模型把所有样本都判成负类。

3.3 裁剪SVM模型：把决策函数变成 OpenCV 能吃的检测子

sklearn 的线性 SVC 决策函数是w·x + b，而 OpenCV 的setSVMDetector期望的正是“维度个权重 + 1 个偏置”拼接在一起。这一步是很多新手翻车的地方：要么忘了拼偏置，要么维度对不上直接抛异常。

detector = np.append(w, b).astype(np.float32) hog.setSVMDetector(detector)

拼接后检测子长度应为 3781。这里astype(np.float32)必不可少，OpenCV 内部按 float32 解析检测子，你如果直接传 float64，轻则精度损失，重则读取越界。为什么 OpenCV 存的是权重而不是支持向量？因为线性 SVM 的决策面完全由w和b表达，不需要保留训练样本，部署时一次内积运算就能出结果，这也是 HOG+SVM 适合 CPU 实时检测的根本原因。

3.4 第一轮整图检测：你会看到一堆误检，这很正常

模型刚训练出来，直接在整图上滑窗检测，效果通常不会太好。detectMultiScale会把检测窗口按照scale逐层缩放，在每一层图像上做滑窗，最后合并重复框。

rects, weights = hog.detectMultiScale( img, # BGR图像 hitThreshold=0.0, # 决策值阈值 winStride=(8, 8), # 滑窗步长 padding=(8, 8), # 边缘填充 scale=1.05, # 金字塔缩放系数 finalThreshold=2.0 # 合并框的阈值 )

hitThreshold=0.0表示以训练时的决策边界 0 为分界，大于 0 判行人。如果想提高召回，可以调成-0.2或-0.5，代价是误检增多。scale是精度和耗时的天平：1.05 比 1.1 检测得准，但耗时几乎翻倍。finalThreshold=2.0是 OpenCV 默认的合并阈值，官方文档解释得不清楚，实际它控制的是同一目标多个框叠在一起时的合并激进程度，数值越大保留的框越少。第一轮验证时，别急着调这些阈值，先跑一批真实场景图看看误检集中在哪。

4. 用硬负样本挖掘压出检测率：三轮迭代的血泪经验

4.1 为什么一轮训练必翻车：负样本难度是有梯度的

直接拿随机裁剪的负样本训练完，第一轮检测一定是误检满天飞。这不是代码问题，是负样本难度问题：随机裁剪得到的 patch 大多是墙壁、草地、天空这类“容易”的负样本，模型只需要区分“光滑区域”和“行人轮廓”；但真实场景里，树干、栏杆、路灯、甚至远处的人群密集区，纹理复杂度接近行人，模型从没见过这些难例，自然全判成正类。负样本的难度不是均匀分布，而是金字塔形的，越往塔尖越接近行人，越需要专门采回来喂给模型。

这就是硬负样本挖掘（Hard Negative Mining）存在的意义：用当前模型在无行人场景上做检测，所有检出框都是误检，也恰好是当前模型最“困惑”的样本。把这些误检裁下来补进负样本集，重新训练，模型下一次就会少犯这类错。

4.2 滑窗找误检再回灌：难例挖掘的标准循环

def collect_hard_negatives(hog, scene_paths, max_count=2000): hard_neg = [] for path in scene_paths: img = cv2.imread(path) rects, _ = hog.detectMultiScale( img, hitThreshold=0.0, winStride=(8, 8), scale=1.05 ) for (x, y, w, h) in rects: patch = img[y:y+h, x:x+w] patch = cv2.resize(patch, WIN_SIZE) hard_neg.append(patch) if len(hard_neg) >= max_count: return hard_neg return hard_neg

hitThreshold=0.0收集所有被误判为行人的框。这里不要用负数阈值，否则一次能收几千个负样本，其中大部分是“擦边”的困难样本，反而让模型在下一轮过度保守。收集到的 hard_neg 我是保留的，做法是每次挖掘后把新旧负样本合并重新训练，而不是丢弃上一轮的数据，防止模型“遗忘”已经学过的负样本模式。三轮之后，误检率通常会有肉眼可见的下降：第一轮可能一张图十几个误检，第二轮三五个，第三轮基本只剩树影和反光这类硬骨头。

4.3 验证集与指标：别只盯准确率，要看漏检和误检的权衡

训练迭代过程中需要一套固定验证集，最好就是真实项目场景里标注好的帧。指标不要只看准确率，行人检测场景里漏检和误检的代价完全不同。常用指标如下：

我习惯固定 hitThreshold，在验证集上算 miss rate 和 FPPI，而不是调阈值去刷单个值。刷精度很容易：把阈值调高，误检少了但漏检也多了；真正要解决的是负样本覆盖度，硬负样本挖掘就是干这个的。验证集里还应该包含不同时段、不同曝光、不同拥挤程度的帧，只拿白天光线好的视频做验证，模型到夜间必然翻车。

5. 常见问题与避坑：HOG+SVM训练里容易踩的五个坑

5.1 坑一：特征维度和detector长度对不上，检测直接报错

现象：hog.setSVMDetector(detector)抛出 assertion failed，程序直接挂掉。原因：训练时用的 HOG 参数和检测时不一样，比如训练时 winSize 是 (48, 96)，检测时却新建了一个 (64, 128) 的 HOG，特征维度一个 2100 多、一个 3780，当然对不上。解决：把 HOG 参数定义成全局常量，训练、裁剪、检测共用一份，不要在两处分别手工写数值。我遇到过最隐蔽的版本是别人把参数写在配置文件里，改了一个没改另一个，排查了半小时才定位到。

5.2 坑二：C值太小导致支持向量数量爆炸，训练慢到怀疑人生

现象：C 设成 0.0001，sklearn 训练几分钟不出结果，模型文件也特别大。原因：C 越小，SVM 越倾向最大化间隔而不是减少误分类，结果就是大量靠近边界的样本都变成了支持向量。在 sklearn 里虽然 SVC 求解用的是优化算法，支持向量太多时迭代也会变慢；裁剪成 OpenCV 检测子后虽然不显式存支持向量，但 w 的估计也会受支持向量分布影响，模型变得不稳定。解决：从 C=0.01 起步，配合交叉验证在 0.001 到 1.0 之间网格搜索，不要为了追求大间隔把 C 压到极端。

5.3 坑三：正样本没有留padding，检测框贴边导致漏检

现象：单张正样本检测得很好，但行人在画面里稍微抬个手或迈一步就漏检。原因：正样本裁剪时按标注框严丝合缝地切，行人的头顶、脚尖正好落在窗口边缘，HOG 在边缘处的梯度被截断，SVM 学到的特征是“完整的裁剪边框里的半边人体”，而不是完整人体。解决：裁剪时在标注框四周外扩 10% 左右，或者用cv2.copyMakeBorder做镜像填充，让行人在窗口里真正“站得住”。INRIA 数据集的正样本就是这种带留白的风格，照这个习惯处理自己的样本。

5.4 坑四：负样本采样方式不对，新场景误检率飙升

现象：训练集里负样本全是树和草地，测试时对空调外机、电线杆狂误检。原因：负样本来源太单一，或者采样方式是“把整张图缩成 64×128”，这样负样本的物体永远在画面中心，SVM 学成的其实是“中心有物体=行人”的映射。解决：从大图上随机裁剪 patch，并且让 patch 的尺度分布覆盖真实场景——行人可能出现在画面任意位置、任意大小。同时把不同季节、不同时段、不同相机品牌的空镜头都塞进负样本池，这一步比调任何参数都有效。

5.5 坑五：非线性核的“黑匣子”效应：RBF核训练准、部署毁

现象：换成 RBF 核后训练集准确率 99%，验证集一测漏检误检全崩，还找不到原因。原因：RBF 核在手写数字分类这类低维任务里确实能提升表现，因为像素特征维度低、线性不可分；但 HOG 特征已经 3780 维，RBF 把样本映射到更复杂的空间，模型对训练集拟合过头，对场景变化毫无泛化能力；更麻烦的是非线性核没有coef_，无法直接喂给 OpenCV 的 HOGDescriptor，检测时只能逐窗口调clf.predict，一个 4K 画面慢到不可用。解决： HOG+SVM 组合老老实实用线性核，把精力放在负样本和 C 值上，别在核函数上白费功夫。

6. 进阶：用C值网格搜索和阈值调整把检测器推向INRIA头部水平

最后一环是把训练好的模型调到一个可用的平衡点。我一般会在固定的验证集上做 C 值网格搜索，每次训练后把检测子部署到同一套 HOG 配置里，用 miss rate 或 FPPI 选最佳 C，而不是只看训练集准确率。这个流程和手写数字分类里研究 SVM 核函数与参数影响的方法论一致：参数好不好，要在验证集上让决策结果说话。

best_C, best_score = 0.01, 1.0 for C in [0.001, 0.005, 0.01, 0.05, 0.1]: clf = SVC(kernel='linear', C=C, class_weight='balanced') clf.fit(X_train, y_train) detector = np.append(clf.coef_.ravel(), clf.intercept_).astype(np.float32) hog.setSVMDetector(detector) miss_rate, fppi = evaluate_on_val(hog, val_images, val_labels) score = miss_rate + 0.1 * fppi # 自己拍的权重 if score < best_score: best_score, best_C = score, C

evaluate_on_val需要自己实现，核心是遍历验证帧、跑detectMultiScale、和标注做 IoU 匹配。这里提醒一句：验证集不要参与训练，否则你调出来的 C 只是对验证集过拟合。

阈值调整上，我的习惯是固定 C 之后，再调hitThreshold和 NMS 的融合方式。OpenCV 的finalThreshold语义比较绕，我更信任自己在框合并之后做一次标准 NMS，IoU 阈值取 0.35。hitThreshold从 0 往下调能提高召回，但每降低 0.1，FPPI 可能涨一倍，所以它适合和硬负样本挖掘配合使用。多尺度检测的scale在固定机位场景设 1.05，预警场景设 1.1；输入分辨率超过 2000 像素时，先降采样再检测，能省掉一半以上算力。

两年前我第一版行人检测器在火车站客流统计里翻车，漏检率接近三成，后来逐一排查发现正样本贴边、负样本单一、C 值没调三个问题叠加。第一次做硬负样本挖掘时，三轮下来误检从每帧十几个降到两三个，那种感觉是参数调多少次都给不了的。现在的习惯是：每收集一批新场景数据，先当作负样本跑一轮挖掘，再谈其他调优。这套方案的维护逻辑很简单——哪里误检了，就把误检图丢进负样本集重训；哪里漏检了，就先看标注和 padding。希望帮到你。

本文还有配套的精品资源，点击获取