简介：面向计算机视觉初学者与OpenCV C++开发者，这份资源以“正方形/四边形检测与透视校正”为线索，串联起图像灰度化、阈值分割、边缘检测、轮廓提取、霍夫变换、特征提取与形状识别等经典流程，适合用来快速掌握图像处理从算法到代码实现的全链路。压缩包共12个文件，体积仅951KB，包含一份可直接编译的C++源码工程，随附构建脚本、多张测试原图与输出图、README说明文档与附赠PDF；其中构建脚本可帮助读者快速复现OpenCV环境，测试图片则方便逐张对比阈值、轮廓近似等参数变化对检测效果的影响。目前已有247人学习下载。通过阅读代码和对比输出图片中不同的检测结果，读者可以直观理解形状识别中从边缘检测到轮廓提取的完整逻辑，还能将正方形检测与透视变换模块迁移到文档拍照校正、感兴趣区域提取等实际任务中，是一份代码精简、便于动手复现的OpenCV实践资料。
1. 一个 OpenCV+C++ 图像处理项目包的核心链路：正方形检测与透视校正到底在解决什么
手机拍过的合同、名片、屏幕照片，几乎没有一张是端端正正的。计算机视觉项目里很常见的一步，是把画面中某个矩形区域找出来，再把它“掰正”，交给 OCR 或者图像识别模型。标题里这个 OpenCV+C++ 图像处理项目包，做的就是这条链路：灰度化、Canny 边缘检测、轮廓提取、四边形判定、透视变换、图像校正。整个过程跑在 CPU 上，单帧几毫秒到几十毫秒，不需要标注数据，也不需要训练环境——这恰恰是很多生产级视觉任务里比深度学习更省事的第一选择。适合做 OCR 前对齐、文档扫描、工业定位的人参考。理解正方形检测，也就理解了阈值、图像分割、特征提取和霍夫变换这些基础算子是怎么串成一个可用方案的。
2. 预处理是成败的一半：灰度化、去噪和 Canny 阈值怎么定
2.1 灰度化和去噪为什么放在最前面
颜色信息对四边形检测通常没有帮助。你要找的是“边缘在哪”，不是“颜色是谁”。彩色图转灰度，一方面把 RGB 三个通道压缩成一个通道，后面 Canny、轮廓提取的计算量直接降到三分之一；另一方面，彩色图的阴影、反光会以不同通道差异的形式制造出大量伪边缘，灰度化反而能把这些干扰抹掉一部分。
去噪用高斯滤波，核大小我一般从 3×3 开始试。核越小，边缘保留越完整，但 JPEG 压缩噪声、传感器噪点也会一起留下来，Canny 出来的图会密密麻麻全是短线。核加大到 5×5，边缘定位会往外偏几个像素，对矩形检测影响不大，但对亚像素角点提取有影响。所以原则是：图像本来干净，用 3×3；图像有明显颗粒感，换 5×5；不要一上来就上 7×7，边缘会糊成一团，透视校正之后四边发虚。
2.2 Canny 边缘检测：低阈值和高阈值按什么比例调
Canny 的调参可以说是整个项目里最像玄学的一步，但底层的逻辑并不复杂：低阈值决定一条边缘能不能被保留，高阈值决定这条边缘算不算强边缘。OpenCV 默认写法是Canny(blurred, edges, 50, 150)，低高阈值比例 1:3，这是多数场景的起点。
#include <opencv2/opencv.hpp> #include <iostream> using namespace cv; using namespace std; int main(int argc, char** argv) { Mat src = imread(argv[1], IMREAD_COLOR); if (src.empty()) { cerr << "读取图片失败: " << argv[1] << endl; return -1; } Mat gray, blurred, edges; cvtColor(src, gray, COLOR_BGR2GRAY); GaussianBlur(gray, blurred, Size(3, 3), 0); Canny(blurred, edges, 50, 150); imshow("edges", edges); waitKey(0); return 0; }这段代码跑起来之后，看 edges 图就知道下一步怎么调。如果目标矩形轮廓断成一截一截，优先把低阈值往下压，比如 50 降到 30，边缘连续性会明显改善；如果背景纹理也被当成边缘保留下来，高阈值往上抬，150 抬到 220 左右。两个阈值不是随便填的，低阈值过高会漏检，高阈值过低会过检，比例保持在 1:2 到 1:3 之间比较符合 Canny 的设计用法。
2.3 阈值分割：OTSU 和自适应阈值的适用场景
边缘检测不是唯一的预处理出口。光照均匀的场景，直接用阈值二值化往往比 Canny 更干净，尤其是浅色背景、深色字体的文档图像。OTSU 全图只算一个阈值，光照均匀时效果很好；光照从左到右渐变时，OTSU 会把暗部区域的边缘直接砍掉，这时候要换成自适应阈值。
Mat binary, adaptive; threshold(gray, binary, 0, 255, THRESH_BINARY | THRESH_OTSU); adaptiveThreshold(gray, adaptive, 255, ADAPTIVE_THRESH_MEAN_C, THRESH_BINARY, 15, 3);OTSU 的第三个参数传 0 是因为真正阈值由算法自己算。自适应阈值的 blockSize 取 15 的奇数，含义是每个像素参考周边 15×15 邻域的平均亮度，C 取 3 表示均值基础上再减 3 作为阈值。blockSize 太大会退化成近似 OTSU，失去局部适应能力；太小则边缘附近噪声全变成黑白颗粒。阈值二值化其实就是最朴素的图像分割——把前景和背景分开。固定场景下这个词听起来高级，实际一个 threshold 就能解决，这也是我拿到项目先不急着上深度学习的原因之一。
2.4 形态学闭运算：把断裂的矩形边缘接回去
预处理阶段还有一步常见的收尾：闭运算。Canny 输出边缘之后，理想情况是四条完整直线，现实中因为光照和噪点，总有一两个缺口。用MORPH_CLOSE先膨胀后腐蚀，能把小缺口填上，同时保持边缘整体位置不变。
Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3)); morphologyEx(edges, edges, MORPH_CLOSE, kernel);核大小建议从 3×3 开始。核太小补不上缺口，核太大可能把矩形两条平行的边焊到一起，轮廓逼近时形状就失真了。如果闭运算之后边缘还是断的，这时候不要继续加大核，回头降 Canny 低阈值更有效。这个顺序我自己的经验是：先调 Canny，再用小核闭运算，两条路配合，而不是单靠加大核硬补。
3. 轮廓提取与四边形判定：findContours 和 approxPolyDP 才是主角
3.1 findContours 两种提取模式的取舍
边缘图准备好之后，下一步是找轮廓。OpenCV 的findContours参数里，最容易踩坑的是提取模式。RETR_EXTERNAL只取最外层轮廓，适合目标本身是独立前景块的情况；RETR_TREE会输出完整层级关系，适合目标内部还嵌套其他图形的情况。
vector<vector<Point>> contours; vector<Vec4i> hierarchy; findContours(edges, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE); findContours(edges, contours, hierarchy, RETR_TREE, CHAIN_APPROX_SIMPLE);注意 OpenCV 3 之后的 C++ 接口，轮廓输出放在第二个参数，提取模式放第三个。第一行代码里hierarchy被省略，说明调用者不需要层级信息。CHAIN_APPROX_SIMPLE只保留线段端点，比如矩形就只存四个点，内存占用小，也方便后续直接用点距离算边长。如果轮廓是圆弧或者不规则曲线，才考虑用CHAIN_APPROX_NONE，那个模式会把轮廓上每个像素都存下来。检测正方形和四边形，SIMPLE 足够了。
3.2 approxPolyDP 的 epsilon 才是形状识别的核心
轮廓是一堆像素点，形状识别要做的事，是判断这堆点能近似成几条边。approxPolyDP把轮廓拟合成折线，它有一个关键参数 epsilon，表示拟合允许的最大偏差。epsilon 太大，矩形会被压成三角形；epsilon 太小，一条边上的细微毛刺会被当成一个独立顶点，矩形变成五边形六边形。代码里的惯用写法是取轮廓周长的比例。
for (const auto& c : contours) { double area = contourArea(c); if (area < 1000.0) continue; double peri = arcLength(c, true); vector<Point> approx; approxPolyDP(c, approx, 0.02 * peri, true); if (approx.size() == 4) { cout << "候选四边形: " << approx << endl; } }0.02 这个系数怎么理解：它把“允许误差”和“轮廓尺寸”绑定在一起，小图和大图用同一个比例，也能保持同样的拟合效果。如果检测到的矩形变成了五边形六边形，把 0.02 提到 0.03 或 0.04；如果轮廓被压成三角形，说明系数大了，往回降到 0.015。拟合结果不等于最终结果，approx.size() == 4只是候选，还要过下一轮筛选。
3.3 正方形/四边形筛选条件：面积、凸性、长宽比
找到四个顶点只能说明轮廓近似成四边形，不代表它就是你要找的目标。画面里的窗户、矩形招牌、书本都可能混进来，这一步过滤条件按业务需求收紧。
double maxSide = 0, minSide = 1e9; for (int i = 0; i < 4; ++i) { double side = norm(approx[i] - approx[(i + 1) % 4]); maxSide = max(maxSide, side); minSide = min(minSide, side); } if (!isContourConvex(approx)) continue; if (minSide < 20.0) continue; if (maxSide / minSide > 5.0) continue;isContourConvex排除凹四边形，目标物体如果是文档、名片、屏幕，外轮廓一定是凸的。minSide < 20过滤掉面积小但顶点数恰好是 4 的噪声颗粒。maxSide / minSide控制长条形。如果要检测正方形，这个比例可以收到 1.2 到 1.5；项目标题里同时写了正方形和四边形，说明定位更宽容，放宽到 5 比较合理。实际业务中还可以加中心点位置过滤，比如只取图像中下部区域，能挡掉天花板墙角线的干扰。
3.4 霍夫变换是备选路径：什么时候用 HoughLinesP 而不是轮廓逼近
轮廓逼近依赖边缘连续闭合。矩形在画面里被手指、水印或者其他物体挡住时，轮廓断成几段，approxPolyDP就会失败。这时候霍夫直线特征提取能救回来。HoughLinesP检测的是直线段，不是整个轮廓。
vector<Vec4i> lines; Mat roi = edges(Rect(0, 0, edges.cols / 2, edges.rows / 2)).clone(); HoughLinesP(roi, lines, 1, CV_PI / 180, 80, 30, 10);参数含义：1是距离分辨率（像素），CV_PI / 180是角度分辨率（1 度），80是投票阈值，线段上的点数超过 80 才被接受，30是最小线段长度，10是像素间隙，允许同一直线上两段断开的线段合并。这套参数的缺点是投票阈值对图像尺寸敏感，且全图跑比轮廓慢不少。我一般先对检测区域做 ROI，再跑霍夫；得到多条线段后按斜率聚类，属于同一方向的长边合并，相邻两条长边求交点。注意霍夫交点和 Canny 角点的坐标不一定完全重合，通常做法是取两者加权平均，再用cornerSubPix做亚像素细化。
4. 透视变换与图像校正：角点排序和输出尺寸的双重陷阱
4.1 像素坐标下的四个角点排序
拿到四个顶点之后，做透视变换之前必须按“左上、右上、右下、左下”排序。顺序错了，校正图会左右颠倒或者上下翻转。最常见的排序方法是按坐标和与坐标差。
vector<Point2f> orderQuadCorners(const vector<Point>& quad) { double sum[4], diff[4]; for (int i = 0; i < 4; ++i) { sum[i] = quad[i].x + quad[i].y; diff[i] = quad[i].x - quad[i].y; } int idxSumMin = 0, idxSumMax = 0; int idxDiffMin = 0, idxDiffMax = 0; for (int i = 1; i < 4; ++i) { if (sum[i] < sum[idxSumMin]) idxSumMin = i; if (sum[i] > sum[idxSumMax]) idxSumMax = i; if (diff[i] < diff[idxDiffMin]) idxDiffMin = i; if (diff[i] > diff[idxDiffMax]) idxDiffMax = i; } Point2f tl = quad[idxSumMin]; Point2f br = quad[idxSumMax]; Point2f tr = quad[idxDiffMax]; Point2f bl = quad[idxDiffMin]; return {tl, tr, br, bl}; }在图像坐标系里，x 向右增大，y 向下增大，所以左上角是整个四边形里 x+y 最小的点，右下角是 x+y 最大的点；右上角是 x-y 最大的点，左下角是 x-y 最小的点。这个方法对近似矩形的凸四边形有效，但矩形旋转超过 45 度或者透视特别夸张时，极值索引会指向错误的顶点。遇到这种情况，加一道校验：矩形拓扑中tl到br必须是对角线，距离应该明显大于相邻边。如果排序结果不满足，就在四组排列里枚举，选对角线最合理的那一组。
4.2 getPerspectiveTransform 和 warpPerspective 的目标尺寸
排序完成后的核心步骤是求单应矩阵，再执行映射。这里最容易犯的错误是目标尺寸不按比例来，导致校正后的图像被拉伸。
vector<Point2f> srcQuad = orderQuadCorners(approx); double w1 = norm(srcQuad[1] - srcQuad[0]); // 上边 double w2 = norm(srcQuad[2] - srcQuad[3]); // 下边 double h1 = norm(srcQuad[3] - srcQuad[0]); // 左边 double h2 = norm(srcQuad[1] - srcQuad[2]); // 右边 double width = max(w1, w2); double height = max(h1, h2); width = max(width, 1.0); height = max(height, 1.0); vector<Point2f> dstQuad = { Point2f(0, 0), Point2f(width - 1, 0), Point2f(width - 1, height - 1), Point2f(0, height - 1) }; Mat H = getPerspectiveTransform(srcQuad, dstQuad); Mat corrected; warpPerspective(src, corrected, H, Size(width, height), INTER_CUBIC);目标坐标用“宽度减一”是为了避免放大的矩形在边缘多出 1 像素的半透明线。取 max 而不是平均，是因为透视会把近处边长放大、远处边长缩小，平均结果会丢信息。如果不知道目标的物理尺寸，这是最可靠的做法。如果已知目标是身份证、A4 纸或者某种固定尺寸卡片，直接按物理比例设定输出宽高，比如 A4 就固定输出 297:210 的分辨率，这能避免近大远小导致的视觉变形。插值方式上，缩小用INTER_AREA，放大用INTER_CUBIC，一般实时预览用INTER_LINEAR就够。这里的透视变换模型本身来自计算机图形学里的单应映射，和其他图像变形算法最关键的差别是它保证直线映射后仍是直线。
4.3 特征提取的边界：角点、直线特征与深度学习的分工
项目标题里机器学习和深度学习是单独列出来的，但在传统四边形检测这条链路上，特征提取指的是边缘、拐点、直线这些底层几何特征。它们的好处是快、可解释、不吃训练数据，坏处是依赖场景可控。背景杂乱、目标被遮挡、光照剧烈变化时，Canny 加轮廓的方案会反复翻车，这时候再调参就是浪费人力。
我的判断标准：如果 100 张图里 95 张的背景是相对干净的室内环境，传统方案是首选；如果目标经常被其他物体压住，或者要求泛化到完全未知的场景，才考虑用深度学习语义分割模型先把目标区域抠出来，再把这个包里的轮廓提取和透视变换作为后处理。这种组合在实际项目里很常见——深度学习负责“哪里是目标”，OpenCV 负责“怎么把目标摆正”。反过来，如果任务只是检测一两个固定位置的正方形标定板，上深度学习就是拿大炮打蚊子，训练样本都不一定凑得齐。
5. 正方形检测避坑清单：边缘断裂、边框误判与顶点翻转的排查
5.1 背景是白色，整个图像被当成一个大四边形
现象：校正输出要么全黑，要么把整张原图缩成一团。
原因：Canny 提取出的边缘中包含图像边界，findContours把整幅图像当作一个外轮廓，面积过滤没拦住。这类轮廓面积接近图像总面积，比目标四边形大一个数量级。
解决：加面积占比过滤，contourArea(c) < 0.9 * src.total()的直接跳过；更彻底的做法是先对图像做边界裁剪，去掉四周 10 像素的边框，从源头排除图像边缘参与检测。
5.2 轮廓被拟合成五边形、六边形，四边形漏检
现象：同一张矩形卡片，换了一张图就检测不到，或者矩形变成了多边形。
原因：approxPolyDP的 epsilon 太小，一条边的毛刺被当成独立顶点；也可能是 JPEG 压缩带来的块效应让边缘出现锯齿。
解决：先用闭运算连接边缘和磨平毛刺，把 epsilon 从 0.02 提高到 0.04。如果目标是矩形而不是任意四边形，更直接的办法是跳过approxPolyDP，用minAreaRect求最小外接旋转矩形，再按宽高比过滤。这个 API 不管边缘多毛糙，永远输出一个矩形，牺牲一点角点定位精度换稳定性。
5.3 角点顺序乱导致校正图左右颠倒或上下翻转
现象：warp 出来的图是镜像，或者图里被斜切了一半。
原因：x+y 和 x-y 排序对这组顶点不成立，常见于目标在画面里旋转角度大、或者四边形本身不是标准的锐角矩形。
解决：排序后加对角线校验。对应角点之间的距离必须构成两组对角线，且每条对角线大于任一条边。
bool orderValid = (norm(tl - br) > norm(tl - tr)) && (norm(tr - bl) > norm(tr - tl));这个校验不通过时，不要继续往下走，枚举四组排列，选对角线长度关系最符合矩形拓扑的那一组。这一步做对了，后面透视变换才不会出翻转问题。
5.4 校正后长宽比失真
现象：正方形卡片，输出变成宽扁的长方形。
原因：直接用目标在图像上的边长比作为校正图的宽高比。透视造成了近大远小，近处的边在像素上更长，边长比不是物理比例。
解决：已知物理尺寸就按物理比例固定输出。身份证、A4、标准名片都有明确比例，按比例放大到合适分辨率即可。未知物理尺寸时，用多点标定先求相机畸变和位姿，再决定输出宽高。项目中最简单的克制做法就是别用动态边长比，宁可统一设一个默认宽高，让测量类场景自己调整。
5.5 角点不在真正的交点上，校正图边缘发虚
现象：warp 之后四边出现锯齿，或者边缘有半透明过渡。
原因：Canny 角点定位到像素级，偏差约 0.5 像素，校正时若做了放大，这个误差被放大成几个像素的虚边。
解决：用cornerSubPix做亚像素细化。
TermCriteria criteria(TermCriteria::EPS | TermCriteria::MAX_ITER, 30, 0.01); cornerSubPix(gray, corners, Size(5, 5), Size(-1, -1), criteria);第一个Size(5,5)是搜索窗口，第二个Size(-1,-1)表示窗口内没有区域被排除。迭代 30 次、精度 0.01，通常几轮就能收敛。注意输入必须是单通道gray，不能传二值图，否则亚像素拟合没有灰度梯度可依据。这个坑我踩过两次，每次都以为自己拿到了精确角点，其实只是二值化边缘的交叉点，校正图放大之后边缘依旧发虚。
6. 验证校正结果：用角点重投影误差打分，而不是靠眼睛
6.1 重投影误差的计算方式
眼睛判断校正质量在少量图上可行，批量调参时不可靠。重投影误差是一个像素级指标：把校正图的目标角点坐标，通过单应矩阵的逆映射回原图坐标系，和原始检测到的角点比较距离。
Mat HInv = H.inv(); vector<Point2f> back(4); perspectiveTransform(dstQuad, back, HInv); double error = 0.0; for (int i = 0; i < 4; ++i) { error += norm(back[i] - srcQuad[i]); } error /= 4.0;误差单位是像素。小于 1 像素说明角点定位和透视变换都很准；在 2 到 3 像素之间，先检查角点排序是否正确，再做亚像素细化；超过 5 像素，基本可以认定筛选阶段混入了错误轮廓。这个分数可以写进自动化测试，批量跑 100 张图，看平均误差是否随着参数改动而膨胀，比人工逐张核对高效得多。
6.2 每次调参只改一个变量，保存中间结果
在项目里，我养成了一个习惯：把每张测试图经过灰度、Canny、轮廓筛选、透视校正四个阶段的结果图，全部按固定路径保存到 debug 目录。跑完一批之后快速翻一遍，绝大部分失败案例能当场定位到是哪一步丢的目标。这样看下来，你会发现在这类 OpenCV+C++ 的传统图像处理项目里，真正耗时间的从来不是写代码，而是重复调参时黑匣子一样看不见中间状态。尽早把中间输出可视化，等于给自己留了后悔药。希望帮到你。
本文还有配套的精品资源，点击获取
