OpenMV机械臂视觉抓取：从像素坐标到毫米坐标的完整链路

简介：基于STM32H750开发板与OpenMV模块的机械臂视觉定位抓取项目，面向嵌入式开发、计算机视觉及机器人控制方向的学习者和工程人员，适合用于课程设计、毕业设计、项目实训或技术验证。整套资源共16个文件、约5.28MB，核心为7个py格式的Python源码，另含3个工程备份文件（zbak）、3张示例图片（jpg）以及说明文档（md），目录结构清晰，便于对照源码与效果图进行学习。目前已有125人学习浏览。项目完整覆盖了图像采集、目标物体识别、坐标解算、控制指令生成及机械臂抓取执行等环节，源码经过验证可正常运行；配套的说明文档详细介绍了开发环境配置、代码编写思路和系统调试流程，既能帮助初学者快速理解视觉定位与机械臂控制的协同原理，也可为专业人员提供算法实现和系统集成方面的实践参考。

1. 基于OpenMV（STM32H750开发板）做机械臂视觉抓取：难的不是识别，是坐标链路

很多第一次做视觉抓取的人，把OpenMV（STM32H750开发板）的图像输出和机械臂运动当成两件独立的事：OpenMV负责“看见”，机械臂负责“去抓”。实际项目里最常见的翻车现场，是OpenMV的屏幕上已经把目标框得明明白白，机械臂过去之后却偏出半个夹爪。真正决定这套方案能不能用的，不是find_blobs调得有多准，而是把像素坐标换算成机械臂基座坐标系下的毫米坐标，再按一个不会乱掉的协议发给机械臂控制器，最后让整个闭环按固定节奏跑起来。这篇文章围绕基于STM32H750开发板的OpenMV视觉定位抓取，把标定、坐标变换、串口协议、状态机和现场排错串成一条完整链路，适合想用低成本方案把机械臂视觉抓取跑通的工程师按步骤复现。

2. 把像素坐标换算成机械臂能用的毫米坐标：四点标定与手眼关系

2.1 机械臂拿到的坐标到底是什么：像素、图像、世界三套坐标系

OpenMV输出的坐标是像素坐标，也就是“第几列、第几行”。图像坐标系的原点不在镜头中心，而在图像左上角；机械臂要的是物体在世界坐标系里的毫米位置，通常以机械臂底座或抓取区域边角为原点，X轴指向正前方，Y轴指向侧边。这两套坐标系之间隔着一个映射关系，这个关系把镜头焦距、畸变、相机安装高度和俯仰角全部打包了进去。如果不做换算，直接把blob.cx()、blob.cy()发给机械臂，就等于让机械臂在“照片格子”里找位置。CMOS上的1个像素在世界坐标里通常对应0.5到2毫米，相机角度一歪，这个比例还会变成越靠边缘越大，最终体现为抓取点偏移越来越大。

这个问题的本质，是一个二维平面到另一个二维平面的投影变换。只要相机固定、抓取面保持水平，单目加单平面就够，没必要上双目。对OpenMV这种算力受限的开发板来说，双目立体匹配会直接把帧率拖到不可用，标定工作量也会翻倍。所以我一般建议：先明确应用场景是不是固定高度的平面抓取。是，就走下面的四点标定；不是，物体高度变化很大，再考虑用AprilTag估算Z值，或者换带深度相机的方案。对大多数低成本机械臂视觉抓取，固定相机俯视抓取平面，是最稳的起点。

这里先把坐标系捋清楚：像素坐标以px为单位，不是毫米；图像坐标以镜头光轴中心为原点，用来描述目标相对视野中心的位置；世界坐标以机械臂工作区域为原点，单位是毫米。OpenMV给的是第一套，机械臂要的是第三套，中间必须过一个映射矩阵。很多初学项目死在“像素坐标当做世界坐标直接用”，这不是代码问题，是坐标系没转换。

2.2 四点标定：一张坐标纸加一把尺子，算出像素到毫米的映射矩阵

我常用的做法是单平面四点标定。步骤不复杂，但每一步都有讲究。

先把相机固定好，调整视角，让目标抓取区域占画面三分之二以上，锁紧螺丝。然后在抓取平面上放一张A4坐标纸，拿尺子量出四个角点相对机械臂原点的实际毫米坐标。接着打开OpenMV IDE，在图像窗口里手动读出这四个点的像素坐标。四个点必须按同一方向排列，比如左上、右上、右下、左下。顺序一错，映射矩阵会直接翻转，机械臂抓取时会出现“镜像式偏差”。

下面是一个标定示例，四个点取自QVGA分辨率画面：

拿到四组对应点之后，在OpenMV里用透视映射函数计算矩阵：

import image # src: 图像窗口读到的四个像素点，按左上、右上、右下、左下排列 src = [(135, 42), (185, 42), (185, 92), (135, 92)] # dst: 坐标纸上量出来的世界坐标，单位毫米 dst = [(0, 0), (50, 0), (50, 50), (0, 50)] # 计算透视映射矩阵 M = image.get_perspective_mapping(src, dst) print(M)

这个调用会返回一个3x3矩阵的9个系数。逻辑上，它把src平面的点映射到dst平面，拟合了相机的安装角度和镜头畸变。参数说明：src和dst必须一一对应，顺序错乱是标定失败的头号原因；dst单位用毫米，后续输出就是毫米；矩阵计算完成后把9个系数抄进主程序，不要在每次抓取时重复计算。

把矩阵用于坐标换算的代码长这样：

# 由上面print(M)得到实际系数，填入下面的三元组 CALIB_M = (1.024, 0.008, -16.31, 0.005, 1.010, -22.77, 0.00001, 0.00001, 1.0) def pixel_to_world(cx, cy): # 齐次坐标归一化系数 k = CALIB_M[6] * cx + CALIB_M[7] * cy + CALIB_M[8] # 像素坐标转世界坐标，单位毫米 wx = (CALIB_M[0] * cx + CALIB_M[1] * cy + CALIB_M[2]) / k wy = (CALIB_M[3] * cx + CALIB_M[4] * cy + CALIB_M[5]) / k return int(round(wx)), int(round(wy))

这段代码就是在做坐标换算。注意k是齐次坐标的归一化系数，不能省略；如果把它忽略，画面边缘的点会明显偏移。标定完成后，放一个已知位置的物体到平面上，用函数换算一次，再用尺子量实际位置；误差超过4毫米，就重新做一次四点标定。如果边缘误差特别大，先在IDE里跑一遍镜头畸变校准，再回来做四点标定。

2.3 手眼关系的边界：固定相机和眼在手上是两种标定思路

固定相机俯视方式的优点是稳定、标定简单、视野固定，适合典型的桌面抓取工位。眼在手上，也就是把OpenMV装到机械臂末端，看起来更灵活，但代价是相机随机械臂运动，视野一直在变，标定要从“像素到世界平面”变成“像素到机械臂末端坐标”，需要同时处理机械臂运动学正解和手眼矩阵。这个复杂度对低成本项目不太划算，除非工件会被遮挡，或者必须跟随机械臂运动才能看到目标。

如果做固定相机方案，还要处理Z方向。单目像素坐标只能给出XY，给不出高度；对放在固定高度的物体，直接在机械臂端预置Z值即可。如果物体高度会变，常见做法是给目标贴AprilTag，OpenMV的find_apriltags()会根据标签的物理尺寸估算距离，把Z也变成已知量。这也是很多开源机械臂抓取项目在固定相机之外补充深度的常见办法。手眼标定不是必须，但边界要清楚：固定相机用平面映射，移动相机用手眼矩阵，混用会让抓取点误差不可控。

3. 在OpenMV（STM32H750开发板）上实现识别、坐标换算和抓取状态机

3.1 识别程序的最小骨架：先冻结白平衡和曝光，再调LAB阈值

OpenMV识别的核心其实是阈值调参，而不是算法本身。先给一段最小可跑代码：

import sensor, image, time from pyb import UART sensor.reset() sensor.set_pixformat(sensor.RGB565) sensor.set_framesize(sensor.QVGA) sensor.skip_frames(time=3000) # 跳过前3秒自动曝光稳定期 sensor.set_auto_whitebal(False) # 关掉自动白平衡 sensor.set_auto_exposure(False, exposure_us=20000) sensor.set_auto_gain(False) # 关掉自动增益 ROI = (30, 20, 260, 200) # 只处理中间区域，避开边缘反光 THRESH = (60, 80, -30, -8, 10, 60) # LAB阈值，由IDE阈值编辑器生成 def find_target(img): blobs = img.find_blobs([THRESH], roi=ROI, pixels_threshold=150, area_threshold=150, merge=True) if not blobs: return None return max(blobs, key=lambda b: b.area()) while True: img = sensor.snapshot() blob = find_target(img) if blob: img.draw_rectangle(blob.rect()) img.draw_cross(blob.cx(), blob.cy())

参数说明里最关键的是关自动白平衡和自动曝光。OpenMV默认会不停调整画面参数，这让它在“人眼观看”场景下很好，但机器视觉需要的是稳定的颜色参照，白平衡一变，LAB空间里的阈值全部失效。exposure_us=20000表示曝光时间20毫秒，适合静止物体；如果光照偏暗可以提高到30到40毫秒，但帧率会明显下降。ROI限定了检测区域，既能跳过画面边缘的畸变区域，又能减少计算量。THRESH那六个值对应LAB的L、A、B上下限，在IDE的阈值编辑器里对着目标物体框选自动生成，别手填。

这里有个选型取舍：RGB565彩色模式可以靠颜色区分目标；GRAYSCALE灰度模式帧率能高不少，但只能靠亮度区分。抓静止物体优先用RGB565，抓移动物体优先GRAYSCALE。代码里pixels_threshold和area_threshold用来滤掉碎块，数值太小会引入噪点，太大又会漏掉小目标，拿到现场需要按物体实际尺寸调。

3.2 坐标换算和夹爪偏移：像素转毫米后还要加一个工具补偿

识别出目标之后，把blob.cx()和blob.cy()交给上一章的pixel_to_world()，得到的就是机械臂坐标系下的毫米坐标。但还有一个细节：相机光轴和夹爪中心一般不在同一条垂直线上，安装支架有加工误差，夹爪夹持点也可能偏离相机中心。所以最终发出去的坐标要加上工具偏移：

# 夹爪中心相对相机中心的偏移，单位毫米 # 正负方向以机械臂坐标系为准，实际测量后填入 GRIP_OFFSET_X = 8 GRIP_OFFSET_Y = 0 def get_grab_point(cx, cy): wx, wy = pixel_to_world(cx, cy) return wx + GRIP_OFFSET_X, wy + GRIP_OFFSET_Y

这个偏移是我在项目里最容易漏掉的一项。固定相机和机械臂支架只要不是一体加工，几乎一定有几毫米偏差；直接在软件里补偏移比重装支架快得多。测量方法：让机械臂夹住一个带尖的笔，笔尖对准相机画面里某个已知点，记录此时机械臂坐标和像素坐标的差值，折算成毫米后填进去。

3.3 串口协议和“三帧确认”状态机：给机械臂一个不会错乱的坐标包

OpenMV和机械臂控制器之间最常用的是串口。为了让机械臂端解析可靠，我建议用固定帧头、长度、校验和的结构，下面是一份简单协议表：

打包发送的代码：

def build_packet(x, y, z): buf = bytearray([0xAA, 0x55, 0x08, 0x01, (x >> 8) & 0xFF, x & 0xFF, (y >> 8) & 0xFF, y & 0xFF, (z >> 8) & 0xFF, z & 0xFF]) buf.append(sum(buf) & 0xFF) # 校验和 return buf

逻辑说明：所有坐标用大端模式，避免大小端不一致导致坐标被拆反；校验和放在最后，接收端先累加前10个字节再和最后一帧比对。参数说明：Z值对固定高度抓取直接填常量，比如物体高度加抬升安全距离；对可变高度场景，由AprilTag测距结果填入。

机械臂端接收也要做成状态机，不能只在中断里一个个字节存：

// 机械臂端串口接收伪代码 if (buf[0] == 0xAA && buf[1] == 0x55 && buf[2] == 8) { uint8_t checksum = 0; for (int i = 0; i < 10; i++) checksum += buf[i]; if (checksum != buf[10]) { /* 校验失败，丢弃整帧 */ } int x = (buf[4] << 8) | buf[5]; int y = (buf[6] << 8) | buf[7]; int z = (buf[8] << 8) | buf[9]; solve_ik(x, y, z); // 调用运动学逆解或舵机角度映射 }

除了协议，抓取逻辑也要做时序控制。不要“看到就发”，我习惯用一个三帧确认状态机，连续几帧目标位置稳定后再发坐标，防止机械臂跟着噪点来回跑：

STATE_IDLE = 0 STATE_CONFIRM = 1 STATE_SEND = 2 STATE_WAIT = 3 state = STATE_IDLE frames_ok = 0 prev_pos = (0, 0) send_time_ms = 0 while True: img = sensor.snapshot() blob = find_target(img) if state == STATE_IDLE: if blob is not None: frames_ok = 1 prev_pos = (blob.cx(), blob.cy()) state = STATE_CONFIRM elif state == STATE_CONFIRM: if blob is None: state = STATE_IDLE frames_ok = 0 else: dx = abs(blob.cx() - prev_pos[0]) dy = abs(blob.cy() - prev_pos[1]) if dx > 5 or dy > 5: frames_ok = 1 prev_pos = (blob.cx(), blob.cy()) else: frames_ok += 1 if frames_ok >= 3: gx, gy = get_grab_point(blob.cx(), blob.cy()) uart.write(build_packet(gx, gy, 10)) state = STATE_WAIT send_time_ms = time.ticks_ms() elif state == STATE_WAIT: if time.ticks_ms() - send_time_ms > 3000: state = STATE_IDLE

三帧确认的逻辑是：目标位置连续三帧变化不超过5像素，才认为物体静止，允许发送。5像素是一个经验值，按视野宽度调整：视野200毫米对应320像素时，5像素约3毫米，刚好小于夹爪容差。WAIT状态等待3秒后回到IDLE，是防止机械臂没有返回完成信号时程序卡死。这套源码组织上，我习惯把OpenMV端代码单独放main.py，机械臂端协议解析放另一侧工程，参数全部提到文件开头，现场改起来不用翻逻辑。

总线舵机机械臂和六轴机械臂在这个环节有个差异：总线舵机机械臂通常直接吃舵机角度，不是坐标，需要额外的逆运动学转换；自带控制器的六轴机械臂一般能直接收坐标，开放串口协议。选机械臂时，优先挑能收毫米坐标的控制器，能省掉一大半调参工作。

4. 避坑：机械臂视觉抓取现场最容易翻车的5个地方

视觉抓取的故障，十次里有八次不在视觉算法，而在环境、协议和机械结构。下面这五类是我反复踩过的，每条按现象、原因、解决写清楚。

4.1 同一个物体上午能识别，下午就漏检：自动白平衡和自动增益在帮倒忙

现象：代码一行没改，早上抓得准，下午同一批物体就识别不到，阈值编辑器里重新点一下又恢复。原因：OpenMV默认开启自动白平衡、自动曝光、自动增益，光线变化时画面参数跟着变，LAB阈值立刻失效。解决：初始化时全部关掉，并固定曝光时间；环境光不稳定就在夹爪附近加一个小光源，保证目标区域照度浮动不超过20%。我还会开机抓一帧平均亮度，低于阈值就提示“光照异常”，不让程序带病运行。

4.2 抓取点老是固定偏一个方向：标定平面和实际抓取平面没对齐

现象：无论物体放在画面哪个位置，机械臂抓到的点都偏同一个方向、同一个距离。原因：标定时坐标纸放的位置和实际抓取平面不在同一高度，或者相机被碰过、支架螺丝松了。解决：先用内六角重新锁紧相机支架，再重新做一次四点标定，并把校验点放在抓取区域正中心，而不是只在四角校验。标定完成后不要移动相机，这个约束要在支架上贴警示标签，否则后面所有坐标都是错的。

4.3 机械臂偶尔抽风，坐标莫名错乱：串口共地和帧同步问题

现象：大部分时间正常，偶尔机械臂跑到明显错误的坐标，甚至往极限位置冲。原因：TTL串口地线没有和控制板共地，或者电机启动时产生干扰；接收端没有做帧同步处理，漏一个字节后整帧错位，把乱数据当成了坐标。解决：串口线必须和控制器共地，走线避开电机动力线；接收端做成状态机，只有连续收到0xAA和0x55才进入数据接收，任何字节不匹配就重新等待帧头。如果现场走线超过30厘米，建议直接用隔离串口或转RS485，不要赌TTL的抗干扰能力。

4.4 同一个坐标，正着走和反着走到的位置不一样：机械间隙和回差

现象：机械臂来回抓取几次后，对准度越来越差，纠偏一次又恢复正常。原因：关节齿轮、同步带和连杆存在间隙，总线舵机位置闭环也有滞后；机械臂从不同方向逼近同一个目标时，停下来的位置不同。解决：抓取动作固定从同一方向逼近目标点，比如每次都从Y轴负方向接近；在机械臂端加回差补偿，记录实际到达角度和期望角度的差值，在逆解时反向补偿。这个偏差异在机械结构，OpenMV识别再准也解决不了，只能从运动规划侧补。

4.5 动态目标总是抓空：帧率不够，状态机又增加了延时

现象：静止物体抓得准，传送带上的物体几乎抓不到。原因：QVGA加RGB565在STM32H750上大约只有20帧，三帧确认至少增加100毫秒延时，再叠加机械臂响应时间，看到的位置已经不是物体的实际位置。解决：第一，识别改用GRAYSCALE灰度模式，帧率能到40帧左右；第二，抓动态目标时不要抓当前帧，而是根据最近两帧位置预测落点：

def predict_pos(prev, current, dt_ms, ahead_ms=150): # 根据最近两帧位置估算速度，前推150ms后的落点 vx = (current[0] - prev[0]) * 1000.0 / max(dt_ms, 1) vy = (current[1] - prev[1]) * 1000.0 / max(dt_ms, 1) return int(current[0] + vx * ahead_ms / 1000.0), \ int(current[1] + vy * ahead_ms / 1000.0)

ahead_ms这个参数要按机械臂实际响应时间调，一般取100到200毫秒，调太小还是抓空，调太大又会过冲。还有一个小坑：调试时OpenMV IDE连接会明显拖慢帧率，抓动态目标务必拔掉IDE，用SD卡记录日志。这套方案对低速传送带够用，真正的高速动态抓取还是得上独立视觉控制器，OpenMV的算力边界在那里。

5. 让视觉抓取闭环稳定：三帧确认、SD卡日志和十字验证法

5.1 十字验证法：一次抓取就判断出误差出在视觉还是机械

我把抓取物底部用记号笔画一个十字，机械臂抓起来之后用手机拍一张照片，看夹爪中心是否对准十字交叉点。如果误差朝固定方向偏移，问题出在标定或工具偏移；如果每次偏移方向和距离都不一样，问题多半出在机械间隙或夹爪夹持不稳。这个办法十分钟就能定位故障环节，比反复改阈值高效得多。

5.2 SD卡日志：把OpenMV看到的和机械臂执行的拉到同一时间轴

OpenMV调试时最怕“黑匣子”——程序跑完了，不知道它当时看到了什么。我习惯把每次识别的像素坐标、换算后的世界坐标、发送时间戳写进SD卡：

try: with open("/sd/grasp_log.csv", "a") as f: f.write("%d,%d,%d,%d,%d\n" % (time.ticks_ms(), blob.cx(), blob.cy(), world_x, world_y)) f.flush() except Exception: pass

其中字段依次是时间戳、像素坐标、世界坐标。抓几次之后拔卡打开CSV，和机械臂端记录的到达坐标对比：如果OpenMV发送的坐标和机械臂实际到达坐标偏差大，问题在机械臂端；如果像素坐标和世界坐标换算关系不对劲，问题在标定。时间戳对不上某个动作，就要怀疑串口丢包或状态机卡住。

5.3 我的调稳习惯

我坚持先抓静止物体，连续抓十次全对，再考虑动态抓取；每改一次标定、机械结构或夹爪，都重新做一次十字验证。开机日志里要求写一条“标定自检通过”，否则不进入抓取流程。这套流程看起来慢，但能在我忘记换光源、动过相机、换过物体之后，第一时间把问题暴露出来。机械臂视觉抓取做到最后，比的不是算法多高级，而是坐标系不乱、协议不出错、现场不瞎跑。希望帮到你。

本文还有配套的精品资源，点击获取