oh-my-agent：为什么AI编码代理说“测试全过“不可信？多智能体验证框架完整解读

• 人工智能
• AI Agent
• 多智能体
• Agent 编排
• Agent 评测
• AI 技能
• 开发工具
• CLI

让 AI 编码代理完成一项任务，它最后总会回一句"测试全过，所有标准达标"。但这句话说得毫无成本——同一个会话里，没有任何东西能反驳它。oh-my-agent 是一个面向 AI 编码代理的多智能体验证框架（multi-agent verification harness），它的核心主张是：代理会叙述成功，oh-my-agent 只核查产出物。Stop hook 门禁、反绕过产物检查、独立 judge 复核、事件溯源日志，四道机械关卡把"自述"变成"可证伪的断言"。

一、"测试全过"这句话，为什么没有任何约束力 🤔

传统 AI 编程助手由单个模型包揽前后端、数据库、安全。它说"我做完了"，你只有两种选择：信，或者不信。不信的话，只能自己去跑一遍。

问题出在三点：

所以"测试全过"不是事实陈述，而是一句零成本的自述。oh-my-agent 的思路是：不问 LLM"看起来对不对"，只问机器能回答的问题——命令是不是以 0 退出？文件在不在磁盘上？

二、oh-my-agent 的解法：四道机械验证关卡 🔍

项目官方文档 docs/README.zh.md 把这套机制概括为一句话："命令要么以 0 退出，要么没有；文件要么在磁盘上，要么不在。"

1. Stop hook 门禁：测试不过，会话就不能结束

代理想结束会话时，Stop hook 会先拦下来：项目自己的typecheck、test、lint脚本必须全部退出码为 0，才放行。而且只有这三个命令是可执行的——代理往状态文件里写别的命令会被直接忽略，绝不执行。加固次数上限 5 次，一个永远飘红的门禁也不会把你困死。

2. 反绕过门禁（Anti-Circumvention Gate）：四样"抄近路造不出来"的产物

oma ralph verify --json会核查四个必然留下的产出物：ultrawork 的阶段记录、plan JSON、一个独立 QA 代理的结果文件、一个独立重构代理的结果文件。产物缺失就说明该阶段根本没跑过——自述里怎么写都不算数。判定以这条命令输出的 JSON 为准，而不是代理的总结。工作流定义见 ralph.md。

3. 独立 judge：全新上下文的第三方复核

judge 被 spawn 成一个独立代理，上下文是全新的，只知道验收标准本身，绝不知道实现方声称修好了什么。每一轮它都会重新校验每一条标准，包括之前已 PASS 的——因为修 C2 时 C1 悄悄回退，正是最常见的翻车方式。协议详见 judge-protocol.md。

4. 事件溯源日志：每次判定都留痕

每一次门禁通过、门禁失败、决策，都会追加一行 JSON 到~/.oma/u/0/sessions/{sid}/events.jsonl，盖上厂商与会话 id。只追加、可事后审计，格式规范在 event-spec.md。预算耗尽时 Stop hook 也会诚实停手、记录部分完成状态，而不是假装收工。

三、基准测试：同一道题，5 个框架的真实分数 📊

光说不算。oh-my-agent 团队设计了一场公开基准测试（benchmarks/README.md）：让 5 个 Claude Code 控制框架，在完全隔离的环境里，用同一份原始提示词各自从零构建一个"儿童 3D 创意学习平台 MVP"（提示词见 prompt.md），再按 5 个轴共 100 分机械打分。

下图是 oh-my-agent 生成的落地页（"Imagine Worlds"），结构清晰、功能入口完整：

最终成绩单（5 轴，满分 100）

运行开销对比很有意思：

oma 用最少的轮次（31 轮）做出了最多源码文件（21 个）、最接近完整规格的实现。注意规格轴的分差：oma 拿到了 13.3/15，而 omc 只有 6.7/15——"说加载了 40 多个技能"和"把 13 项需求逐项做出来"是两回事。

vanilla（裸 Claude Code）的生成结果长这样，对比之下差距一目了然：

oma 框架下的 3D 世界编辑器，保存并重载后对象面板、主题选择、Save 按钮等状态完整还原：

诚实的口径说明 ⚖️

• 打分由脚本自动执行（score.sh），spec/visual 两轴由 LLM 裁判跑 3 轮取平均，原始分数在 multiaxis-summary.json
• 每个框架只跑 1 次（样本量为 1），重新跑可能产出不同代码
• superpowers 首次运行被其 brainstorming 门禁拦截，测试中做了强制绕过，非完全公平
• 完整方法论见 benchmarks/design.md，原始分数见 scores.json

四、快速上手：三步装好 oh-my-agent 🚀

第 1 步：安装。一行命令即可（自动安装缺失的 bun、uv、serena）：

bunx oh-my-agent@latest

第 2 步：选择预设。安装器会让你选技能预设（Backend / Frontend / Fullstack / Research 等），对应不同的智能体组合，例如 Frontend 预设包含 architecture + brainstorm + design + frontend + qa + scm 等。

第 3 步：验证 + 使用。先跑oma doctor确认环境，然后直接用斜杠命令或自然语言下达任务：

官方建议的第一次任务是"一个小而单领域的改动"，记录文件、检查命令和退出状态。完整步骤见 quick-start.md。

五、适合谁用？🎯

参考 why-oh-my-agent.md 的官方定位，这套东西适合：

• ✅多代理主机/多厂商团队——技能、工作流、规则统一存放在可移植的.agents/目录，随代码版本管理，Claude Code、Codex CLI、Cursor、Antigravity、OpenCode 等十几种运行时都能投影使用
• ✅需要可复现团队流程的项目——/work、/orchestrate、/ultrawork、/ralph提供从单任务到并行编排的完整阶梯
• ✅要求结果可审计的场景——每次门禁判定落盘为事件日志，事后逐条可查

如果你只用单一代理、不需要共享技能与验证门禁，多出来的配置和 CLI 命令可能不值得——它本质是一层协调与验证层，不替代宿主模型和验收标准本身。

小结

AI 编码代理最大的信任陷阱不是"做不出来"，而是"说做了"。oh-my-agent 的完整答案可以浓缩成四件事：

1. Stop hook——测试不过，会话不许结束
2. 产物核查——阶段跑没跑，看磁盘上有没有留下的东西
3. 独立 judge——全新上下文，每轮重验每一条标准
4. 事件日志——所有判定只追加、可审计

它让"测试全过"从一个无法反驳的口头承诺，变成一个可以被机械证伪的断言。对于任何开始认真使用多智能体写代码的团队，这套纪律可能比再多一个技能包都重要。

• 人工智能
• AI Agent
• 多智能体
• Agent 编排
• Agent 评测
• AI 技能
• 开发工具
• CLI