Harness的+60%是夸大宣传吗？一篇批判性复盘作者自测实验-育师

Harness的+60%是夸大宣传吗？一篇批判性复盘作者自测实验

【免费下载链接】harnessA meta-skill that designs domain-specific agent teams, defines specialized agents, and generates the skills they use.项目地址: https://gitcode.com/GitHub_Trending/harness/harness

Harness 是一个为 Claude Code 设计 AI 智能体团队的开源插件：你说一句"为这个项目构建 harness"，它就能自动生成专属的 agent 团队和技能文件。项目宣称其结构化预配置可带来 +60% 的质量提升——这个数字是真的吗？本文用批判性视角复盘作者自测实验的全过程，帮你判断结论能不能信。

Harness 是什么：一句话看懂核心功能

Harness 的定位是团队架构工厂（Team-Architecture Factory）：把你对业务领域的描述，转化为一支分工明确的 AI 智能体团队，外加它们各自使用的技能文件。

它内置 6 种团队协作架构模式（流水线、扇出/扇入、专家池、生产者-审阅者、监督者、层级委托），核心工作流是 6 个阶段：领域分析 → 团队架构设计 → 生成智能体定义 → 生成技能 → 集成编排 → 验证测试。完整流程定义见 skills/harness/SKILL.md，架构模式细节在 skills/harness/references/agent-design-patterns.md。

对新手来说，理解这一点很关键：+60% 的提升不是来自模型变强，而是来自"提前把团队搭好"这件事本身——预定义的角色分工、技能文件和协作协议，让智能体少走弯路。

+60% 从哪来：作者自测实验全拆解

数据来自项目的姊妹仓库 A/B 实验，完整口径写在 README.md 的 Research 一节：

指标	无 Harness	有 Harness	变化
平均质量分	49.5	79.3	+60%
胜率	—	—	100%（15/15）
输出方差	—	—	−32%

实验设计：15 个软件工程任务，每个任务分别让"裸"智能体和"带 Harness 预配置"的智能体执行，用断言式评分（assertion-based scoring）打分。作者还发现了一个符合直觉的规律：任务越难，收益越大（基础任务 +23.8%，进阶 +29.6%，专家级 +36.2%）。

数字看起来很漂亮，但作为批判性复盘，我们逐个拷问它。

三处最值得质疑的地方

质疑一：+60% 是相对涨幅，不是绝对提升

这是最容易被忽略的一点：平均分从 49.5 涨到 79.3，绝对值只多了 29.8 分，但因为基数只有 49.5（不到一半的分数），相对涨幅恰好约 60%。

这不是造假，但"相对提升 60%"在传播中很容易被读成"质量凭空多出 60 分"。如果你所在团队的基线分本来就有 80 分，同样的提升方法可能只剩几个百分点的空间。低基数放大了相对涨幅，这是所有 A/B 宣传里最经典的误导方式。

质疑二：样本只有 15 个，且是作者自己测、自己打分

n=15 太小：15 个任务统计显著性有限，遇到一两个离群任务，平均分就可能大幅波动。
作者自测 + 自己设计评分标准：测试断言由同一作者编写，存在"出题人兼裁判"的天然偏差。
无第三方复现：项目 README 的 FAQ 里自己承认 "third-party replications pending"（第三方复现尚未完成）。

好在这个弱点不是隐瞒的——README.md 中每次引用 +60% 时，都强制搭配 "n=15, author-measured, third-party replications pending" 的完整披露。这种自律在开源项目里其实不多见。

质疑三：15/15 全胜的胜率过于完美

15 个任务全部获胜、零平局零败局，在小样本下恰恰是危险信号：要么 Harness 的增益确实碾压级，要么评分粒度和裁判标准对"有配置"一方过于友好。健康的实验结果通常应该出现 1–2 个平局或例外。100% 胜率值得记录，但不值得直接采信。

项目方自己给了什么"免责说明"

值得表扬的是，README.md 的 FAQ Q1 直接正面回答了 "Isn't +60% oversold?"（+60% 不是夸大吗？），给出的建议非常务实：不要拿别人的数字做决策，花 2–4 周在自己团队跑内部试点，测自己的数据。

这也是本项目方法论里最值得新手借鉴的部分：它把"验证"做成了产品能力本身。skills/harness/references/skill-testing-guide.md 详细描述了带技能 vs 基线的对比测试流程和断言式评分方法；docs/quickstart.md 则给出了 5 分钟上手路径，装好后就能跑自己的第一个团队。

给普通用户的行动清单：三步验证 +60% 在你这里是否成立

先跑基线：挑 3–5 个你日常的真实任务，让没有 Harness 的智能体先做一遍，记录质量分和耗时——没有基线，一切提升都是幻觉。
小范围 A/B：对同样的任务启用 Harness 生成的团队（安装步骤见 docs/quickstart.md），用同一套断言标准打分。参考 skills/harness/references/skill-testing-guide.md 里的 with-skill vs baseline 对比结构。
关注复杂度分布：作者数据显示收益随任务难度递增。如果你的工作多是简单任务，别指望接近 60%；如果是复杂多环节任务，收益可能更明显。