大家好,我是冠煌。
你最近是不是也在纠结:Claude 出新版了,GPT 又升级了,要不要跟着换模型?先别急,给你看个数。
SWE-bench Pro 最近的一个测试挺打脸:同一个 GLM-5.2 模型,只换了个「外壳」——就是驱动它干活的那个 agent 工具链——通过率从 23% 直接跳到 52%。另一个 Gemma 4 26B,从 15% 跳到 36%。
同一个脑子,换个身子,活儿直接干翻倍。
这说明一件事:在 AI 编程这块,工具链(harness)已经比模型本身更能决定你交付的质量。模型是脑子,harness 是让它干活的那套流程——怎么读仓库、怎么拆任务、怎么跑测试、怎么在出错时回退。
10 月这一波更新,全在验证这个信号。GitHub Copilot 一口气退役了 6 个旧模型,推出「HydraFusion Max」,把一个订阅里塞进 4 个前沿模型,让系统自己按任务挑模型;Cursor、Claude Code、Zed 也都在卷「编排」而不是「模型多聪明」。没人再比谁的模型答题准了,比的是谁把这一堆模型用得顺。
对咱们接单的人,这是个很实在的提醒:
别把精力全花在追模型上。你花一下午比哪个模型强 2 分,不如花一下午把你的工具链理顺——agent 怎么读仓库、测试能不能自己跑、危险操作有没有人肉确认。这些带来的提升,常常比换个大模型还大。
落到地上,三件事现在就能做:
第一,给 agent 配个会自己跑测试的闭环。改完代码它能自己 build、自己跑用例,挂了立刻报错,而不是等你半天后再手忙脚乱地发现。这比换模型省下的 debug 时间多得多。
第二,拆任务比堆提示词有用。大需求切成小票(ticket),让 agent 一张一张交,每张都能验证。SWE-bench 那个 23%→52% 的跳跃,很大一部分就是「任务怎么喂进去」的差别——同样的脑子,喂法对了,产出天差地别。
第三,该人工卡的节点别省。删库、推公网、动凭证,这些一律先问你。harness 再聪明,最后一道闸还得在你手里。前面几篇聊的护栏、隔离舱,本质都是这一道闸。
我不是说模型不重要。模型是地基,该升还得升。但你作为接单人,真正能拉开差距的,是你怎么搭那套「让模型干活」的流程。
同一个模型,有人用出 23%,有人用出 52%。差的不是脑子,是身子。
你现在跑 AI 编程,是裸调 API 碰运气,还是已经有一套自己的工具链?评论区聊聊。