AI客服在真实的智能体系统里发生的事故

你有没有想过，一个AI客服助手，明明能力很强，能理解复杂需求，能调用各种工具查订单、办退货、改行程，但为什么用起来还是让人心里发虚？

原因很简单。它不是每次都稳定。同一个任务，你让它做四遍，可能三次做对了，第四次突然抽风，把你要退的商品换成了别的东西,把要退的商品ID填反了,或者提前执行了本该询问确认的操作。等你发现的时候,退款已经打出去了,订单已经改完了,覆水难收。

这就是这篇论文要解决的问题。它叫CAST，全称是Critique-Aware Supervision for Training，中文可以理解成"带批评意识的监督训练"。它盯着的不是"AI能不能把任务做对"，而是"AI能不能每次都做对"。这两件事听起来差不多，但差距可能大到超乎你的想象。

一个动作错了，全盘皆输

先说说这个问题到底有多棘手。

想象一下你在网购平台上要求客服帮你换货。你说："我买的这台数码相机变焦不够，我要换成变焦最大的型号"。客服助手需要先找到你的账户，查你的订单，看看这个订单的状态，再去查相机的所有型号规格，比较出哪个变焦最大，最后执行换货操作，还得问清楚你想用哪种方式支付差价。

这一整套流程里，只要有一步走错，比如它把"现在这台"和"要换的那台"的商品编号搞反了，或者它还没等你确认支付方式就直接把订单改了，整个任务就废了。而且这种错误往往是**不可逆**的。

订单已经提交，退款已经打出去，你没法按撤销键重来一次。

这跟写代码不一样。写代码你运行报错了，改改再跑一遍就行。但智能体在真实世界里做的很多操作，一旦执行就是真的执行了，退货就是退货了，转账就是转账了。这种不可逆性，是让研究者们头疼的核心原因。

**论文提到一个关键的评估思路：不能只看智能体在一次尝试中是否成功，还要看它在多次重复尝试同一个任务时是否能稳定成功。**

这个评估方式叫pass^k

pass^k：衡量智能体在k次独立重复执行同一任务时，是否每次都能成功的指标。比如pass^4就是看连续做四次同样的任务，是不是四次都做对了。这个指标比只看一次成功率的pass^1要严格得多，也更接近真实使用场景的要求

要理解这个差距有多大，看一组数字就明白了。论文里用GPT-OSS-120B这个大模型（1200亿参数）去做客服任务测试，pass^4的平均成绩是16.9%。而经过CAST训练的一个只有80亿参数的小模型（体积只有前者的十五分之一），pass^4反而做到了19.5%，比大模型还高出2.6个百分点。

这说明一个事实：**模型参数量大不代表可靠性高**。一次性做对和每次都能做对，是两种完全不同的能力。就像一个学生，考试单次能考90分不代表他每次考试都能稳定考90分，真正厉害的是那种波动很小、每次都在附近的人。

为什么让AI"自我批评"这么难

那既然知道问题出在哪，直接让AI自己检查自己的操作不就行了？现有很多做法确实是这么想的，让一个"批评者"模型盯着"执行者"模型，发现问题就叫停。

但这里藏着一个更深的矛盾：**要让批评者判断一个动作对不对，它必须只用执行者当时能看到的信息去判断，不能偷看未来的结果。**

这个约束听起来简单，做起来很反直觉。你想啊，如果我是个事后诸葛亮，知道最终结果是失败的，我倒推回去找哪一步出错了，这很容易。但如果我站在那个瞬间，只看到"用户说了什么、之前发生了什么、模型现在准备做什么"，我要判断这个动作是不是靴子落地前就已经出问题了，这就难多了。

论文里做了个很扎实的实验来证明这个难点有多真实。他们直接拿业界最强的几个模型当"批评者"，包括GPT-4.1、Qwen3-235B这些庄重的大模型，让它们去审查另一个模型（Qwen3-32B）做客服任务时的每一步操作。

结果很打脸：这些强模型当裁判反而把整体表现拖低了。GPT-4.1做裁判时，pass^1从没有裁判时的31.7%掉到了22.8%，pass^4从11.5%掉到了6.0%。

为什么强模型反而帮倒忙？论文里给出了一个很扎心的答案：**这些大模型当裁判的时候，太爱鸡蛋里挑骨头了。**具体数据是，GPT-4.1把46.8%的正确动作都误判成了有问题，逼着执行者反复推翻重来，越改越乱，最后浪费了大量时间和资源，还没把任务做对。

这就像一个新来的质检员，因为怕承担责任，看什么都觉得不对劲，把本来合格的产品全部打回重做。生产效率没提升，反而因为反复折腾拖慢了整条产线。**如果不控制这种"过度谨慎"，批评的成本会比批评带来的收益更高**，这也是为什么直接用现成的强模型当裁判效果不理想。

CAST的解法：先教会AI怎么写"病历报告"

那CAST是怎么解决这个矛盾的呢？核心思路可以概括成一句话：**先培养一个专门的"诊断医生"，用它诊断出的病历数据去训练最终的"手术医生"。**

具体来说，整个流程分成三步走。

第一步是收集病例。研究团队让一个教师模型（Qwen3-32B）在同一批客服任务上反复跑五遍，收集下来大量的行动轨迹，其中既有成功的也有失败的。因为环境是动态变化的，同一个任务跑五遍可能会产生五种不同的应对方式和结果，这就为后面的诊断提供了足够丰富的病例样本。

第二步是给每一步动作做体检。这一步用了一个叫**多智能体验证框架**的系统去分析每一个具体动作，判断它是不是合理的。这个验证系统内部又拆成了好几个专门的小模型，各管一块，有的专门负责从大堆的规则里挑出跟当前这一步相关的规则（规则提取器），有的专门筛出候选工具（工具提取器），还有专门检查动作是不是幻觉的、是不是违反业务规则的、是不是选错工具的三个检查器，最后由一个总协调器汇总所有意见，给出最终的诊断结果和一段解释理由。

这套流程为什么要拆得这么细？因为一个错误可以有很多种表现形式。

论文把错误归纳成三大类：幻觉

幻觉：模型编造了信息，比如它声称用户提供了某个订单号，但用户实际上从没说过这个数字，这是没有事实根据的臆想

违反领域规则

违反领域规则：动作违背了业务方设定的政策，比如按规定应该先跟用户确认再执行退款，但模型跳过了这一步直接执行

以及工具误用

工具误用：选错了应该调用的工具，比如用户想退货，模型却调用了取消订单的接口

这三类问题的检测逻辑完全不同,所以论文没有偷懒用一个模型全部搞定,而是分工检查,最后汇总。这就像一个复杂的体检套餐，血液指标、影像检查、心电图各自由不同的专科医生来看，最后再由主任医师综合出一份诊断意见，比让一个全科医生粗略扫一眼要靠谱得多。**如果不这样分开处理，一个通用模型很容易在某一类问题上顾此失彼，比如只盯着找幻觉而漏掉了政策违规。**

第三步才是真正训练。用第二步产生的这些带着详细诊断理由的病例数据，去训练一个真正的批评模型，论文里叫它CAST-Critic

CAST-Critic：经过CAST框架训练的批评模型，它学会了在只看当下信息、不偷看未来结果的前提下，判断执行者提出的每一步动作是不是合理，并给出结构化的解释理由

训练好之后，再用这个批评模型去重新监督另一批新的任务执行过程，只把最终成功完成的那些"批评增强轨迹"筛出来，用它们去训练最后的执行策略模型，论文里叫CAST-Policy

CAST-Policy：经过CAST框架训练的策略模型，也就是最终真正拿去执行客服任务的AI，它可以单独工作，也可以配合CAST-Critic在推理时接受实时的批评反馈

这里有个细节值得注意，训练用的批评理由数据是有"特权信息"的，标注的时候可以让教师模型偷看到标准答案作为参照，但学生批评模型和最终部署的策略模型都不能偷看，只能凭当下的信息判断。这种设计有点像师傅带徒弟批改作业。师傅改卷子的时候手里有标准答案对照着改，改完之后把评语和扣分理由写清楚教给徒弟，但徒弟以后自己上手判卷的时候，是没有标准答案在手边的，全靠师傅教过的经验去判断。

训练出来的批评模型，比大模型更懂节制

CAST训练出来的批评模型效果怎么样？论文给了一组很有说服力的对比。

还是拿Qwen3-32B当执行者，分别搭配不同的裁判做实验。用GPT-4.1当裁判，pass^1掉到22.8%；用Qwen3-235B当裁判，pass^1掉到24.1%；但换成CAST自己训练的4B批评模型，pass^1反而涨到31.8%，比不加任何裁判的31.7%基本持平甚至略有提升，而pass^4从11.5%直接提升到15.9%。8B的批评模型更进一步，pass^4达到19.5%。

论文还专门画了一张混淆矩阵来解释这背后的原理。GPT-4.1当裁判的时候，46.8%的正确动作被误判成有问题（假阳性率高），只有24.0%的正确动作被正确地放行不打扰。而CAST-Critic-4B的假阳性率只有13.6%，正确放行率高达62.2%。

**这说明CAST训练出来的批评模型学会了一种更精准的判断力，它不是变得更宽容，而是变得更懂得在什么情况下该出手、什么情况下该闭嘴。**

论文里还给了一个具体的动作触发比例数据，CAST-Critic大概只会对每个任务里33.2%的动作提出质疑，剩下的它是信任的。这个比例听起来低，但恰恰是因为它精准，才没有陷入过度纠错的怪圈。

这里还有个反直觉的地方值得多说一句。用CAST-Policy（经过训练的策略模型）配合批评模型，跟用原本没训练过的Qwen3-32B配合同一个批评模型相比，前者对批评反馈的"抵触情绪"要低得多。数据显示，非微调模型有26%到40%的概率会拒绝接受批评意见坚持己见，而CAST-Policy只有11%到26%。

这就好比一个刚入职的新人和一个经过系统培训的老员工，都被主管指出了同一个操作失误。新人可能会觉得"我这样做没问题啊"然后固执己见，而经过培训的老员工更清楚哪些反馈是有道理的，会立刻调整。这种"更听劝"的能力，正是CAST训练带来的额外收益，它不仅提升了批评者的判断力，也让被批评的一方变得更愿意接受纠正。

数据说话:小模型也能跑赢大块头

现在来看看整体的实验效果。研究团队选了四个场景来测试，零售

零售：τ-Bench基准测试中的场景，涵盖商品退货、换货、地址修改等114个任务，这是CAST训练时使用的场景，属于"见过的"训练领域

航空

航空：τ-Bench基准测试中的另一个场景，涵盖机票预订、改签、取消等操作，共50个任务

电信和医疗健康

电信和医疗健康：来自τ-Trait基准测试的两个场景，专门设计用来测试模型在面对不同用户性格、不同领域时的鲁棒性和泛化能力

其中零售是CAST训练时见过的领域，航空、电信、医疗健康是它压根没训练过的，专门用来看它的泛化能力怎么样。

在训练过的零售领域，4B规模的CAST-Policy比基础模型pass^1提升了18.9个百分点，pass^4提升了10.4个百分点。8B规模的表现更好，pass^1超过基础模型15.9个百分点，pass^4超过9.6个百分点。

更有意思的是跨领域的表现。在完全没训练过的电信领域，8B规模的CAST-Policy搭配同规模的批评模型，pass^1达到38.9%，pass^4达到27.8%，比什么都没做的基础模型（pass^1只有31.9%，pass^4只有5.6%）提升巨大，尤其是pass^4几乎翻了五倍。

下面这张表格摘取了论文里几个关键的对比结果（数值为百分比，加粗为该组最佳表现）：

| 模型 | 零售Pass^1 | 零售Pass^4 | 电信Pass^1 | 电信Pass^4 |

|---|---|---|---|---|

| 基础8B模型 | 14.1% | 5.2% | 31.9% | 5.6% |

| 8B模型+RFT训练 | 27.6% | 12.2% | 29.2% | 11.1% |

| CAST-Policy-8B单独运行 | **30.0%** | 14.8% | 30.6% | 11.1% |

| CAST-Policy-8B+CAST-Critic-8B | 29.8% | 13.0% | **38.9%** | **27.8%** |

这里要提一下RFT

RFT：拒绝采样微调（Rejection Fine-Tuning），一种常见的训练方法，先让模型跑很多次任务,只挑成功的轨迹拿来训练模型,思路是"只学好的例子"

这个对比很关键，因为它排除了一种可能性,也就是说CAST的效果好,单纯是因为它用了更多训练数据。RFT同样是只挑成功案例训练,但它的pass^4提升幅度明显不如CAST。这说明关键不在于"用了成功案例",而在于CAST额外注入的那层"批评理由"信息,教会了模型不仅要知道什么是对的,更要理解为什么是对的、错误可能长什么样子。

论文还跟另外两种专门针对可靠性问题设计的方法做了对比，一个叫PALADIN，思路是靠训练模型从注入的工具失败案例里学会恢复；另一个叫EvoTool，靠不断进化调整工具使用策略。CAST-Critic-8B在pass^1、pass^3、pass^4上都超过了PALADIN二十个百分点左右，也超过EvoTool两到四个百分点。这说明一个相对简单的"执行者加批评者"结构，只要把批评者训练到位，效果可以超过更复杂的失败恢复和进化式方法。

代价换来了什么

任何多出来的智能体协作层，都不是免费的，会带来推理时间和token消耗的增加。CAST也不例外。

论文里做了详细的开销对比。用CAST-Critic当裁判会比纯粹的单步推理慢一些，token消耗也会上升，但跟另外两种同类框架IRMA和FAMA相比，CAST的开销处在同一档次，性能却更好。

研究团队还专门做了个消融实验，测试"验证轮次"这个变量。让批评模型对同一个动作最多反复纠正2到5轮，看性能和开销怎么变化。结果发现，性能不是越纠正越好的单调曲线，反而有个甜蜜点。对Qwen3-32B来说，3轮纠正的时候pass^4达到最佳；对CAST-Policy-4B来说，4轮的时候最好。

这个发现很有实际价值,说明"验证预算"这个参数得看具体搭配哪个执行模型来调,不存在放之四海皆准的最优轮次数。这有点像给学生批改作文,同一篇作文让老师改两遍可能就够了,但有的学生你得跟他反复沟通三四遍才能真正把问题讲透,改的轮次多少要看学生本身的接受能力,而不是一刀切规定所有人都改三遍。

写在后面

读这篇论文的过程中,最让我觉得意外的一点,是那个"越强的模型当裁判效果越差"的实验结果。这跟我们平时的直觉完全相反,我们总觉得越聪明的模型判断力应该越准。但实际情况是,强模型在没有专门训练过怎么当裁判的情况下,会因为过度谨慎而变得不好用,四成多的正确动作被它错判成有问题,这个数字挺惊人的。

这让我联想到一件事,专业能力和判断能力其实是两种不同的技能。一个特级教师未必天生就会当好一个考官,考官需要的是精准的分寸感,知道什么该扣分什么不该扣,这跟解题能力本身没有直接关系,需要单独训练。CAST这篇论文本质上就是在说,想要一个可靠的批评者,不能指望"聪明"自动带来"靠谱",得专门给它上一课,教它怎么写病历报告,怎么区分幻觉、违规和选错工具这三种完全不同的病症。

论文里还留了一个没解决的问题,现在CAST的批评只针对当下这一步动作对不对,不会去预判这一步会给未来几步带来什么连锁反应。如果哪天有人把这个"预判未来影响"的能力也加进批评模型里,会不会又是一次质的跃升?这个问题我觉得值得继续追下去。

Q&A

Q1：CAST是什么？

A：CAST是一种批评感知的训练框架，专门用来提升AI工具调用智能体在长流程、多步骤任务中的可靠性。它通过训练一个专门的批评模型来诊断每一步动作是否合理，再用这些诊断结果反过来优化执行策略模型，让小模型也能达到甚至超过大模型的稳定性表现。

Q2：为什么用强大的模型当裁判反而效果更差？

A：论文实验发现，像GPT-4.1这样的强模型直接拿来当裁判时会过度谨慎，把46.8%的正确动作误判为有问题，导致执行模型被迫反复重来，浪费大量资源却没提升效果。专门训练过的CAST批评模型误判率只有13.6%左右，判断更精准。

Q3：CAST训练出来的小模型真的能超过大模型吗？

A：是的。论文数据显示，CAST-Critic-8B这个只有80亿参数的批评模型搭配后，在pass^4这个衡量重复稳定性的指标上达到19.5%，超过了参数量15倍于它的GPT-OSS-120B模型（16.9%），说明可靠性不完全取决于模型规模。