LEASH：面向计算机操作智能体的感知不确定性弱‑强升级与监督框架-育师

LEASH：面向计算机操作智能体的感知不确定性弱‑强升级与监督框架

原文网页：https://arxiv.org/html/2610.22280v1
PDF链接：https://arxiv.org/pdf/2610.22280v1
arXiv编号：arXiv:2610.22280v1 [cs.AI]

摘要
计算机操作智能体需要处理长视界GUI自动化任务。每一步都调用前沿大模型开销巨大；而轻量开源小模型独立运行任务成功率往往偏低。弱‑强升级（weak‑to‑strong escalation）提供折中方案：默认由弱智能体执行，仅在必要时把控制权移交强智能体。该范式存在两大核心难题：①如何判定何时触发升级，需要每一步均可快速计算的不确定性信号；②即便移交控制权，黑盒强智能体依然可能执行迷路，而API形式的强模型不会暴露内部状态，难以监控。
本文提出LEASH，一套无需训练的推理时框架。只有当弱智能体隐层不确定性信号提示需要介入时，才启用强智能体；移交之后继续对强智能体施加约束监督。LEASH包含三层机制：①任务初始不确定性，用于任务早期路由；②步骤级不确定性，用于运行时升级；③移交之后影子观测器，持续监督黑盒强智能体。三层全部复用弱模型隐层不确定性信号：将弱模型隐状态与历史成功、失败轨迹表征库做比对；隐状态更贴近失败样本，则代表不确定性更高。弱智能体生成动作时复用已经计算得到的激活值，不需要额外前向传播，也不需要专门训练监控模块。
基于OSWorld基准，使用4套开源弱模型基座开展实验。在升级率保持一致条件下，LEASH相比随机升级策略任务成功率提升6.55‑11.94个百分点。以Qwen3.5‑35B‑A3B作为弱智能体，LEASH实现73.66%任务成功率，与全程启用Claude Opus 5（72.90%）基本持平，推理成本降低19.2%。

关键词
计算机操作智能体；弱‑强升级；不确定性估计；影子监督；成本‑精度权衡；OSWorld；GUI智能体

引言
相关工作
LEASH方法框架
- 3.1 问题形式化：预算约束下的序列停止问题
- 3.2 隐状态不确定性打分机制
- 3.3 三层系统流水线
  - 3.3.1 初始升级门控
  - 3.3.2 运行时步骤级升级门控
  - 3.3.3 移交之后影子观测监督
实验设置
实验结果
- 5.1 整体性能与成本对比
- 5.2 性能缺口恢复能力
- 5.3 消融实验
讨论与局限性
结论
附录简要说明

1 引言

计算机操作智能体（Computer‑Use Agents，CUA）接收自然语言指令与屏幕视觉观测，输出GUI界面操作，用来完成长视界桌面自动化任务。
前沿闭源模型任务表现优异，但长任务每一步调用强模型，推理成本非常高昂；仅使用轻量开源弱模型，任务完成率又存在明显短板。

弱‑强升级（weak‑to‑strong escalation，W2SE）：默认使用低成本弱智能体执行，只有检测到风险、不确定性高的时候，才把任务控制权交给能力更强的模型。该范式存在两个关键待解决问题：

何时触发升级？需要每一步开销低廉的不确定性信号。现有方案要么额外部署一套监控智能体带来额外开销；要么需要标注轨迹专门训练监控模块；部分不确定性估计依赖外部知识库、参考模型、多次采样，在长视界任务中实用性差。
移交之后如何监督强智能体？即使切换到强智能体，依然会出现执行偏离、任务失败。但商用API强智能体属于黑盒，无法访问内部隐状态；长视界任务中输出文本置信度并不可靠。

本文将弱‑强升级建模为预算约束的序列停止优化问题，使用弱智能体自身失败风险作为升级期望收益的代理指标，提出LEASH（Latent uncertainty for Escalation And SHadow oversight）框架。

LEASH核心设计：复用弱智能体推理已经产出的隐层激活做不确定性打分，无需额外前向传播，不需要专门训练监控网络。

在少量留存任务集上收集弱模型prompt、动作token对应的隐状态，打上任务/子目标成败标签，构建表征库Representation Bank。
测试阶段使用马氏距离度量，新样本隐状态距离历史失败样本越近、距离成功样本越远，不确定性越高。
同一套隐层不确定性信号同时服务三处：①任务初始路由升级；②运行时步骤级升级；③移交控制权之后弱智能体切换角色，作为影子观测器持续监控黑盒强智能体。当不确定性过高时触发干预，回滚待执行动作，使用更高推理算力重新决策。

本文主要贡献

将弱‑强升级形式化为预算约束序列停止优化问题；证明同一套隐层不确定性信号，可以同时支撑升级决策与移交之后的监督。
提出一套免训练不确定性打分方法：比对弱智能体运行时隐状态与自身历史成败表征库，不需要外部数据集、不用训练额外监控网络。
提出影子监督机制：白盒弱智能体切换为观测角色，对黑盒强智能体的执行轨迹做持续监控。
在OSWorld基准，4套不同开源弱模型基座开展评测；同等升级率下相比随机升级策略提升6.55‑11.94个百分点；可以恢复75‑102%弱‑强性能缺口，推理开销仅为全程启用强模型的69‑81%。使用Qwen3.5‑35B‑A3B弱模型，LEASH取得与全程Claude Opus5持平成功率，同时成本下降19.2%。