AI 卡住了怎么办？AgentLab 人在回路（HITL）Agent 让专家标注提升性能

做 Web Agent 的人都遇到过同一个噩梦：Agent 在网页上反复点错、绕圈子、对着弹窗发呆，怎么都走不出来。AgentLab 人在回路（HITL）Agent正是为这个痛点而生——它让领域专家坐在 Agent 旁边，看着它每一步给出的候选动作，必要时点一下、补一句提示（hint），把"专家判断"沉淀成可复用的标注数据，实打实地提升 Agent 在真实网页任务上的成功率。下面用大白话讲清楚三件事：Agent 为什么会卡、HITL 标注界面怎么用、专家标注如何回流成性能。

你将学到

• 🧩 Web Agent 卡住的 3 种典型表现，以及为什么会发生
• 🖱️ HITL 标注界面长什么样，一次"点选 + 提示"的完整回合
• 🔁 专家标注如何变成hint数据库，让性能在没有专家时也能提升
• 🚀agentlab-mentor命令三步跑通全流程

先搞清楚：Web Agent 为什么会"卡住"

Web Agent 的操作对象是一张张真实的网页——电商、论坛、后台系统，元素多、状态复杂。它靠大模型"看图 + 读结构"来决定下一步，于是常常掉进这几类坑：

• 点错目标：页面上长得几乎一样的按钮很多，Agent 选错了对象。
• 被动态内容晃晕：弹窗、下拉菜单、加载中的内容会改变布局，Agent 没跟上。
• 陷入循环：试了两步发现不对劲，却"回不去"，开始原地打转。

问题在于：大模型的"常识"未必匹配某个特定网站的脾气。光靠改提示词，很难把"这个站要这么点"这类经验补进去。这时候，让懂行的人插一句嘴，往往比换模型更有效。

HITL 的核心思路：人不当司机，只当导师

"人在回路"（Human-in-the-Loop，HITL）并不是让人替 Agent 重做任务，而是让人扮演导师 / 标注员：Agent 自己跑，人只在关键处轻点一下。

它的核心机制是"多候选 + 人工裁决"：

1. 每一步，Agent 先让大模型生成3 个候选动作，每个都带上"为什么这么做"的推理（think）。
2. 同时为每个候选动作生成一张高亮截图（把即将点的元素画在页面上），方便人一眼看清后果。
3. 专家在界面上做二选一：
   • 直接选一个：点中正确的那个，执行它；
   • 写一句 hint 再"重新提问"：觉得都不对时，补上经验（比如"下拉框要先从列表里选"），让 Agent 重新生成候选。

这个"生成候选 → 高亮 → 人来选/给提示 → 执行"的循环，就封装在 HITL 主 Agent 里，见 hitl_agent.py（生成 3 个候选并做高亮截图）与裁决分支 hitl_agent.py。真正"出候选"的子 Agent 是 multi_candidate_generic_agent.py，它遵循的可插拔接口定义在 base_multi_candidate_agent.py。

标注界面长什么样：一次完整回合

HITL 用 Playwright 起一个本地页面当作"标注台"，后端逻辑在 hint_labelling.py，界面本身是 hint_labeling_ui.html。专家在右侧看到的是这几块：

• Goal / Error：当前任务目标，以及上一步的错误反馈；
• Screenshot：当前页面截图，鼠标悬停到某个候选上时，截图会切换成该候选的高亮版本；
• Hints：可以增删多条提示文本，配一个Reprompt with Hint按钮；
• Suggestions：3 个候选动作的单选列表，选中后Send Action按钮才会亮起；
• 顶部还有一条时间轴，能回看之前每一步的快照。

一个典型的回合是这样的：

专家盯着 Agent 跑任务 │ ├─ 每步：Agent 先给 3 个候选动作（各带一张高亮截图） │ ├─ 专家选中其中一个 ──────────▶ 执行该动作，进入下一步 │ └─ 觉得都不对？写一句 hint ───▶ 点 "Reprompt"，重新生成候选 │ ▼ 本步的 hint、全部候选、干预轮数 被写进实验日志

当 Agent 撞上"反常"的界面时，专家的提示就派上用场了。比如下面这种突然冒出的弹窗通知，正是最考验 Agent 判断的瞬间，也是专家最想补一句经验的地方：

值得强调的是：专家写的每一条 hint、以及这一步"干预了几轮"，都会被记进日志（见 generic_human_guided_agent.py 中写回的step_hints与n_human_intervention_rounds）。这意味着专家的知识没有白讲，它们被原样留存了下来。

从"一次标注"到"性能提升"：提示的回流闭环

只靠专家坐在旁边，规模上不去。HITL 真正值钱的地方，是它把专家经验沉淀成可离线复用的数据，形成两个阶段：

• 阶段一 · 交互标注：专家陪着 Agent 跑一批任务，顺手留下高质量 hint。
• 阶段二 · 离线复用：把这些 hint 提取进hint数据库，之后的运行由 Agent 自动检索套用，全程不需要专家在场。

阶段一到阶段二的"提取"动作，由命令行直接完成：agentlab-mentor --download-hints会扫描标注目录，把每一步的 hint 连同任务名、种子、最终奖励等元信息导出成 CSV（逻辑见 launch_hint_ui.py）。产出的数据库长这样，每条都带着"针对哪个任务、什么场景、该提示什么"：

task_name,task_seed,base_llm,semantic_keys,hint miniwob.book-flight,2,claude-3-7-sonnet,Search results,滚动条说明还有更多航班，务必在全部结果里挑出符合目标的那一班 miniwob.book-flight,2,claude-3-7-sonnet,Filling up form,红色矩形常表示输入有误

完整的示例库可直接参考 hint_db.csv。之后，"用提示"的 Agent 会按任务名 / 目标检索最相关的 hint 注入提示词，这套检索能力在 hinting.py 里，使用侧 Agent 位于 hint_use_agent/。

于是形成一条清晰的提升路径：

专家陪着跑 ──▶ 留下 hint ──▶ 汇总成 hint 数据库 ──▶ 后续运行自动检索套用 ──▶ 成功率 ↑

上手：三步跑通 HITL 标注

装好 AgentLab 后，直接用内置命令agentlab-mentor（对应入口 launch_hint_ui.py）：

① 启动人在回路标注界面

agentlab-mentor --benchmark miniwob \ --task-name miniwob.book-flight \ --seed 123 \ --no-headless

--no-headless让浏览器窗口可见，专家能同时看到 Agent 的真实操作。

② 在标注台上裁决：对每个候选，要么选中执行，要么写一句 hint 点Reprompt重新生成。

③ 把本轮专家经验导出成数据库

agentlab-mentor --download-hints extracted_hints.csv

把extracted_hints.csv并入你的hint库，就能进入阶段二，让后续运行自动受益。

什么时候该用 HITL？一张表看取舍

小结

Agent 卡住，本质是"大模型缺了某个站点的局部经验"。AgentLab 的 HITL Agent 用一个巧妙的分工解决了它：人只负责在 3 个高亮候选里做选择、补经验，Agent 负责跑和落库。专家留下的每条 hint 都会被记录、可导出、可离线复用，最终在没有专家在场时，也能为 Agent 带来可观的性能提升。

一句话记住它：人在回路负责"教"，回流闭环负责"记"，离线检索负责"用"。