满意度高却任务失败？TaoToken Key 拆开 LLM judge 与模拟用户

1. 从judge_score=0.91到task_success=false：GAUGE 给评测工程师的告警

当你的评测 Harness 里同时出现judge_score=0.91和task_success=false，先别急着调采样温度。GAUGE 这类研究提醒我们：LLM 模拟用户加 LLM judge 并不是天然可信的奖励信号。想复现类似评测，先到 TaoToken 官网获取 Key（https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=gauge_intro），Base URL 填https://taotoken.net/api，再分别调用 LLM judge 与模拟用户。很多评测脚本一开始就把两个角色塞给同一个模型别名，结果日志里只有一行满意度，看不出“满意但没做完”的缺口。GAUGE 给出的量化结果很直接：满意标签与真实完成之间存在明显缺口，57.5% 的满意会话没有完成客户任务；当两个智能体能力接近时，这一评估关卡有 31% 的配对把奖励更低的一方排到前面；能力差距拉开后，错配比例降到不足 1%。这意味着 LLM judge 不是不能用，而是不能单独用。作为评测工程师，更稳的做法是把“模拟用户”“LLM judge”“任务成功校验器”拆成三个独立角色，用不同模型、不同供应商、不同提示词边界来降低共识偏差，并把满意度、任务成功、Token 消耗一起记进对照表。

这篇文章不讨论论文八卦，只做一件事：把你本地那套“LLM 模拟用户 + LLM judge”的评测工作流改成可排障、可复现、可计费的工程配置。你会看到 TaoToken Key 如何接入通用 OpenAI 兼容脚本，如何分别配置 Claude Code 的settings.json与 Codex 的config.toml，以及如何用 CC Switch 三件套快速切换 judge 模型和模拟用户模型。最后你会得到一张满意度、任务成功、Token 消耗对照表模板，用来判断什么时候该相信 judge，什么时候该让硬校验器接管。

2. 拆开两个角色：模拟用户、LLM judge 与任务成功校验器

GAUGE 最值得评测工程师带走的结论不是“judge 不准”，而是“角色混在一起时，你无法定位误差来源”。一个典型评测 Harness 至少有四个参与者：

1. 模拟用户：根据任务说明扮演客户，提出需求、追问、改需求，但不应该给最终分数。
2. 被测智能体：真正执行任务的一方，可能是你的业务 Agent，也可能是某个基座模型。
3. LLM judge：读取完整对话和任务说明，输出满意度、偏好或奖励分。
4. 任务成功校验器：用规则、数据库状态、API 返回、文件断言等硬信号判断任务是否完成。

如果模拟用户和 LLM judge 来自同一个模型家族，甚至用了同一套系统提示词，它们容易对“什么算好”形成同源偏好。被测智能体只要顺着这种偏好说话，就可能拿到高满意度，但真实任务状态没有改变。GAUGE 里“能力相近的智能体之间 31% 配对选错”正是这种场景：两个 Agent 都能把对话圆回来，judge 分不清谁真正完成了任务。相反，当两个 Agent 能力差距很大时，错配比例不足 1%，说明 judge 并非完全无效，只是它的分辨力在接近区间里不够。

因此，评测工程师要做的第一件事是供应商级隔离。你可以继续用 TaoToken 作为统一入口，但给不同角色分配不同模型 ID。获取 Key 的入口仍然是 TaoToken 官网（https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=gauge_split_roles），Base URL 保持https://taotoken.net/api。这样你不需要在每个脚本里维护多套鉴权，只需要在调用时传入不同的model参数。建议至少做三组隔离：

• 模拟用户用轻量、听话、温度稍高的模型，让它更像真实客户。
• LLM judge 用更强、更稳、温度更低的模型，减少随机偏好。
• 硬校验器不调用模型，直接读任务执行后的世界状态。

如果你暂时只有一个模型可用，也至少要把模拟用户和 judge 的提示词、输出格式、调用日志拆开。不要让模拟用户在对话末尾顺便打一个“满意度 0.9”，那会把生成角色和评判角色混在一起。模拟用户只负责产生对话，judge 只负责读对话和任务说明，硬校验器只负责回答“任务完成没有”。这三条日志必须分别落盘，后面那张对照表才有意义。

3. 用 TaoToken Key 接入评测 Harness：双模型脚本与 Token 记录

下面这段 Python 代码是通用 OpenAI 兼容写法，不依赖某个特定评测框架。你可以在本地 Harness 里把它当成调用层，把YOUR_API_KEY换成从 TaoToken 控制台创建的 Key，把YOUR_SIM_USER_MODEL和YOUR_JUDGE_MODEL换成你在模型列表里选定的模型 ID。Base URL 固定为https://taotoken.net/api，不要加 UTM 参数。

import os import time from openai import OpenAI client = OpenAI( api_key=os.getenv("TAOTOKEN_API_KEY", "YOUR_API_KEY"), base_url="https://taotoken.net/api", timeout=60.0, max_retries=2, ) SIM_USER_MODEL = os.getenv("SIM_USER_MODEL", "YOUR_SIM_USER_MODEL") JUDGE_MODEL = os.getenv("JUDGE_MODEL", "YOUR_JUDGE_MODEL") def call_model(model: str, messages: list, temperature: float = 0.2): start = time.time() resp = client.chat.completions.create( model=model, messages=messages, temperature=temperature, ) latency_ms = int((time.time() - start) * 1000) usage = resp.usage return { "content": resp.choices[0].message.content, "prompt_tokens": usage.prompt_tokens if usage else 0, "completion_tokens": usage.completion_tokens if usage else 0, "total_tokens": usage.total_tokens if usage else 0, "latency_ms": latency_ms, } def simulate_user(task_spec: str, history: list, turn: int): system = ( "你是一个真实客户。只根据任务说明提出需求、追问或修改要求。" "不要评价助手，不要输出分数，不要总结任务是否完成。" "每次回复尽量简短、自然，最多三句话。" ) messages = [{"role": "system", "content": system}] messages.append({"role": "user", "content": f"任务说明：{task_spec}"}) for item in history: messages.append(item) messages.append({"role": "user", "content": f"这是第 {turn} 轮，请继续扮演客户。"}) return call_model(SIM_USER_MODEL, messages, temperature=0.7) def judge_dialogue(task_spec: str, history: list): system = ( "你是评测裁判。只读取任务说明和完整对话，输出 JSON。" "字段包括 satisfaction（0 到 1）和 reason。" "不要假设任务已经完成，不要替被测助手补全步骤。" ) dialogue_text = "\n".join( f"{m['role']}: {m['content']}" for m in history ) messages = [ {"role": "system", "content": system}, {"role": "user", "content": f"任务说明：{task_spec}\n\n对话：\n{dialogue_text}"}, ] return call_model(JUDGE_MODEL, messages, temperature=0.0)

这段代码的关键点有三个。第一，模拟用户和 judge 是两次独立调用，模型 ID 可以不同。第二，每次调用都返回 Token 用量和延迟，方便后面做成本对照。第三，judge 提示词明确要求“不要假设任务已经完成”，这能减少一部分过度乐观评分。你还可以在 judge 输出后增加一个硬校验步骤，例如检查文件是否存在、数据库记录是否写入、订单状态是否变化。硬校验不调用模型，因此不会被语言风格带偏。

如果你要把这套脚本跑成批量评测，建议每轮对话都记录run_id、turn、role、model、total_tokens。最后聚合时，你会得到每个会话的满意度、任务成功布尔值、总 Token 消耗。GAUGE 的 57.5% 缺口往往就在聚合表里出现：满意度列很高，任务成功列却大量为 false。此时不要急着换 judge 提示词，先确认模拟用户和 judge 是否用了同一模型、同一供应商、同一温度。如果三者都相同，31% 的接近区间错配很可能已经混进你的数据。

4. Claude Code 配置：settings.json与ANTHROPIC_*只用于 Claude Code

如果你在 Claude Code 里做评测辅助，比如让它读评测日志、生成对照表、检查配置，可以把 Claude Code 的上游切到 TaoToken。Claude Code 使用ANTHROPIC_*系列环境变量，配置可以放在~/.claude/settings.json或项目级.claude/settings.json。注意：ANTHROPIC_*只适用于 Claude Code，不要把它套到 Codex 的config.toml里。

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "YOUR_CLAUDE_MODEL_ID", "ANTHROPIC_SMALL_FAST_MODEL": "YOUR_SMALL_FAST_MODEL_ID" } }

保存后重启 Claude Code，或者新开终端让它重新读取配置。你可以用一句简单请求验证连通性，例如让它读取一个本地 CSV 并输出行数。如果返回正常，说明ANTHROPIC_BASE_URL和ANTHROPIC_AUTH_TOKEN已生效。若出现 401，先检查 Key 是否来自 TaoToken 控制台，是否有多余空格；若出现模型不存在，检查ANTHROPIC_MODEL是否写成了模型列表里的准确 ID。TaoToken 官网（https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=gauge_claude_code）可以进入控制台创建 Key，Base URL 仍然填https://taotoken.net/api。

在评测工作流里，Claude Code 适合做三件事：

• 读取gauge_runs.csv，统计满意度与任务成功的差异。
• 检查settings.json、config.toml、CC Switch 配置是否有字段错配。
• 根据 Token 消耗列，标出 judge 调用成本最高的会话。

但不要让 Claude Code 直接修改你的评测结果，也不要让同一个模型同时扮演模拟用户和 judge。Claude Code 在这里是工程助手，不是评测裁判。

5. Codex 配置：config.toml不要混用ANTHROPIC_*

Codex 的配置入口是config.toml，通常放在~/.codex/config.toml。它和 Claude Code 的环境变量体系不同，因此不要为了省事把ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN写进 Codex。正确做法是在config.toml里声明一个自定义 model provider，把base_url指向https://taotoken.net/api，再用env_key读取环境变量中的 Key。

model = "YOUR_CODEX_MODEL_ID" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY"

然后在 shell 里设置：

export TAOTOKEN_API_KEY="YOUR_API_KEY"

如果你使用 PowerShell：

$env:TAOTOKEN_API_KEY="YOUR_API_KEY"

配置完成后，Codex 的请求会走 TaoToken。你可以用它来检查评测脚本、生成对照表模板、审查提示词。如果 Codex 报鉴权失败，先确认env_key与 shell 变量名一致；如果报模型不可用，确认model字段是模型列表中的准确 ID。再次强调：Codex 用config.toml，Claude Code 用settings.json与ANTHROPIC_*，两套配置不要互相复制。

在评测场景里，Codex 可以帮你做静态检查：例如检查 judge 提示词是否包含“不要假设任务完成”，检查模拟用户提示词是否意外要求输出分数，检查 CSV 是否包含task_success列。它不应该直接参与 judge 调用，否则你只是把另一个模型拉进了同源偏差。

6. CC Switch 三件套：供应商、Key、模型如何切分

如果你同时使用多个 CLI 或经常在 judge 模型与模拟用户模型之间切换，可以用 CC Switch 这类配置管理工具。核心不是工具名字，而是把三件套拆清楚：上游地址、鉴权 Key、默认模型。只要这三项独立，你就能快速切换不同角色，而不必手改脚本。

下面是一个通用 YAML 示例，字段名按你本地 CC Switch 的实际要求调整。重点是每个 profile 都有自己的模型 ID，但共享同一个 Base URL 和同一类 Key。

profiles: - name: judge-strong base_url: https://taotoken.net/api api_key: YOUR_API_KEY model: YOUR_JUDGE_MODEL role: llm_judge temperature: 0.0 - name: sim-user-light base_url: https://taotoken.net/api api_key: YOUR_API_KEY model: YOUR_SIM_USER_MODEL role: simulated_user temperature: 0.7 - name: codex-review base_url: https://taotoken.net/api api_key: YOUR_API_KEY model: YOUR_CODEX_MODEL_ID role: engineering_assistant temperature: 0.2

这样切换时，你只需要选择 profile 名称。评测 Harness 启动时读取role=llm_judge的模型 ID，模拟用户读取role=simulated_user的模型 ID。Token 消耗也会分别归集到不同 profile，方便后面判断 judge 成本是否过高。如果发现 judge 和模拟用户仍然给出高度一致的乐观评分，优先检查它们是否在 CC Switch 里被映射到了同一个模型。

CC Switch 三件套的排障顺序建议固定为：

1. 先看base_url是否为https://taotoken.net/api。
2. 再看api_key是否与当前环境变量一致，避免旧 Key 残留。
3. 最后看model是否真的存在于 TaoToken 模型列表。
4. 若都正确，再检查提示词是否让两个角色过度共享上下文。

7. 复现对照表：满意度、任务成功、Token 消耗

要复现 GAUGE 这类观察，不需要一次跑几千条。你可以先构造 30 到 50 条任务型会话，覆盖查询、预订、修改、取消、投诉等类型，然后记录每次运行的满意度、任务成功和 Token 消耗。下面是一张 CSV 模板，你可以直接落盘为gauge_runs.csv。

run_id,sim_user_model,judge_model,agent_model,satisfaction,task_success,prompt_tokens,completion_tokens,total_tokens,judge_flip r001,YOUR_SIM_USER_MODEL,YOUR_JUDGE_MODEL,agent_v1,0.91,false,1820,640,2460,false r002,YOUR_SIM_USER_MODEL,YOUR_JUDGE_MODEL,agent_v1,0.88,false,2010,710,2720,false r003,YOUR_SIM_USER_MODEL,YOUR_JUDGE_MODEL,agent_v2,0.86,true,1950,680,2630,false r004,YOUR_SIM_USER_MODEL,YOUR_JUDGE_MODEL,agent_v2,0.89,false,2100,730,2830,true r005,YOUR_SIM_USER_MODEL,YOUR_JUDGE_MODEL,agent_v1,0.93,true,1760,620,2380,false

其中judge_flip表示同一对 Agent 交换左右顺序后，judge 偏好是否翻转。GAUGE 里“能力相近时 31% 配对选错”对应到你的表里，就是judge_flip=true或satisfaction与task_success明显背离。你可以用下面这段脚本做聚合：

import csv from statistics import mean rows = [] with open("gauge_runs.csv", "r", encoding="utf-8") as f: for row in csv.DictReader(f): row["satisfaction"] = float(row["satisfaction"]) row["task_success"] = row["task_success"].lower() == "true" row["total_tokens"] = int(row["total_tokens"]) row["judge_flip"] = row["judge_flip"].lower() == "true" rows.append(row) total = len(rows) success_count = sum(1 for r in rows if r["task_success"]) satisfied_but_failed = sum( 1 for r in rows if r["satisfaction"] >= 0.8 and not r["task_success"] ) flip_count = sum(1 for r in rows if r["judge_flip"]) print(f"总会话: {total}") print(f"任务成功: {success_count} / {total} = {success_count / total:.1%}") print(f"高满意但失败: {satisfied_but_failed} / {total} = {satisfied_but_failed / total:.1%}") print(f"judge 偏好翻转: {flip_count} / {total} = {flip_count / total:.1%}") print(f"平均满意度: {mean(r['satisfaction'] for r in rows):.3f}") print(f"平均 Token: {mean(r['total_tokens'] for r in rows):.0f}")

当你看到“高满意但失败”比例接近 GAUGE 的 57.5% 量级时，不要直接宣布 judge 失效。更合理的动作是：

• 把 judge 模型换成更强、温度更低的模型。
• 增加第二个 judge，用不同供应商或不同模型家族，做多数投票。
• 对任务成功增加硬校验，例如检查订单状态、文件内容、数据库记录。
• 把模拟用户和 judge 的模型 ID 彻底分开。
• 记录每次调用的 Token，确认成本是否可接受。

这张表还有一个用途：比较不同 judge 模型。你可以固定模拟用户模型和被测 Agent，只替换 judge 模型，观察satisfaction与task_success的相关性。如果两个 judge 给出的满意度差异很大，而硬校验结果稳定，说明满意度信号本身噪声较高，应该降低它在奖励函数中的权重。

8. 排障与校验：什么时候不能信任 LLM judge

结合 GAUGE 的结论和上面的工程配置，可以把“不能信任 judge”的场景收拢成几条排障规则。

第一，能力相近的 Agent 对比，不要只信单次 judge 偏好。31% 的接近区间错配意味着，当两个 Agent 得分接近时，judge 的选择可能接近随机。此时应该引入硬校验，或者让多个 judge 独立投票，而不是直接奖励胜出方。

第二，满意度不能作为任务成功的代理指标。57.5% 的满意会话没有完成客户任务，说明语言层面的“满意”和世界状态层面的“完成”是两件事。评测工程师必须把task_success单独记录，不能只在报告里写平均满意度。

第三，模拟用户和 judge 不要同源。同源模型容易共享语气偏好和知识盲区，导致被测 Agent 只要模仿某种表达方式就能拿高分。用 TaoToken 统一 Base URL 后，你可以轻松给两个角色分配不同模型 ID，降低共识偏差。

第四，judge 提示词要禁止脑补。明确要求 judge 只根据对话和任务说明评分，不得假设未展示的步骤已经完成。如果任务成功依赖外部状态，必须在硬校验器里读取真实状态，而不是让 judge 猜测。

第五，Token 消耗要和评测质量一起看。强 judge 通常更贵，模拟用户多轮对话也会累积 Token。对照表里的total_tokens能帮你判断：为了降低 31% 的错配，多花多少 Token 是值得的。如果成本过高，可以只在能力接近的配对中启用多 judge 投票，差距大的配对用单 judge 加硬校验。

第六，所有命令和 SQL 都应由读者在本地执行。评测 Harness 只读日志和测试数据，不要直连生产库，也不要把模拟用户和 judge 的输出直接写回业务系统。任务成功校验器应该在隔离环境里检查副本或测试数据库。

当你按这套规则排障后，如果仍然出现满意度与任务成功大幅背离，优先检查模型路由是否被 CC Switch 或环境变量覆盖。常见问题是：本地 shell 里还残留旧的ANTHROPIC_BASE_URL或OPENAI_BASE_URL，导致部分请求没有走https://taotoken.net/api。解决方法是启动 Harness 前打印实际使用的 base URL 和模型 ID，确认每个角色的配置都符合预期。

9. 文末 CTA：从模型对话到 Claude Code 文档

如果你准备把上面的评测工作流跑起来，建议按这个顺序操作：

1. 先到模型对话页试模型：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=gauge_chat
2. 如果评测任务多、Token 消耗大，看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=gauge_coding_plan
3. 创建 API Key，填入 Harness 的YOUR_API_KEY：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=gauge_api_keys
4. Claude Code 用户再看配置文档：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=gauge_claude_doc

整个流程里，Base URL 始终是https://taotoken.net/api。TaoToken 官网入口在这里：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=gauge_final。先把模拟用户和 LLM judge 拆开，再把满意度、任务成功、Token 消耗写进同一张对照表。GAUGE 的 57.5% 和 31% 不是让你放弃 LLM judge，而是提醒你：在能力接近、语言流畅、任务状态不透明的场景里，必须让硬校验器和多模型隔离一起上场。