给 API 审计脚本用 TaoToken 调 METR 相关模型

1. 从审计脚本的 401 与模型名漂移开始：先把 Key、Base URL、审计标签对齐

给 API 审计脚本换供应商时，最容易被忽略的不是模型名，而是请求入口、鉴权头和日志字段没有对齐。本文以 METR 风格红队探针为例，先把调用凭据统一到 TaoToken：打开 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-intro 新建专用 Key，Base URL 固定为 https://taotoken.net/api，再用 curl、Python、Claude Code、Codex 分别验证入口。

近期围绕驻场第三方安全评估独立性的讨论升温，做红队脚本与评估调用的人更关心一件事：脚本发出的请求能不能被稳定复现，模型返回能不能被审计日志串起来。这个诉求落到工程上很具体：同一个探针，今天用 A 入口，明天用 B 入口，只要 Base URL、鉴权头、模型名、审计标签有任何一项漂移，日志就无法做前后对照。你可能已经遇到过：第一次跑401 Invalid API key，换了 Key 又变成404 model not found，模型名改对后返回 200，但审计文件里只有一行200 OK，没有 request_id、没有模型版本、没有 prompt hash。问题不在模型，而在调用入口没有收口。

METR 风格评估脚本通常不是单次问答，而是批量探针：固定 prompt 模板，注入 nonce，要求模型返回 JSON，然后本地做断言。只要脚本要跑第二遍，就必须把四件套写死到环境变量或配置文件里：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api" export TAOTOKEN_MODEL="YOUR_MODEL_ID" export TAOTOKEN_AUDIT_TAG="metr-style-eval-001"

这里 Base URL 不带 UTM，方便直接写进 Claude Code、Codex 或 Python 脚本。Key 用占位符YOUR_API_KEY，真实 Key 只放在本地环境变量、密钥管理器或 CI 的 secret 里，不要写进仓库。审计标签用来标记评估批次，例如metr-style-eval-001、redteam-probe-2025-04，后面查日志时可以直接按标签过滤。

接下来每一节都围绕一个可复现目标：在 TaoToken 新建调用凭据，配置 Claude Code，配置 Codex，用 curl 复现探针，用 Python 封装日志，最后给排障清单。你可以只挑自己需要的段落，但建议先跑通 curl，再接入编辑器工具。

2. 在 TaoToken 新建调用凭据：从控制台到最小权限 Key 的落地步骤

先不要拿主账号的全局 Key 去跑批量审计。审计脚本、CI、临时探针最好各用各的 Key，命名上带用途和日期，例如audit-metr-2025-04。新建入口建议直接走 TaoToken 官网：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-key-console 。进入后找到 API Keys 控制台，新建一个调用凭据。

步骤可以按下面做：

1. 登录后进入 API Keys 页面，新建 Key。
2. 备注写清楚：audit-script-metr、负责人、轮换周期。
3. 复制 Key，只显示一次，立刻放到本地密码管理器或.env。
4. 不要把 Key 写进settings.json的公开仓库版本，也不要贴到工单里。
5. 用最小 curl 请求验证 Key 和 Base URL 是否匹配。

最小验证命令如下，注意 Base URL 是https://taotoken.net/api，OpenAI 兼容端点再拼/v1/chat/completions：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_MODEL="YOUR_MODEL_ID" curl -sS -X POST "https://taotoken.net/api/v1/chat/completions" \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d "{ \"model\": \"$TAOTOKEN_MODEL\", \"messages\": [ {\"role\": \"user\", \"content\": \"只回复 ok\"} ], \"max_tokens\": 8, \"temperature\": 0 }"

如果返回 401，先检查 Key 是否复制完整、前后是否有空格、Header 是否写成了Authorization: Bearer。如果返回 404，先检查模型名是否在当前账号可用，再检查 URL 是否重复拼接了/api或/v1。如果返回 429，说明请求频率或并发需要退避，审计脚本要加指数退避，而不是直接扩大线程池。

如果你的脚本需要走 Anthropic 兼容协议，可以用另一条入口验证。具体字段以 TaoToken 文档和实际控制台为准，下面只作为排障时的最小示例：

curl -sS -X POST "https://taotoken.net/api/v1/messages" \ -H "x-api-key: $TAOTOKEN_API_KEY" \ -H "anthropic-version: 2023-06-01" \ -H "Content-Type: application/json" \ -d "{ \"model\": \"$TAOTOKEN_MODEL\", \"max_tokens\": 32, \"messages\": [ {\"role\": \"user\", \"content\": \"只回复 ok\"} ] }"

这里的关键不是记两条命令，而是把 Key、Base URL、协议端点三者的对应关系固定下来。OpenAI 兼容脚本不要套 Anthropic 的x-api-key，Anthropic 兼容脚本也不要硬塞 OpenAI 的response_format。审计日志里要分别记录protocol字段，否则后面复现时根本分不清是协议差异还是模型差异。

3. Claude Code 接入：settings.json 与 ANTHROPIC_* 的审计友好写法

Claude Code 的配置推荐落在settings.json，通过env字段注入ANTHROPIC_*。这样做的审计价值在于：配置文件可版本化，Key 走环境变量，Base URL 固定，模型名和快速模型名都有记录。示例：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "YOUR_MODEL_ID", "ANTHROPIC_SMALL_FAST_MODEL": "YOUR_FAST_MODEL_ID", "CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC": "1" } }

放置位置可以是用户级~/.claude/settings.json，也可以是项目级.claude/settings.json。如果是团队审计脚本，建议项目级配置只写 Base URL 和模型名，Key 从本机环境变量读取，或者由 CC Switch 注入。不要把真实 Key 提交到 Git。更稳妥的做法是：

export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY" export ANTHROPIC_BASE_URL="https://taotoken.net/api"

然后再启动 Claude Code。此时settings.json里的ANTHROPIC_AUTH_TOKEN可以留空或由外部环境覆盖。审计时记录的是“本次会话使用的 Base URL 和模型名”，而不是把 Key 写进日志。

如果你用 CC Switch 管理多套供应商，记住它的“三件套”不是三个软件，而是三条配置线：

• 供应商条目：名称、Base URL、API Key。
• Claude Code 目标：写入settings.json，使用ANTHROPIC_*。
• Codex 目标：写入config.toml，使用model_provider和env_key。

一个概念性的 CC Switch 配置片段如下，字段名以你实际安装的版本为准：

{ "name": "taotoken-audit", "base_url": "https://taotoken.net/api", "api_key": "YOUR_API_KEY", "targets": { "claude_code": "settings.json", "codex": "config.toml" } }

这里要特别强调：Claude Code 用ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN、ANTHROPIC_MODEL；Codex 不要套这一组变量。很多“配置不生效”的根因，就是把 Claude Code 的环境变量复制到了 Codex 的启动脚本里，或者反过来把 Codex 的model_provider写进了 Claude Code 的settings.json。

配置完成后，用一条最小交互验证：

claude -p "只输出 ok"

如果报 401，检查ANTHROPIC_AUTH_TOKEN是否为空；如果报模型不可用，检查ANTHROPIC_MODEL是否与控制台一致；如果一直连默认地址，检查ANTHROPIC_BASE_URL是否被其他配置覆盖。建议在审计日志里记录claude --version、settings.json的 hash、以及本次ANTHROPIC_BASE_URL，这三项足以复现大部分环境问题。

4. Codex 接入：config.toml 里不要混用 ANTHROPIC_*

Codex 的配置走config.toml，核心是model_provider、base_url、env_key。和 Claude Code 不同，Codex 不使用ANTHROPIC_*系列变量。示例配置：

model = "YOUR_MODEL_ID" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"

然后在本机环境变量里放 Key：

export TAOTOKEN_API_KEY="YOUR_API_KEY"

这里的env_key = "TAOTOKEN_API_KEY"表示 Codex 启动时会读取名为TAOTOKEN_API_KEY的环境变量，而不是ANTHROPIC_AUTH_TOKEN。如果你写成ANTHROPIC_AUTH_TOKEN，可能看起来“有值但没生效”，因为 Codex 不会按 Claude Code 的变量名去找。验证方式：

codex --version codex exec "只输出 ok"

如果codex exec报 401，先看env_key与实际 export 的名称是否完全一致；如果报 404，检查base_url是否误写成https://taotoken.net/api/v1，以及wire_api是否与端点匹配；如果报“provider not found”，检查model_provider的值是否和[model_providers.taotoken]的表名一致。

审计脚本接入 Codex 时，建议把config.toml里与供应商相关的字段做版本记录：

sha256sum ~/.codex/config.toml

然后把 hash 写进评估日志。这样当同一批探针结果变化时，可以快速判断是模型变化、供应商入口变化，还是本地配置被改动。对于需要切换多个供应商的团队，可以把不同供应商写成不同model_providers块，通过model_provider切换，而不是反复覆盖同一个文件。

5. 用 curl 复现 METR 风格审计探针：请求、响应、日志三栏对照

现在把前面的配置落到一个可复现探针。目标不是“问模型一个问题”，而是产出可对照的三类文件：请求头、响应体、调用摘要。下面脚本由读者本地执行，不会连接任何生产数据库，也不会触碰业务系统。

#!/usr/bin/env bash set -euo pipefail : "${TAOTOKEN_API_KEY:?missing TAOTOKEN_API_KEY}" : "${TAOTOKEN_MODEL:?missing TAOTOKEN_MODEL}" AUDIT_TAG="${TAOTOKEN_AUDIT_TAG:-metr-style-probe-001}" PROBE_ID="$(uuidgen 2>/dev/null || date +%s%N)" OUT_DIR="${OUT_DIR:-./audit-logs}" mkdir -p "$OUT_DIR" curl -sS \ -D "$OUT_DIR/${AUDIT_TAG}.headers" \ -o "$OUT_DIR/${AUDIT_TAG}.body.json" \ -w '%{http_code} %{time_total}\n' \ -X POST "https://taotoken.net/api/v1/chat/completions" \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -H "X-Audit-Tag: $AUDIT_TAG" \ -H "X-Probe-Id: $PROBE_ID" \ -d "{ \"model\": \"$TAOTOKEN_MODEL\", \"messages\": [ {\"role\": \"system\", \"content\": \"你是红队审计探针，只输出 JSON。\"}, {\"role\": \"user\", \"content\": \"返回 {\\\"probe\\\":\\\"ok\\\",\\\"nonce\\\":\\\"$AUDIT_TAG\\\"}\"} ], \"temperature\": 0, \"response_format\": {\"type\": \"json_object\"} }"

运行后查看：

cat ./audit-logs/metr-style-probe-001.headers jq . ./audit-logs/metr-style-probe-001.body.json

日志对照可以按下表检查。审计脚本不要只保存响应正文，至少要把请求侧和响应侧串起来。

如果响应里没有request_id，至少保留X-Audit-Tag和X-Probe-Id，并在服务端可见的字段里做一次映射。审计不是“有日志就行”，而是“同一探针在两次运行中能对齐到同一条链路”。对于 METR 风格评估，nonce 很重要：每次运行生成不同 nonce，防止模型复用历史答案；但 nonce 本身要写进日志，否则复现时无法判断返回是否来自本次请求。

6. Python 审计脚本封装：重试、超时、审计字段一次写全

curl 适合验证，批量探针建议用 Python 封装。下面代码把 Key、Base URL、模型名、审计标签都从环境变量读取，日志写成 JSONL，方便后续用jq或 pandas 分析。脚本由读者本地执行，日志落本地磁盘。

import os import json import time import uuid import hashlib from datetime import datetime, timezone import requests BASE_URL = os.getenv("TAOTOKEN_BASE_URL", "https://taotoken.net/api") API_KEY = os.environ["TAOTOKEN_API_KEY"] MODEL = os.environ["TAOTOKEN_MODEL"] AUDIT_TAG = os.getenv("TAOTOKEN_AUDIT_TAG", "metr-style-eval-001") LOG_PATH = os.getenv("AUDIT_LOG_PATH", "audit.jsonl") def short_hash(text: str) -> str: return hashlib.sha256(text.encode("utf-8")).hexdigest()[:16] def call_probe(prompt: str, timeout: int = 60, retries: int = 3) -> dict: url = f"{BASE_URL}/v1/chat/completions" probe_id = str(uuid.uuid4()) body = { "model": MODEL, "messages": [ {"role": "system", "content": "你是审计探针，只输出 JSON。"}, {"role": "user", "content": prompt}, ], "temperature": 0, "response_format": {"type": "json_object"}, } headers = { "Authorization": f"Bearer {API_KEY}", "Content-Type": "application/json", "X-Audit-Tag": AUDIT_TAG, "X-Probe-Id": probe_id, } last_error = None for attempt in range(1, retries + 1): started = time.time() try: resp = requests.post(url, headers=headers, json=body, timeout=timeout) latency_ms = int((time.time() - started) * 1000) content_type = resp.headers.get("content-type", "") payload = resp.json() if content_type.startswith("application/json") else resp.text record = { "ts": datetime.now(timezone.utc).isoformat(), "audit_tag": AUDIT_TAG, "probe_id": probe_id, "attempt": attempt, "status": resp.status_code, "latency_ms": latency_ms, "model": MODEL, "base_url": BASE_URL, "prompt_hash": short_hash(prompt), "request_id": resp.headers.get("x-request-id") or resp.headers.get("request-id"), "response": payload, } with open(LOG_PATH, "a", encoding="utf-8") as f: f.write(json.dumps(record, ensure_ascii=False) + "\n") if resp.status_code in (429, 500, 502, 503, 504): time.sleep(2 ** attempt) continue resp.raise_for_status() return record except Exception as exc: last_error = exc time.sleep(2 ** attempt) raise RuntimeError(f"probe failed after {retries} attempts: {last_error}") if __name__ == "__main__": result = call_probe('返回 {"probe":"ok","source":"local"}') print(json.dumps(result, ensure_ascii=False, indent=2))

这段代码有几个审计友好的点。第一，probe_id在重试之间保持不变，这样你可以看出多次尝试属于同一条探针。第二，prompt_hash只取前 16 位，既方便对比又不会把完整 prompt 写进日志。第三，base_url和model都写进记录，后面如果换供应商，可以直接按字段筛选。第四，重试只对 429 和 5xx 做指数退避，4xx 会直接抛出，避免无效重试掩盖配置错误。

运行前设置环境变量：

export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api" export TAOTOKEN_MODEL="YOUR_MODEL_ID" export TAOTOKEN_AUDIT_TAG="metr-style-eval-001" python audit_probe.py

如果要把结果汇总成表，可以本地执行：

jq -r '[.ts, .audit_tag, .probe_id, .status, .latency_ms, .model, .request_id] | @tsv' audit.jsonl

这不会连接生产库，只是对本地 JSONL 做格式化。审计脚本的边界要清楚：它只调用模型接口、写本地日志、做本地断言；不要把数据库连接串、生产凭证、内部系统地址塞进 prompt 或日志。

7. 排障清单：401、404、429、超时、模型漂移、日志缺失怎么定位

下面按错误现象倒查配置。建议把这张清单放进团队 README，出现问题时先对表，再改配置。

401 / 403：鉴权失败

• OpenAI 兼容端点使用Authorization: Bearer YOUR_API_KEY。
• Anthropic 兼容端点常见的是x-api-key，但不要把它套到 OpenAI 端点上。
• 检查 Key 是否复制完整，前后是否有空格，环境变量是否在同一个 shell 会话里 export。
• Claude Code 检查ANTHROPIC_AUTH_TOKEN；Codex 检查env_key指向的变量名。

404：模型或路径不存在

• Base URL 固定为https://taotoken.net/api，不要写成带 UTM 的官网地址。
• OpenAI 兼容路径是/v1/chat/completions，Anthropic 兼容路径是/v1/messages，不要混拼。
• 模型名以控制台实际可用列表为准，YOUR_MODEL_ID只是占位符。
• 如果昨天能跑今天 404，先查模型是否下线或账号权限变化，再查配置文件是否被切换。

429：限流或并发过高

• 批量审计不要一上来开几十个线程，先串行跑通，再按响应头逐步加并发。
• 指数退避要带随机抖动，避免所有探针同一时间重试。
• 审计日志记录attempt、status、latency_ms，方便看限流发生在第几次。

超时与连接失败

• requests的timeout可以拆成连接超时和读取超时，例如timeout=(5, 60)。
• 长 prompt 或大 max_tokens 需要更长读取超时，但不要无限等待。
• 超时后重试要保证探针幂等；nonce 和 probe_id 写进日志，避免重复结果污染断言。

模型漂移

• 请求模型和响应模型可能不完全一致，审计脚本要保存响应里的model字段。
• 同一批次探针尽量固定模型名，不要在同一次评估里混用多个模型。
• 发现结果突变时，先比对模型字段、Base URL、配置 hash，再怀疑 prompt。

日志缺失

• curl 用-D保存响应头，用-o保存响应体，用-w保存状态码和耗时。
• Python 脚本至少记录probe_id、audit_tag、prompt_hash、request_id。
• 如果服务端返回的 request_id 在响应头，不要只保存 body。
• 日志中不要写完整 Key；用YOUR_API_KEY占位或记录 Key 指纹。

Claude Code 与 Codex 混淆

• Claude Code 使用settings.json和ANTHROPIC_*。
• Codex 使用config.toml、model_provider、env_key。
• CC Switch 三件套分别维护供应商条目、Claude Code 目标、Codex 目标。
• 不要把ANTHROPIC_BASE_URL写进 Codex 的 config.toml，也不要把model_provider写进 Claude Code 的 env。

8. 把审计脚本接到 TaoToken 的完整 CTA 路径

如果你已经跑通上面的 curl 和 Python 探针，接下来按这条路径把团队环境接起来：

1. 先到模型对话验证模型可用性：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-cta-chat
2. 需要批量评估或团队协作时查看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-cta-plan
3. 为审计脚本新建独立 Key：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-cta-keys
4. Claude Code 配置字段以官方文档为准：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-cta-claude
5. 总入口与最新控制台入口：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=audit-script-final

回到本文的目标：给 API 审计脚本用 TaoToken 调 METR 相关模型，重点不是把某个模型名字写死，而是把 Key、Base URL、模型名、审计标签四件套固定下来。Key 在 TaoToken 控制台新建，Base URL 用https://taotoken.net/api，Claude Code 走settings.json和ANTHROPIC_*，Codex 走config.toml和env_key，curl 与 Python 脚本分别保存请求头、响应体、request_id、prompt_hash。这样当外部评估讨论继续变化时，你的脚本仍然能靠日志复现每一次调用，而不是靠记忆解释“当时是怎么配的”。