北大团队开源多模态记忆，TaoToken 接在 LLM 调用处

1. 北大团队开源多模态记忆后，为什么先从 LLM 调用处接 TaoToken

北大与 MemoraX AI 开源的多模态 Agent 长期记忆系统，把“聊天历史”推进到了可检索、可复用的长期状态：文本、图像、音频转写、视频关键帧描述都可能进入记忆库，Agent 在回答问题前先召回相关片段，再拼成上下文调用 LLM。真正落到工程里，记忆层可以慢慢选型，但调用层的 Token 消耗会立刻出现。要快速跑通，建议先去 TaoToken 官网 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=memory_llm_call 获取 TaoToken Key，把 Base URL 设为 https://taotoken.net/api，然后回到你的项目里只改 LLM 调用点。这样不需要先重构记忆存储，也不需要改多模态 embedding 流程，就能先验证“记忆召回 + 模型回答”这条链路是否稳定。

为什么强调“LLM 调用处”？因为多模态长期记忆系统通常包含几个模块：记忆写入、向量化、索引、检索、重排、上下文组装、LLM 生成。前几个模块决定了记忆能不能被找到，最后一个模块决定了回答质量与成本。很多团队在接入开源记忆系统时，会先花大量时间调向量库、换 embedding 模型、改分块策略，但真正上线时发现，调用 LLM 的 Base URL、Key、模型名、超时、重试、并发才是最容易卡住的地方。TaoToken 接在 LLM 调用处，正好把这一层标准化：你仍然使用 OpenAI 兼容的客户端，只需要把base_url指向https://taotoken.net/api，把api_key换成YOUR_API_KEY，其余记忆检索逻辑保持不动。

本文不把重点放在复述开源项目本身，而是给出一套可跟做的接入路径：先在 TaoToken 官网拿 Key，再配置 Claude Code、Codex、CC Switch，然后改造多模态记忆系统里的 LLM 调用片段，最后用启动命令和响应对照验证。你可以在本地测试库里先跑通，再考虑把记忆写入、检索、生成拆成独立服务。整个过程不需要让 Agent 或 MCP 直接连生产库，SQL 和命令都由你在本地执行。

2. 在 TaoToken 官网拿 Key 与确认 Base URL：三处必须对齐

接入的第一步不是改代码，而是把三个值确认清楚：官网入口、API Key、Base URL。入口建议从 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=api_key_get 进入，登录后在控制台里创建 API Key。创建完成后复制出来，后面所有配置里的YOUR_API_KEY都替换成这个值。注意不要把 Key 提交到 Git 仓库，也不要把 Key 写进前端代码。本地调试可以用环境变量，CI 里用密钥管理，容器里用 secret。

第二个值是 Base URL。TaoToken 的工具配置 Base URL 是：

https://taotoken.net/api

这个地址不要带 UTM 参数，也不要写成官网首页。官网首页链接用于获取 Key、查看文档、进入控制台；Base URL 只用于模型调用。很多 404 报错就是因为把base_url写成了https://taotoken.net或https://taotoken.net/?utm_source=...。正确的做法是：浏览器里打开官网链接拿 Key，代码里只写https://taotoken.net/api。

第三个值是模型名。不同工具对模型名的要求不同：Claude Code 通常需要 Anthropic 风格模型名，Codex 需要 OpenAI 风格或对应 provider 支持的模型名。不要凭感觉写claude-3-5-sonnet-20241022或gpt-4o，先在你自己的控制台或模型列表里确认可用模型，再填入配置。如果你只是验证调用链路，可以先选一个通用对话模型，等记忆检索逻辑跑通后再换更合适的模型。

拿 Key 的具体动作可以归纳为：

1. 打开 TaoToken 官网入口，完成登录。
2. 进入 API Keys 页面，创建一个新 Key，复制并保存。
3. 确认 Base URL 为https://taotoken.net/api。
4. 在本地终端导出环境变量，例如TAOTOKEN_API_KEY=YOUR_API_KEY。
5. 用一条最小请求验证 Key 是否有效，再接入记忆系统。

最小验证可以用curl：

export TAOTOKEN_API_KEY="YOUR_API_KEY" curl https://taotoken.net/api/v1/chat/completions \ -H "Authorization: Bearer ${TAOTOKEN_API_KEY}" \ -H "Content-Type: application/json" \ -d '{ "model": "gpt-4o-mini", "messages": [ {"role": "user", "content": "只回复：taotoken-ok"} ], "temperature": 0 }'

如果返回内容里包含taotoken-ok，说明 Key、Base URL、模型名三者至少已经对齐。如果返回 401，优先检查 Key 是否复制完整；如果返回 404，优先检查路径和 Base URL 是否重复拼接；如果返回模型不存在，换一个控制台里可用的模型再试。

3. Claude Code、Codex、CC Switch 的供应商配置：不要把 ANTHROPIC_* 套给 Codex

很多接入失败不是 Key 错，而是把不同工具的配置写混了。Claude Code 使用ANTHROPIC_*环境变量或settings.json；Codex 使用config.toml，并且应该用独立的TAOTOKEN_API_KEY或对应 provider 的环境变量；CC Switch 则关注 Provider、Base URL、API Key 三件套。下面分别给出可复制示例。

Claude Code：settings.json + ANTHROPIC_*

Claude Code 可以读取~/.claude/settings.json。把 Base URL 指向 TaoToken，把认证 Token 换成你的 Key。示例：

{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_AUTH_TOKEN": "YOUR_API_KEY", "ANTHROPIC_MODEL": "claude-sonnet-4-5" } }

如果你习惯用 shell 环境变量，也可以这样：

export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY" export ANTHROPIC_MODEL="claude-sonnet-4-5"

启动 Claude Code：

claude

进入后可以用/status查看当前配置。如果显示 Base URL 不是https://taotoken.net/api，说明 settings.json 没被读取，或者环境变量被更高优先级覆盖了。此时先检查~/.claude/settings.json是否在正确目录，再检查当前终端是否手动 export 了旧值。

Codex：config.toml，不要套 ANTHROPIC_*

Codex 的配置在~/.codex/config.toml。这里不要写ANTHROPIC_BASE_URL或ANTHROPIC_AUTH_TOKEN，因为 Codex 不是按 Claude Code 的变量体系读取。示例：

model = "gpt-5-codex" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"

然后在 shell 里导出：

export TAOTOKEN_API_KEY="YOUR_API_KEY"

再启动 Codex：

codex

如果你的 Codex 版本对wire_api取值不同，以本机codex --help或官方文档为准。核心点是：base_url必须是https://taotoken.net/api，env_key指向你实际导出的环境变量名，不要把 Claude Code 的ANTHROPIC_*混进来。

CC Switch：Provider、Base URL、API Key 三件套

CC Switch 类工具通常用三件套管理供应商：Provider 名称、Base URL、API Key。你可以新增一个 TaoToken 条目：

{ "provider": "taotoken", "baseUrl": "https://taotoken.net/api", "apiKey": "YOUR_API_KEY", "model": "claude-sonnet-4-5" }

如果 CC Switch 支持环境变量模式，也可以准备三件套：

export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY" export ANTHROPIC_MODEL="claude-sonnet-4-5"

注意这里的ANTHROPIC_*只用于 Claude Code / CC Switch 这类 Anthropic 兼容入口，不要复制到 Codex 的config.toml里。配置文件路径、字段名可能随版本变化，建议从 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=cc_switch_config 进入官网后查看最新控制台与文档入口，再按你本机版本调整。

4. 多模态记忆系统的 LLM 调用点改造：从 OpenAI 客户端到 TaoToken Base URL

假设你已经把北大 & MemoraX AI 开源的多模态长期记忆系统跑在本地，记忆库里存了文本片段、图片描述、音频转写。典型流程是：用户提问 → 记忆检索召回 top-k → 组装上下文 → 调用 LLM → 返回回答。你要改的不是检索，而是最后一步的 LLM 客户端。

先安装依赖：

python -m venv .venv source .venv/bin/activate pip install openai

然后创建一个llm_call.py，把 Base URL 指向 TaoToken：

import os from openai import OpenAI client = OpenAI( api_key=os.environ["TAOTOKEN_API_KEY"], base_url="https://taotoken.net/api", ) def build_memory_context(records): parts = [] for item in records: memory_type = item.get("type") if memory_type == "text": parts.append(f"[文本记忆] {item['content']}") elif memory_type == "image": caption = item.get("caption", "") tags = ", ".join(item.get("tags", [])) parts.append(f"[图像记忆] 描述：{caption}；标签：{tags}") elif memory_type == "audio": transcript = item.get("transcript", "") parts.append(f"[音频记忆] 转写：{transcript}") elif memory_type == "video": summary = item.get("summary", "") parts.append(f"[视频记忆] 摘要：{summary}") return "\n".join(parts) def ask_with_memory(user_input, recalled_records): context = build_memory_context(recalled_records) response = client.chat.completions.create( model="gpt-4o-mini", messages=[ { "role": "system", "content": ( "你是一个带长期记忆的助手。" "优先参考提供的记忆上下文；" "如果记忆中没有答案，就明确说不知道，不要编造。" ), }, { "role": "user", "content": f"记忆上下文：\n{context}\n\n用户问题：{user_input}", }, ], temperature=0.2, max_tokens=800, ) return response if __name__ == "__main__": recalled = [ { "type": "image", "caption": "白板上画了一个三层记忆架构：写入层、检索层、生成层。", "tags": ["架构图", "记忆系统", "白板"], }, { "type": "audio", "transcript": "会议里决定先接统一模型入口，再优化向量库。", }, ] resp = ask_with_memory("我们之前对记忆系统接模型入口的结论是什么？", recalled) print("回答：", resp.choices[0].message.content) print("用量：", resp.usage)

这段代码的关键点只有两个：base_url="https://taotoken.net/api"和api_key=os.environ["TAOTOKEN_API_KEY"]。原来的记忆检索、向量库、重排逻辑都可以保留。如果你原来的代码里写死了其他供应商的 Base URL，现在把它替换成 TaoToken 的 Base URL；如果你原来用多个客户端，可以封装一个统一的get_llm_client()，避免每个文件都重复写配置。

对于多模态记忆，建议不要在 prompt 里塞入原始图片二进制或完整音频。更稳妥的做法是：图片先经过视觉模型生成 caption 和标签，音频先转写并摘要，视频先抽关键帧描述，最终以文本形式进入记忆上下文。这样 LLM 调用处的 Token 更可控，排查也更容易。如果你需要让模型直接理解图片，可以在确认 Base URL 跑通后，再按 TaoToken 支持的模型能力逐步接入多模态输入。

5. 启动命令与响应对照：本地跑通一次“记忆增强问答”

配置完成后，用环境变量启动，不要硬编码 Key。示例：

cd your-memory-agent source .venv/bin/activate export TAOTOKEN_API_KEY="YOUR_API_KEY" python llm_call.py

如果一切正常，你会看到类似输出：

回答： 之前的结论是先把 LLM 调用统一到 TaoToken 的 Base URL，再继续优化向量检索和重排。白板架构图里也把生成层单独标了出来。 用量： CompletionUsage(completion_tokens=86, prompt_tokens=312, total_tokens=398)

把response打印成 JSON，可以更清楚地看到结构：

import json resp = ask_with_memory("我们之前对记忆系统接模型入口的结论是什么？", recalled) print(json.dumps(resp.model_dump(), ensure_ascii=False, indent=2))

对照响应：

{ "id": "chatcmpl-xxxxxxxx", "object": "chat.completion", "created": 1730000000, "model": "gpt-4o-mini", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "之前的结论是先把 LLM 调用统一到 TaoToken 的 Base URL，再继续优化向量检索和重排。" }, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 312, "completion_tokens": 86, "total_tokens": 398 } }

你重点看三个字段：

• choices[0].message.content：模型回答是否引用了记忆上下文。
• usage.prompt_tokens：记忆上下文占用了多少输入 Token。
• usage.completion_tokens：回答生成了多少 Token。

如果回答里没有用到记忆，先检查build_memory_context是否真的把召回结果拼进去了；如果prompt_tokens远大于预期，说明召回条数太多或单条记忆太长，需要做截断和摘要。启动命令跑通后，再把同样的配置写入你的服务启动脚本、Docker Compose 或进程管理器。

6. 常见报错排查：401、404、模型名与超时

接入 LLM 调用点时，报错通常集中在几类。下面按现象、原因、处理方式整理。

一个常见误区是把 Base URL 写成官网首页，例如带?utm_source=...的地址。那个地址是给人看的，不是给 SDK 用的。代码里只写：

https://taotoken.net/api

另一个误区是 Claude Code 配置成功，就把同一套ANTHROPIC_*复制到 Codex。Codex 读config.toml，你应该用TAOTOKEN_API_KEY或它支持的 provider 环境变量。配置混用会导致 Key 读不到、Base URL 不生效、模型名不匹配等问题。

如果你在本地用 Docker 跑记忆系统，可以把环境变量传入容器：

services: memory-agent: build: . environment: - TAOTOKEN_API_KEY=YOUR_API_KEY command: python llm_call.py

注意不要把真实 Key 提交到仓库。本地测试可以用.env，生产环境用平台密钥管理。

7. 记忆注入的 Token 策略：让多模态记忆不拖垮调用成本

多模态长期记忆最大的风险不是“找不到”，而是“找得太多”。图像描述、音频转写、视频摘要如果全部塞进 prompt，prompt_tokens会迅速膨胀。你可以在调用处做几层控制。

第一层，召回数量控制。不要每次把 top-100 都注入，先取 top-5 到 top-10，再按类型分配名额。例如文本 4 条、图像 2 条、音频 1 条、视频 1 条。代码可以在build_memory_context前做裁剪：

def select_memories(records, limits=None): limits = limits or {"text": 4, "image": 2, "audio": 1, "video": 1} selected = [] counts = {k: 0 for k in limits} for item in records: t = item.get("type") if t in counts and counts[t] < limits[t]: selected.append(item) counts[t] += 1 return selected

第二层，摘要优先。图片不要直接塞长 caption，音频不要塞完整转写。可以先把每条记忆压成 1 到 2 句话，保留实体、时间、结论。把摘要存回记忆库，原始内容留在本地文件或测试库里。这样既减少 Token，也提高检索稳定性。

第三层，按问题类型路由。如果用户问的是“上次会议结论”，优先召回音频转写摘要和文本笔记；如果问的是“白板上的架构”，优先召回图像标签和视觉描述。你可以在检索层加一个轻量分类器，也可以先用规则匹配关键词。

第四层，设置max_tokens和超时。调用处给max_tokens一个上限，例如 800 或 1200，防止模型长篇输出。超时时间根据你的记忆上下文长度调整，不要一个请求挂几分钟。

第五层，缓存高频问答。相同问题、相同记忆版本可以直接命中缓存，减少重复调用。缓存键可以包含model + prompt_hash + memory_version。当记忆库更新后，版本号变化，缓存自动失效。

第六层，记录用量。每次调用后把usage.prompt_tokens、usage.completion_tokens、召回条数、记忆类型分布写入本地日志。跑一段时间后你会看到哪类记忆最耗 Token，再针对性压缩。不要凭感觉优化，先用数据定位。

如果你把这些策略写进调用层，TaoToken 的 Base URL 不需要变，记忆系统也不需要重写。你只是把“召回什么、注入多少、怎么压缩”变成可控参数。这样即使后续换模型、换记忆后端，LLM 调用处仍然稳定。

8. 文末 CTA：模型对话 → Coding Plan → 创建 Key → Claude Code 文档

如果你还没有开始接入，建议按下面顺序走一遍。先去模型对话页试一条最小请求，确认模型能正常返回：

• 模型对话：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=memory_chat

如果你准备把 Claude Code、Codex 或 CC Switch 长期用于记忆系统开发，可以看 Coding Plan：

• Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=memory_coding_plan

然后到控制台创建 API Key，把本文所有YOUR_API_KEY替换掉：

• API Keys：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=memory_api_key

最后再回到 Claude Code 文档，把settings.json、ANTHROPIC_BASE_URL、ANTHROPIC_AUTH_TOKEN按最新字段对齐：

• Claude Code 文档：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=memory_claude_code

整个接入路径可以压缩成一句话：从 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=final_cta 获取 Key，把 Base URL 设为https://taotoken.net/api，在 LLM 调用点替换base_url与api_key，然后用启动命令和usage字段验证记忆增强问答是否跑通。多模态长期记忆系统负责“记住什么”，TaoToken 负责“把召回结果稳定地送给模型”。两者在调用处会合，先跑通这一条线，再逐步优化检索、压缩与成本。