大模型相关术语和框架总结｜LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏与 TaoToken 统一 Key 通道

1. 从一次“术语劝退”说起：LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏到底谁管谁

刚接触大模型工程化的朋友，大概率经历过这样的场景：打开一篇技术文章，前两段还在讲 LLM，第三段突然蹦出 MCP，第四段开始聊 RAG 的召回率，第五段又跳到 vLLM 的 PagedAttention，中间还夹着 Token 计费和“数据蒸馏”。每个词单看都认识，连起来就不知道它们在一个系统里各自站在哪一层。

我试过把这七个词硬背下来，结果一上手写代码还是懵——因为术语不是孤立的单词，而是一条流水线上的不同工位。LLM 是发动机，Prompt 是你踩油门的姿势，Token 是油耗计量单位，RAG 是给发动机外挂的资料库，MCP 是标准化的工具接口，vLLM 是让发动机高并发运转的涡轮，数据蒸馏则是把大发动机的经验压缩进小发动机。TaoToken 统一 Key 通道在这里的角色，是给整条流水线提供统一的燃料入口——你不用为每个模型、每个工具单独配一套鉴权和计费。

这篇文章交付两样东西：一张能贴在显示器旁边的术语速查表，和一份最小验证脚本。脚本会逐项跑通每个概念对应的调用动作，让你不只是“看懂”，而是“跑通”。适合刚入门的后端、算法、运维同学，也适合需要给团队做技术对齐的负责人。

先给一张全局地图，后面每个 H2 都会展开其中一块：

这张表建议先存下来。接下来从最底层的 LLM 开始，一层层往上走，每层都给出可复制的配置和验证命令。

2. TaoToken 统一 Key 通道前置：为什么七个术语需要一个入口

在展开每个术语之前，得先把“入口”这件事说清楚。上面七个概念里，LLM、Prompt、Token、RAG、MCP 这五个都要发起网络请求，vLLM 虽然可以本地部署，但很多团队也会用云端推理服务做对照，数据蒸馏在生成样本阶段同样要调大模型。如果每个环节都单独申请 Key、单独配 Base URL、单独记计费，工程复杂度会指数级上升。

TaoToken 在这里的定位是统一 Key/API 通道。你只需要在官网注册一次，拿到一个 Key，就能通过同一个 Base URL 访问不同模型，计费和用量也集中在一处看。官网地址是 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API 入口是 https://taotoken.net/api ，注意 API 地址不带 UTM 参数，配置时别把查询串带进去。

为什么强调“统一通道”而不是“某个模型”？因为术语地图里的每个概念，最终都要落到一次具体的 API 调用上。LLM 是调用的目标，Prompt 是调用的内容，Token 是调用的计量，RAG 是调用前的数据准备，MCP 是调用时暴露的工具清单，vLLM 是调用背后的服务实现，数据蒸馏是批量调用的产物。如果这些调用分散在五六个平台，你排查一个 401 错误都要翻五个后台。

统一通道带来的直接好处有三个。第一，Base URL 和 Key 只配一次，所有 SDK、CLI、IDE 插件共用。第二，模型切换只改一个 model 字段，不用改鉴权逻辑。第三，用量和错误码集中，排查时不用在多个控制台之间跳。对于刚入门的开发者，这能省掉大量“配置地狱”时间，把精力放在理解术语本身。

需要提前说明的是，TaoToken 是合规的 API 聚合通道，不是灰色中转，也不涉及任何网络访问工具。你只需要在正常网络环境下，用标准 HTTP 客户端调用即可。下面进入具体配置环节，我会给出可直接复制的 JSON、TOML 和 settings 片段。

3. 可复制配置：一份 settings.json 串起 LLM、MCP、RAG 与 vLLM 对照

这一节是全文的操作核心。我会给出三份配置：一份通用 JSON（给 Python/Node 脚本用），一份 TOML（给 Codex 类 CLI 用），一份 settings.json（给 Claude Code / Cline 类工具用）。三份配置里的 Base URL、Key、Model ID 三件套保持一致，方便你交叉验证。

先看通用 JSON，保存为taotoken.config.json：

{ "base_url": "https://taotoken.net/api", "api_key": "sk-你的TaoTokenKey", "default_model": "claude-sonnet-4-20250514", "models": { "chat": "claude-sonnet-4-20250514", "fast": "gpt-4o-mini", "reasoning": "deepseek-reasoner" }, "mcp": { "enabled": true, "servers": [ { "name": "filesystem", "command": "npx", "args": ["-y", "@modelcontextprotocol/server-filesystem", "./data"] } ] }, "rag": { "top_k": 4, "chunk_size": 512, "embedding_model": "text-embedding-3-small" }, "vllm_compare": { "local_base_url": "http://127.0.0.1:8000/v1", "local_model": "Qwen2.5-7B-Instruct" } }

这份 JSON 把七个术语里的五个直接映射成了配置项：default_model对应 LLM，mcp.servers对应 MCP，rag对应 RAG，vllm_compare对应 vLLM 对照，api_key和base_url对应 TaoToken 统一通道。Prompt 和 Token 不在这里配，它们在运行时体现。

再看 TOML，保存为~/.codex/config.toml（Codex 类 CLI 的常见路径）：

model = "claude-sonnet-4-20250514" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" [mcp_servers.filesystem] command = "npx" args = ["-y", "@modelcontextprotocol/server-filesystem", "./data"] [rag] top_k = 4 chunk_size = 512

注意env_key = "TAOTOKEN_API_KEY"这一行，它表示 Key 从环境变量读取，不要把明文 Key 写进 TOML。设置环境变量的命令：

export TAOTOKEN_API_KEY="sk-你的TaoTokenKey"

最后是 settings.json，给 Claude Code / Cline 类工具用，路径通常是~/.claude/settings.json或项目根目录的.cline/settings.json：

{ "apiProvider": "openai-compatible", "baseUrl": "https://taotoken.net/api", "apiKey": "sk-你的TaoTokenKey", "modelId": "claude-sonnet-4-20250514", "mcpServers": { "filesystem": { "command": "npx", "args": ["-y", "@modelcontextprotocol/server-filesystem", "./data"] } } }

三份配置里的三件套必须完全一致：Base URL 是https://taotoken.net/api，Key 是你申请的那串，Model ID 是claude-sonnet-4-20250514（或你实际要用的模型）。任何一处写错，都会在下一节的验证请求里暴露出来。

配置完成后，建议先做一次语法检查。JSON 用python -m json.tool taotoken.config.json，TOML 用python -c "import tomllib; tomllib.load(open('config.toml','rb'))"。语法过了再进入验证环节。

4. 验证请求与成功结果：逐项跑通 Token、Prompt、RAG、MCP 的调用动作

配置写好了，现在逐项验证。每个术语对应一个最小动作，跑通一个打个勾。所有脚本都用 Python，依赖openai和requests，安装命令：

pip install openai requests

4.1 验证 LLM 与 Token：一次 chat 请求看 usage

import os from openai import OpenAI client = OpenAI( base_url="https://taotoken.net/api", api_key=os.environ["TAOTOKEN_API_KEY"], ) resp = client.chat.completions.create( model="claude-sonnet-4-20250514", messages=[ {"role": "system", "content": "你是一个术语讲解助手，回答控制在50字内。"}, {"role": "user", "content": "用一句话解释什么是 Token。"}, ], ) print("回答:", resp.choices[0].message.content) print("Token 用量:", resp.usage)

成功结果会打印类似：

回答: Token 是模型处理文本的最小单元，一个中文字符约等于 0.6 个 Token。 Token 用量: CompletionUsage(completion_tokens=28, prompt_tokens=32, total_tokens=60)

这里同时验证了 LLM（模型返回了内容）、Prompt（system 角色约束了回答长度）、Token（usage 字段给出了计量）。如果usage是 None，说明通道没有返回计费信息，需要检查请求头。

4.2 验证 Prompt：改 system 角色看输出差异

def ask(system_prompt, user_prompt): resp = client.chat.completions.create( model="claude-sonnet-4-20250514", messages=[ {"role": "system", "content": system_prompt}, {"role": "user", "content": user_prompt}, ], ) return resp.choices[0].message.content print("版本A:", ask("你是严谨的学术助手。", "什么是 RAG？")) print("版本B:", ask("你是给小学生讲课的老师。", "什么是 RAG？"))

两个版本的输出风格会明显不同。这就是 Prompt 的作用——它不改变模型本身，只改变模型在这个上下文里的行为。实测下来，system 角色对输出格式的控制力比 user 角色强，需要严格 JSON 输出时优先写在 system 里。

4.3 验证 RAG：先检索再拼进 prompt

RAG 的最小验证不需要向量数据库，用内存里的列表模拟检索即可：

docs = [ "vLLM 使用 PagedAttention 管理 KV Cache，减少显存碎片。", "MCP 是模型上下文协议，用于标准化工具接入。", "数据蒸馏是用大模型生成样本训练小模型。", ] def retrieve(query, top_k=2): scored = [(d, sum(1 for ch in query if ch in d)) for d in docs] scored.sort(key=lambda x: x[1], reverse=True) return [d for d, _ in scored[:top_k]] query = "vLLM 怎么管理显存？" context = "\n".join(retrieve(query)) prompt = f"根据以下资料回答，不要编造：\n{context}\n\n问题：{query}" resp = client.chat.completions.create( model="claude-sonnet-4-20250514", messages=[{"role": "user", "content": prompt}], ) print("RAG 回答:", resp.choices[0].message.content)

成功结果是模型基于检索到的资料回答，而不是凭空生成。这就是 RAG 的核心：检索负责找资料，生成负责组织语言。生产环境把retrieve换成向量检索即可，接口不变。

4.4 验证 MCP：列一次 tools 清单

MCP 的验证需要先启动一个 MCP Server。用上面的 filesystem server：

npx -y @modelcontextprotocol/server-filesystem ./data

然后在客户端里请求 tools 列表。不同客户端 API 不同，这里用 MCP 官方 Python SDK 演示：

import asyncio from mcp import ClientSession, StdioServerParameters from mcp.client.stdio import stdio_client async def main(): params = StdioServerParameters( command="npx", args=["-y", "@modelcontextprotocol/server-filesystem", "./data"], ) async with stdio_client(params) as (read, write): async with ClientSession(read, write) as session: await session.initialize() tools = await session.list_tools() for t in tools.tools: print("工具名:", t.name, "| 描述:", t.description) asyncio.run(main())

成功结果会列出read_file、write_file、list_directory等工具。这一步验证的是 MCP 的“标准化接口”能力——模型看到这份清单后，才知道自己可以调用哪些工具。注意，模型本身不会执行工具，它只输出“我要调用哪个工具、参数是什么”，真正执行的是你的客户端代码。

4.5 验证 vLLM 对照：本地服务与统一通道的差异

如果你本地起了 vLLM 服务，可以用同一份脚本对比：

local_client = OpenAI( base_url="http://127.0.0.1:8000/v1", api_key="EMPTY", ) for name, c in [("TaoToken", client), ("本地vLLM", local_client)]: resp = c.chat.completions.create( model="Qwen2.5-7B-Instruct" if name == "本地vLLM" else "claude-sonnet-4-20250514", messages=[{"role": "user", "content": "一句话解释连续批处理。"}], ) print(name, "->", resp.choices[0].message.content[:60])

对照的意义在于：vLLM 解决的是部署层的吞吐问题，TaoToken 解决的是接入层的统一问题，两者不冲突。本地 vLLM 适合数据不出内网的场景，统一通道适合快速切换模型和集中计费。

4.6 验证数据蒸馏：批量生成样本

数据蒸馏的最小动作是让大模型生成一批带推理过程的样本：

import json questions = ["什么是 KV Cache？", "什么是 PagedAttention？", "什么是连续批处理？"] samples = [] for q in questions: resp = client.chat.completions.create( model="claude-sonnet-4-20250514", messages=[{"role": "user", "content": f"请用三步推理回答：{q}"}], ) samples.append({"question": q, "answer": resp.choices[0].message.content}) with open("distill_samples.jsonl", "w", encoding="utf-8") as f: for s in samples: f.write(json.dumps(s, ensure_ascii=False) + "\n") print("已生成", len(samples), "条蒸馏样本")

成功结果是得到一个 JSONL 文件，每行一条“问题+详细回答”。这份文件就是小模型的训练数据。数据蒸馏的关键在于“精简但有价值”——大模型的回答往往冗长，需要过滤和压缩后再喂给小模型。

七个术语全部跑通后，你会得到一份完整的验证日志。建议把日志保存下来，作为团队新人的 onboarding 材料。

5. 本篇常见错排查：401、local proxy failed、reading choices、OAuth 逐个击破

验证过程中最容易卡在四类报错上。这一节按报错原文对照排查，每条都给出根因和修复动作。

5.1 401 Unauthorized

完整报错通常是：

openai.AuthenticationError: Error code: 401 - {'error': {'message': 'Invalid API key', 'type': 'invalid_request_error'}}

根因有三个：Key 写错、Key 没放进请求头、Base URL 带了多余路径。排查顺序：先确认环境变量TAOTOKEN_API_KEY的值和后台一致，注意不要有多余空格；再确认base_url是https://taotoken.net/api，不要写成https://taotoken.net/api/v1或带 UTM 查询串；最后用 curl 直接测：

curl -s https://taotoken.net/api/chat/completions \ -H "Authorization: Bearer $TAOTOKEN_API_KEY" \ -H "Content-Type: application/json" \ -d '{"model":"claude-sonnet-4-20250514","messages":[{"role":"user","content":"hi"}]}'

如果 curl 通了但 SDK 不通，说明 SDK 配置里的 base_url 被覆盖了，检查是否有全局配置或环境变量OPENAI_BASE_URL在干扰。

5.2 local proxy failed

完整报错：

APIConnectionError: Connection error. local proxy failed to connect

这个报错通常出现在客户端尝试走本地代理端口时。根因是环境里设置了HTTP_PROXY或HTTPS_PROXY，但代理服务没启动。修复动作：先检查环境变量：

env | grep -i proxy

如果有输出，临时清掉再跑：

unset HTTP_PROXY HTTPS_PROXY ALL_PROXY

注意，TaoToken 是正常网络下的 API 通道，不需要任何代理工具。如果你的环境必须走企业代理，把代理地址配成企业网关即可，不要配成本地不存在的端口。

5.3 reading choices 报错

完整报错：

KeyError: 'choices'

或者：

TypeError: 'NoneType' object is not subscriptable

根因是响应体里没有choices字段，通常是请求被网关拦截返回了 HTML 错误页，或者模型名写错导致返回了错误 JSON。排查动作：先打印原始响应：

resp = client.chat.completions.with_raw_response.create(...) print(resp.text)

如果返回的是 HTML，说明 Base URL 写错了，请求打到了官网首页而不是 API 端点。如果返回的 JSON 里有error字段，按 error.message 排查。模型名写错也会触发类似问题，确认model字段和后台可用列表一致。

5.4 OAuth 相关报错

完整报错：

OAuth error: invalid_grant / token expired

这类报错出现在 Claude Code 类工具里，根因是工具默认走 OAuth 登录而不是 API Key。修复动作：在 settings.json 里显式指定apiProvider为openai-compatible，并填好baseUrl、apiKey、modelId三件套。如果工具仍尝试 OAuth，检查是否有缓存的凭据文件，通常在~/.claude/或~/.config/下，清掉后重启工具。

三件套再强调一次：Base URL 是https://taotoken.net/api，Key 是你的 TaoToken Key，Model ID 是具体模型名。任何一处缺失，OAuth 分支就可能被触发。

5.5 MCP Server 启动失败

完整报错：

MCP error: spawn npx ENOENT

根因是系统找不到npx命令。修复动作：确认 Node.js 已安装，npx --version能输出版本号。如果用的是 Windows，把command改成npx.cmd。如果公司网络限制 npm 源，先配置好镜像源再启动。

排查完这五类，基本覆盖了 90% 的入门卡点。剩下的问题多半是模型名或参数格式，对照官方文档的请求示例逐字段核对即可。

6. 术语地图落地：把速查表变成团队资产与长期编码通道

七个术语跑通之后，真正的价值在于把它们固化成团队资产。我的做法是建一个llm-glossary仓库，里面放三样东西：一份glossary.md术语速查表，一份verify.py验证脚本，一份configs/目录存放三份配置模板。新人入职第一天跑一遍verify.py，半小时内就能把七个概念和实际调用对应起来。

速查表建议按“层”组织，而不是按字母排序。推理层放 LLM、Token、vLLM；应用层放 Prompt、RAG、MCP；训练层放数据蒸馏。每层标注对应的配置字段和验证命令。这样排查问题时，能快速定位到是哪一层出了状况。

对于需要长期做编码和 Agent 开发的团队，建议把 TaoToken 的 Coding Plan 作为默认通道。它的价值不在于单次调用便宜，而在于把模型切换、用量统计、错误排查集中到一个入口。当你的 Agent 需要同时调用多个模型时，统一通道能省掉大量适配代码。相关入口在 https://taotoken.net/api 的文档区可以找到，模型对话入口适合快速验证单个模型，API Keys 页面适合管理多环境密钥。

最后给一个实用技巧：把验证脚本做成 CI 任务，每天定时跑一次。这样一旦通道或模型有变动，你能第一时间发现，而不是等到线上报错。脚本里的断言可以很简单——只要usage.total_tokens > 0且choices非空，就算通过。这个习惯能帮你把“术语理解”变成“工程保障”。

术语地图不是背出来的，是跑出来的。把上面七段脚本依次执行一遍，你对 LLM、MCP、Prompt、RAG、vLLM、Token、数据蒸馏的理解，会比读十篇文章都扎实。