目录
- 一、LLM:大语言模型
- 二、大模型工作原理
- 三、Token和Tokenizer
- 四、Context:大模型的临时记忆体
- 五、RAG:突破上下文限制的技术
- 六、提示词(Prompt)
- 七、Function Calling:大模型外部能力
- 八、MCP:统一的工具接入标准
- 九、Agent:自主规划的智能体
- 十、Agent Skill :说明文档
- 十一、总结回顾
很多人在学习大模型的时候,知识点是零散的:一会看 Token、一会看上下文窗口、一会刷到 RAG,刚看懂工具调用,又冒出 MCP、Agent Skill,越学越乱。本文顺着底层基础 → 模型原理 → 增强技术 → 外部能力 → Agent 体系的顺序,逐层递进梳理,搭建一条连贯的基础学习链,对大模型有简单的了解,也方便后续自己复盘查阅信息。
一、LLM:大语言模型
LLM(Large Language Model),也就是我们常说的大语言模型。
从底层视角理解,LLM 的核心输入是 Token、Context、Prompt、Tool、MCP、Agent 这几类要素,模型依靠这些要素完成推理链路。
- 底层原理:Transformer 架构,核心是自注意力算法–这个架构是大模型的地基,内容比较复杂,不属于基础范围。
- 发展历程:从 GPT 系列迭代,到现在各大厂商开源、闭源模型百花齐放
- 行业现状:模型不再是 OpenAI(gpt系列) 一家独占,Claude、Gemini 等产品各有侧重,在长文本、多模态等方向形成差异化竞争
二、大模型工作原理
文本自回归:接收一段输入,模型根据前面已经生成的内容,预测下一个最可能出现的词,循环往复,直到输出结束标记,停止生成。
简单一句话:给上文,猜下一个 token,循环输出全文。
三、Token和Tokenizer
这两个分离不开所以放到一起。
模型本身没办法直接看懂人类文字,它只能识别数字。Tokenizer 就是负责把人类文本和模型可识别的数字 ID 互相转换的模块。Token是 Tokenizer 切分之后的产物,是大模型处理文本的最小单位。注意:不是严格按照汉字 / 单词一刀切,一个单词可能拆成多个 token,也可能多个短词合并成一个 token。不同模型的分词器不一样,大多有自己独立的词表,所以同样的文本用不同模型产生的token数量也不同。
- 编码:把一句话切分成一个个 token,映射成对应的数字 ID
- 解码:把模型输出的数字 ID,还原回人类可读的文字
举例:下图用o200k_base编码计算一串文字共占用7个token,每个词对应的tokenid如图所示。
- 换算参考:1 个 token ≈ 0.75 个英文单词(约 3~4 个英文字符),1 个 token ≈ 0.6~1.5 个中文字符(反过来,1 个汉字约 1~1.5 个 token),感兴趣的可以自己去网站计算查看:https://tosea.ai/zh/free-tools/token-counter。
四、Context:大模型的临时记忆体
Context 是模型推理时可以 “看见” 的全部内容,相当于模型的短时记忆。
- 记忆局限:模型本身没有持久记忆,推理过程只能读取当前这一轮上下文里面的信息,对话结束之后,不会自动保存记忆
- 组成:上下文里面,一般包含历史对话、用户新提问、系统提示词(System Prompt)等内容
- context上下文窗口限制:context上下文内容不是无限的,有上下文窗口限制,也就是当前这一轮推理,模型能读取的全部 token 总量。每个模型都有固定上下文上限,比如比如 GPT-4 128K、32K,代表它单次最多容纳十几万 token 的内容,超过上限之后,最早的内容会被截断丢掉。
举例:【系统提示System Prompt --8token】 + 【用户第一次提问–5token】+【模型回答–8token】+【用户第二次提问–10token】… 用context不断拼接依次累积直到超过上下文上限,会从前往后截断,模型会忘掉前面的内容。
痛点:长文档、大量知识库内容,一次性塞进上下文窗口,成本极高,而且很容易超限。
解决这个痛点的技术,就是 RAG。
五、RAG:突破上下文限制的技术
RAG(Retrieval-Augmented Generation,检索增强生成),专门解决大模型上下文不够、不能读取私有文档的问题。RAG是一套组合技术:向量检索+大模型。
- 基本思路:用户提问之后,先去外部知识库检索相关片段,把检索到的相关内容和用户问题一起打包给大模型,再由模型基于检索到的资料回答问题。简单的说就是一个检索的预处理,向量检索程序先独立执行,筛选出相关性高的少量片段,再把检索得到内容+用户问题塞入context上下文。
- 技术优势:不需要把全部文档塞进模型上下文,降低 token 成本;同时可以接入私有、实时更新的资料,弥补模型静态训练数据的短板。
六、提示词(Prompt)
Prompt 就是我们发给大模型的指令,是人和模型交互的入口。
- 影响:Prompt 质量直接决定输出效果,写得越清晰、约束越明确,模型返回结果越贴合预期
- 分类:
- 基础提示词:简单问答,直接提需求
- 角色提示词:给模型指定身份,例如 “你是一名软件测试工程师”,“你是一名作家”
- 工具提示词:引导模型调用外部工具、执行函数
- 组合提示词:多角色、多步骤混合,适合复杂任务
七、Function Calling:大模型外部能力
原生 LLM 本身只会做文本生成,没办法联网、查数据、调用接口、操作文件。想要让它和真实世界交互,就要给它加上外部能力:
- 工具调用(Function Calling):模型识别到需要外部信息,输出结构化参数,调用后端提前写好的函数接口,拿到结果之后,再把结果放回上下文,继续回答用户
- 角色委派:复杂任务拆成多个子角色,不同角色各司其职,协同完成整套流程
- 核心价值:把大模型从 “只会写文字的聊天机器人”,变成可以调用工具、执行任务的智能体
八、MCP:统一的工具接入标准
MCP (Model Context PROTOCOL)模型上下文协议是一套标准化协议,用来统一不同模型、不同工具之间的调用规范,解决各家模型工具调用格式不统一、生态割裂的问题。大模型是一个生成文本的AI,它不能直接发起网络请求,如果要调用工具接口,会输出一段json报文让应用程序去调用工具。
举例:
//openai希望调用天气查询工具输出格式{"tool_calls":[{"function":{"name":"query_weather","arguments":{"city":"北京"}}}]}//claude输出格式{"tool_use":[{"name":"query_weather","input":{"city":"北京"}}]}//可以看到参数名不一样,不统一,于是引出MCP标准- 接入特点:一套 MCP 协议,兼容 GPT、Claude、Gemini 等不同大模型,一套工具可以对接多个模型
- 学习意义:MCP 是 Agent 生态的基础设施,后续绝大多数 Agent 框架,都会基于这套标准去接入工具
九、Agent:自主规划的智能体
Agent=大模型 + 规划能力 + 工具调用能力。它不再是 “用户问一句,模型答一句”,而是可以自主拆解复杂目标、规划步骤、调用工具、循环校验,直到任务完成。本质就是让模型能更规范按要求来完成任务,并将任务变成一套可循环执行流程。
- 核心要素:目标、规划、工具、反思、迭代
- 典型范式:ReAct、Plan-and-Execute 等(这些需要自己去深入了了解)
- 学习路径:理解 Agent,重点要学会看它的思考链路:怎么拆解任务、什么时候调用工具、拿到结果之后怎么判断是否完成目标
十、Agent Skill :说明文档
Agent Skill 可以理解成给 Agent 用的 “技能说明书”。
我们把一个可复用的能力封装成 Skill,写清楚这个技能的功能、入参、出参、调用方式、约束条件,Agent 读到这份文档之后,就知道什么时候、怎么调用这个技能。
- 文档结构:包含技能名称、描述、入参、出参、示例、异常处理
- 存储规范:一般以 JSON/YAML 格式维护,和代码、知识库解耦
- 运行机制:Agent 在规划任务的时候,检索可用 Skill 列表,匹配用户需求,自主选择调用对应的技能
- 功能特点:标准化、可复用、可插拔,是规模化搭建 Agent 应用的核心
十一、总结回顾
Tokenizer → Token → Context(上下文窗口) → Prompt → LLM基础能力 → RAG(补知识库) → FunctionCalling工具调用 → MCP统一工具协议 → Agent自主规划 → Agent Skill技能封装
LLM 是底座,Token 是最小单元,上下文是它的短时记忆;RAG 补知识库,工具调用丰富功能;MCP 统一工具生态,Agent 赋予自主执行能力;Agent Skill,就是让 Agent 能力规模化、可复用的工程化方案。