大模型零基础入门：核心术语与实用指南

1. 先从“大模型”这个词拆起

这两年 AI 大模型几乎天天挂在嘴边，但很多刚接触的朋友其实是被术语劝退的。什么 token、微调、RAG、LoRA、Agent，光看中文字面都会懵，更别说看英文文档了。加上不少人一开始刷到的所谓“科普”又扯长了上下文，越是零基础越看不下去。

我写这篇的出发点很简单：把所有高频出现、绕不开的大模型术语，按一条实际业务落地的认知路径排好序，用白话加例子讲清楚。不是为了让你背定义，而是看完之后能听懂别人聊天、能读懂产品文档、能对着参数面板不慌。

文章里凡是涉及实操的部分，都是我验证过或用过之后总结的。没有列出来的冷门概念暂时不碰，先把日常出镜率最高的那批解决了，剩下的可以在实践里慢慢补。这篇的目标读者就是刚接触大模型、想从一头雾水到能上手提问、能判断方案做选择的人。

2. 模型、参数、训练、推理：四个地基名词

2.1 模型是什么，参数又是什么

把大模型想象成一个极其巨大的“选择题答题机”。它内部保存着海量数字，这些数字决定了它对输入会给出什么输出。这些数字就是“参数”，也叫权重。参数数量越大，模型理论上能记住的模式就越复杂，所以你看各家公司发布模型时会强调多少亿、多少千亿参数，那是规模上的指标。

参数不是人写出来的规则，而是靠从海量文本里归纳出来的统计规律。举个例子，如果一个模型在训练时见过无数“猫喜欢吃鱼”的中文句子，它会形成一个倾向：当被问猫爱吃什么的时候，输出里“鱼”的概率会被调高。因此模型不是背书，而是根据概率“编”答案。理解这一点特别重要，很多幻觉、胡说现象的根源就在这里。

2.2 训练和推理根本不是一回事

训练和推理是使用大模型时会反复听到的两个阶段，区分清楚了，很多概念就顺手了。

训练阶段：拿准备好的大量文本喂给模型，让它在一次次预报中调整参数，让预测结果越来越接近真实答案。这个过程最吃算力，动不动就要几百上千张显卡跑上好几个月，成本极高。这也是为什么极少有人从零训练一个大模型。

推理阶段：模型训练完之后，你向它输入问题，它根据已有参数一步步生成答案的过程。推理相对训练轻量得多，但仍然需要 GPU 来加速，只是投入量级完全不同。

注意：很多刚接触的朋友会把“部署一个大模型”误以为就是“训练模型”。实际上多数场景只是下载官方开源模型权重，然后做推理部署，并没有真正训练模型。

2.3 开源模型和闭源模型怎么选

开源闭源主要看模型权重是否公开。开源模型可以下载到本地运行，或者自己继续微调；闭源模型只能通过接口调用，你无法拿到内部参数。

选择逻辑不难：如果你要处理敏感数据、要做私有化部署，优先开源；如果你想快速验证效果、不想操心服务器和运维，闭源接口调用最省事。但要注意开源不等于免费，服务器费用、显卡成本都得自己扛，有时候总体算下来反而更贵。

3. 你天天挂在嘴边的 token 到底是个什么东西

3.1 一句话理解 token

token 可以理解为模型处理文本时的基本计量单位。它不是严格意义上的单字或单词，而是“模型自己切出来的长度单位”。中文场景下，一个 token 大约等于 0.5 到 1 个汉字，英文大约等于 0.3 到 0.5 个单词。具体切法由分词器决定。

你调用模型接口时的费用，按 token 算。模型能处理的最长文本，也叫“最大上下文长度”，同样用 token 表示。所以 token 是理解大模型使用成本、容量限制的钥匙。

3.2 为什么不是按字数算

模型本质在做数学运算，所有文本进到模型里都要转成数字。分词器把文本切成小块，再映射成一个一个数字编号，这个编号才是模型真正处理的输入。切多细，直接影响了模型的词表设计、训练效率和处理效果。

实操中你会遇到一种情况：同一句话，用不同模型切出来的 token 数量不一样。这就是各家的分词器不同导致的。在计费和上下文限制上有差异，但不用太较真，只需要明白 token 是计费单位就够了。

3.3 实际使用中的经验参考

我经常跟朋友说，估算成本时中文按“1 个汉字约等于 0.7 个 token”来粗算就行，准确数字会造成焦虑。调用接口做轮对话时，历史消息也要算在 token 里，越长的记录消耗越快，所以面向生产环境时要做消息裁剪。很多初学的人只盯着单次回复长度，结果上下文一长账单哗哗涨。

还需要注意计算上限：如果模型最大上下文是 8K token，你塞进去 7K 的参考资料，模型只能回 1K 左右，不是它不想多写，是空间没有了。

4. 预训练、微调、LoRA：从工厂到定制

4.1 预训练打基础

预训练可以理解成“让模型读万卷书”。用几乎能搜集到的公开网页、书籍、论文，让模型自己学会语言的规律。这一步确定了一个模型的“通识水平”。基础模型一般啥都懂一点，但回答风格、专业知识、特定任务的能力都比较泛。

预训练阶段消耗资源巨大，工程门槛高，普通团队基本不需要碰。你在市面上看到的大部分开源模型，都已经完成了这个阶段，直接下载就能用。

4.2 微调是“针对性进修”

微调是在已经预训练好的模型之上，用某个领域的专用数据再训练一轮。比如让模型学会客服话术、法律文书风格、医疗问答规范等等。这样模型输出的风格、知识范围、行为习惯会更贴合业务需要。

这里最核心的是数据集质量。数据决定微调的上限，模型只是在这个上限之内跑。我见过不少项目拿混乱的数据去微调，折腾了几个星期，效果反而更差。微调数据集清洗、去重、格式统一的功夫省不得。

4.3 LoRA 是微调的轻量替代方案

LoRA 是一种参数高效的微调技术。它不修改原模型的全部参数，而是在关键层旁边插入小巧的适配结构，训练时只更新这些结构。好处是显存占用小、速度快、成本低，特别适合个人和中小团队。

但 LoRA 通常是“残差式学习”，它只会影响模型的部分输出行为，不能彻底重塑模型核心知识。很多初学者以为加了 LoRA 模型就无所不能，其实更准确的定位是“给大象装了一个小工具箱”。要深度改造模型知识体系，还得靠全量微调，代价自然更高。

4.4 微调不是唯一出路

现在有个趋势被反复提及：优先用提示词工程解决，解决不了再尝试 RAG，最后才考虑微调。因为约 80% 的业务场景其实靠提示词设计和资料检索就能搞定，根本用不到微调。微调适合风格迁移、格式控制、特定任务模式固化这类问题。上来就想微调，成本高还容易出反效果。

5. Prompt、上下文窗口、温度：决定回答质量的三板斧

5.1 写清晰指令是第一课

Prompt 就是你给模型输入的指令文本。指令写得好不好，直接影响答案质量，这一点再怎么强调都不过分。模型本质上是一个概率生成系统，它盯着你的措辞去匹配高概率的回答路径。模糊的指令必然换来模糊的回答。

我的实操经验是：把 Prompt 当工作简报来写。开头说清楚你是什么角色、背景是什么、目标是什么、想达到什么格式、有什么约束条件。不要怕啰嗦，给模型足够的信息约束比让它自由发挥稳定得多。想要稳定输出，可以给一个示例，这叫少样本，模型会用示例格式对齐自己的输出结构。

5.2 上下文窗口就是模型的“短期工作台”

上下文窗口指的是模型在生成当前回答时，能参考多少历史内容。它像一个临时桌面，桌子上能摆多少文本，决定了模型能“同时看到”多少信息。这个桌面上包括系统提示词、历史对话记录、你提供的参考资料，以及它正在生成的回答。

注意两个局限：一是窗口有上限，超过的部分会被截断或忽略；二是窗口极长时，模型对中间部分的注意力会减弱，这叫“迷失在中间”。所以做文档问答时，把最相关的片段挪到开头和结尾，效果往往比塞一整篇长文更好。

5.3 温度参数控制随机程度

温度是控制回答随机性的一个参数。温度高，回答更多样、更有创造性，但也会显得发散；温度低，回答更稳定、保守，适合事实型问答和代码生成。两者没有绝对的“最佳值”，完全看场景。

实际调参经验：

• 代码生成、数据提取：温度设 0 到 0.3
• 客服问答、知识库查询：温度设 0.3 左右
• 文案创作、头脑风暴：温度设 0.7 到 1.0

注意温度只影响生成阶段的随机采样，不会改变模型的知识水平。指望把温度拉高让答案更“聪明”，是误区。

5.4 Function Calling 让模型学会调工具

Function Calling 的意思是模型输出一个结构化指令，由外部程序去执行，比如查询天气、调用数据库、发起网络请求。模型本身不直接执行操作，它只是决定“应该调用哪个工具、参数是什么”，然后把结果交还给它继续理解。

这个机制让大模型从“纯文字聊天”走向“能办事”。对接 API 时，把工具描述写得足够精确，模型才能正确选工具，描述含糊则容易选错或者不调用。我见过很多 Agent 项目效果不佳，一半以上的原因出在工具描述太随意。

6. RAG 和 Agent：给模型插上知识库和行动力

6.1 RAG 解决“模型不知道最新消息”的问题

RAG（检索增强生成）是目前落地最多的高价值方案。思路不复杂：你先把公司文档、产品手册、私有资料切成小块，存进一个向量数据库。用户提问时，先在资料库里检索最相关的几段内容，连同问题一起交给大模型，让模型基于这些片段作答。

这么做有几个明显好处：第一，模型不需要见过你的资料，也能回答出来；第二，资料更新，答案就更新，不用重新训练模型；第三，可以标出答案来源，提升可信度。它对幻觉的抑制效果非常明显，因为模型答题时有了依据。

实操要点在于切分策略。切太碎，语义被切断；切太长，噪声太多，检索准确率下降。我常用的粗切规则是：按语义段落切，每个块大约 200 到 600 字，重叠 50 到 100 字，避免关键信息恰好卡在切点之外。

6.2 向量化检索的基本环节

RAG 里的“检索”大多数时候靠向量相似度实现。先把文本转换成一串数字向量，再用相似度算法找最接近的片段。这里有三个选择影响效果：

嵌入模型的选择。嵌入模型负责把文本转成向量，不同模型对中文的理解差异很大，建议用中文语料评测，别只看英文榜单。

分块大小。分块直接影响检索召回率。块太长返回的噪声多，块太短上下文信息丢失，需要在连续测试里反复调。

检索策略。简单的 top-k 召回，复杂的混合检索加重排，效果差距不小。建议先跑通最简版本，再逐步加重排，别一上来就堆技术。

6.3 Agent 让模型“动手做事”

Agent（智能体）可以理解为“会做任务的模型”。它不只是回答你一句话，而是能把一个大目标拆解成多个步骤，自己调用工具、观察结果、修正计划，直到完成任务。比如“帮我查上周的销售数据，写一份总结，并发到指定邮箱”，Agent 可能依次完成查询、分析、生成邮件、发送等动作。

Agent 的核心在于循环机制：思考、执行、观察、再思考。每走一步，获得新的信息，再决定下一步动作。因此追踪日志非常重要，排障时先看它每一步干了什么、看到了什么、为什么停住。很多时候问题出在工具返回格式不清晰，模型看不懂结果，自然就卡住了。

6.4 多模态和向量数据库的相关词

多模态指模型能同时处理文本、图片、音频、视频中的多种类型。你发一张截图给它，它能看懂内容，甚至解析图中的表格，这就是多模态模型的基本能力。多模态和纯文本模型的使用逻辑差别不大，但输入预处理、计费规则更复杂一些。

至于向量数据库，可以理解成专门给文本向量做索引和检索的数据库。市面上有各类开源或云上产品，选型时重点看四件事：检索性能、数据规模上限、开发易用性和成本。小项目完全可以用轻量方案，不一定非要上重平台。

7. 实操中真正会消耗精力的两件事

7.1 显存和部署规模怎么估算

本地跑模型，最关心的硬件参数就是显存。一个 7B 参数的模型，用 FP16 精度的权重文件大约需要 14GB 显存，再加上推理时的中间计算开销，实际要预留更多，所以常见搭配是 16GB 以上显存起步。

想要更省显存可以做量化。量化是把模型权重从高精度数字压成更低精度的数字，比如从 FP16 压到 INT8 或 INT4，代价是模型体积和显存需求下降，但输出质量可能有轻微损失。对大多数应用场景，用 INT8 基本感知不到差别，INT4 在复杂推理上会有一点退化。这属于工程调优的范畴，入门阶段知道有这么回事就行。

注意：显存不够时，优先考虑量化或者换更小的模型，而非盲目加长上下文。显示上下文塞得太满，占用的缓存也会把显存撑爆，这是很多人忽略的坑。

7.2 训练阶段你会反复听到的几个词

如果你开始自己搞微调或者训练模型，下面几个词一定会撞上：

学习率：控制模型每次调整参数的步幅。步子太大跑不稳，太小则训练慢，微调一般用很小的学习率，避免破坏预训练学好的知识。

损失函数：衡量模型预测结果和真实答案差距有多大的数值指标。训练的本质就是不断降低这个值。损失值观察是训练检查中最常见的手段，loss 不降或震荡，说明可能有数据处理或超参数问题。

过拟合：模型把训练样本背得太熟，考试题里的新题反而答不好。解决思路是增大数据多样性、加入正则化手段、提早停止训练。

这些概念不需要背代码，但理解了它们，你看任何训练日志都不会一头雾水。

8. 遇到术语别急，先学会“翻译”成大白话

8.1 术语混搭出镜率最高的一批

我整理了一张速查表，按最常见的使用场景归类，适合存在手机里随时翻：

8.2 别被“看起来高级”的词唬住

大模型领域的新词更新极快，今天冒出个概念，明天就可能被下一个热度替代。你做好稳定核心的那批就够应对九成场景。碰到生词时，我的习惯是去查它所属的领域，然后看它解决什么问题、替代了什么旧方法、成本如何。只要这三个点清楚，新词就是换皮或者组合出来的。

这套思路对“零基础”特别重要。不是让你背住所有术语，而是学会自己翻译、判断、过滤。

9. 最后几个学的时候容易踩的坑

起初大家容易犯的毛病是“术语收集癖”，看到一个新名词就想搞懂，结果一个月过去还是什么都说不清。我的建议是先圈定 20 个核心术语，把它们跟实际业务场景串起来用一遍，比泛泛读一百个概念有效得多。术语脱离场景去硬记，遗忘率极高。

还有一点想提醒：看书、看科普视频容易，真正让你长进最快的是多跑几次实验。拿一个开源模型，自己写几种不同风格的提示词，观察输出变化；找一篇文章做一次 RAG 问答；调一次温度对比结果。这些体验比任何教程都打通得更快。

用我自己的体检来说，把核心概念跟实操对照着过一遍之后，再回去读各家博客和技术文档，明显轻松了很多。这篇没有太多高深公式，就是希望帮你把底盘打牢，少走点弯路。如果你正在零基础入门阶段，先从 token、上下文窗口、温度、RAG 这四个词开始动手玩，很快你就能读完一篇新的文章并抓住要点，接下来就是自己的探索时间了。