张小明
前端开发工程师
系列第 8 篇。到现在为止，我们的 GPT 只会"生成文本"。这一篇开始微调——让预训练模型适配特定任务。首先是最简单也最实用的形态：分类微调，用 GPT 做垃圾邮件识别。
对应《从零构建大模型》第 6 章：微调策略、数据集准备、替换输出头、冻结层、训练与准确率评估。
预训练 GPT 的输出是下一个 token 的概率分布（50,257 类），输出层是一个巨大的 token 头。而垃圾邮件分类只需要输出2 个标签（spam / not spam）。
直接把"下一个词"的任务硬当分类用，既不高效也不对路。微调的思路是：
保留预训练学到的"语言理解能力"，只把顶部的输出层换成任务需要的分类头，再用带标签数据训练。
一个关键前提：微调必须在预训练之后进行。预训练教给模型"语言长什么样"，微调教给模型"怎么用语
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
李华
你的 Agent 每跑一步都在烧钱？一篇论文告诉你怎么把 100 万 Token 压到 6 万 目录 你的 Agent 每跑一步都在烧钱？一篇论文告诉你怎么把 100 万 Token 压到 6 万 一个让你心疼钱包的场景 一篇最近很火的论文说：你确实不需要 核心洞察，一句话 ReAct vs. SKILL.state：书包 v…
李华
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
李华
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
李华
简介：本资源是一套完整的基于STM32的嵌入式毕业设计项目，面向电子信息、自动化及物联网方向的本科生与嵌入式初学者，聚焦老人居家安全监护场景，解决跌倒实时识别与远程求救响应难题。系统以STM32F103为核心，集成ADXL34…
李华
简介：这是一套基于SpringBootMybatisThymeleafMySQL实现的完整购书商城系统源码，面向Java Web初学者与全栈开发入门者，解决在线图书浏览、购物车管理、订单交易及后台运营等核心电商场景需求。资源包共109个文件，涵盖35个Java业务…
李华