少样本CoT通过提供少量带推理步骤的示例,引导大模型生成逻辑连贯的思考过程,提升复杂任务准确性。文章介绍了标准CoT提示结构及五种改进方法:对比CoT提供正反示例对比学习;复杂示例选择推理步骤多的案例;主动提示选择模型最不确定的问题;思维记忆让模型自我生成记忆辅助解题;自生成示例通过问题聚类自动创建示例。这些方法有效解决了示例质量、模型错误认知、固定示例适配性等问题,显著提升大模型推理能力且降低人工成本。
少样本 CoT(Few-shot Chain-of-Thought)是思维链提示技术在少样本场景下的应用,核心是通过给模型提供少量带推理步骤的示例,引导模型生成逻辑连贯的思考过程,从而提升复杂任务(如数学计算、逻辑推理、多步决策)的准确性,尤其适合数据标注成本高、无法提供大量样本的场景。一个标准的少样本 CoT 提示包含 3 个部分:
- 指令:明确任务目标(如 “解决以下数学应用题”)
- 少样本示例:每个示例包含输入、推理步骤、最终答案,且推理步骤需清晰拆解逻辑
- 待解决问题:需要模型处理的新问题
下面是一个具体的少样本 CoT 提示示例:
ounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(lineounter(line 指令:请解决以下数学题,先写出推理步骤,再给出答案。 示例1: 输入:小明有5个苹果,小红比小明多3个,小刚的苹果数是小红的2倍,小刚有多少个苹果? 推理步骤: 1. 先算小红的苹果数:5 + 3 = 8个 2. 再算小刚的苹果数:8 × 2 = 16个 答案:16 示例2: 输入:书架上有12本故事书,科技书比故事书少4本,漫画书是科技书的3倍,漫画书有多少本? 推理步骤: 1. 先算科技书数量:12 - 4 = 8本 2. 再算漫画书数量:8 × 3 = 24本 答案:24 待解决问题: 输入:一个文具店有20支铅笔,钢笔比铅笔少5支,圆珠笔是钢笔的4倍,圆珠笔有多少支?简单的少样本 CoT 会面临着示例质量不足且人工成本高,模型缺错误逻辑认知易出错,固定示例适配性差、模型难自我进化等问题。接下来介绍一些改进的少样本 CoT 提示法。
对比思维链提示法 Contrastive CoT Prompting
对比思维链提示法(Contrastive Chain-of-Thought Prompting ) 的核心思路是模仿人类 “正反例子一起学”。
为了让这方法能通用(不用人工写错误例子),论文设计了一套自动生成 “错误推理步骤” 的办法:
- 先从正确的思维链里,提取关键信息(比如数字、公式、人物名这些核心对象);
- 再把这些关键信息的顺序打乱,就造出了 “步骤混乱” 的错误推理。
之后给模型的提示里,就包含 “问题 + 正确推理 + 错误推理”,让模型对比着学。
复杂示例提示法 Complexity-based Prompting
复杂示例提示法(Complexity-Based Prompting for Multi-Step Reasoning) 核心逻辑很简单:选推理步骤更多、更复杂的思维链当提示词,比选简单的例子效果好得多。
怎么定义 “复杂”? 主要看推理步骤的数量,比如一道题的解题过程写了 9 步,就比只写 2 步的例子更 “复杂”;如果没有现成的推理步骤标注,也可以用问题的长度、解题公式的长度来判断复杂度。不止提示词,输出也挑复杂的。把这个思路延伸到了模型输出阶段,在生成的 “最复杂的那几条推理链” 里投票(比如生成 50 条,只选步骤最多的 30 条来投票)。
主动提示法 Active Prompting
少样本 COT 能大幅提升模型的推理能力。但是,如果这些示例都是人工固定选的,效果会打折扣,比如随便从题库里挑 8 道题写思路。可不同任务的难度、类型不一样,这些固定示例不一定适配所有任务,相当于 “一套模板用到底”。
主动提示法(Active Prompting with Chain-of-Thought for Large Language Models) 的思路是不随便选示例,而是挑 “模型最拿不准的题” 来做示例,具体分 4 步:
- 先测模型的 “不确定度”给模型一堆没标注思路的题目,让它对每道题生成好几次答案。然后用几个指标判断它对这道题有多 “懵”:
- 分歧度:比如同一道题模型算出 3、5、7 三个答案,说明它没把握;
- 熵:专业点说就是答案的混乱程度,混乱越高越不确定;
- 还有方差、模型自评估的信心等指标(但后两种效果一般,模型容易 “过度自信” 说自己肯定对,实际错了)。
挑最懵的题来标注按不确定度排序,选最让模型迷糊的几道题(比如 8 道),让人工给这些题补上详细的思维链和正确答案,做成 “专属示例”。 用新示例去解题把这些定制的示例放在要测试的题目前面,再让模型按示例的思路一步步推理,最后还能结合 “自一致性”(让模型多算几次,选出现次数最多的答案)进一步提高准确率。
思维记忆提示法 Memory-of-Thought Prompting
现有大模型提升的痛点是,要么得靠高质量的标注数据集,要么得做算力成本极高的模型微调。而且像 GPT-4 这类顶尖模型大多只能通过 API 调用,没法直接微调,同时微调还可能让模型丢掉通用能力,得不偿失。
MoT (MoT: Memory-of-Thought Enables ChatGPT to Self-Improve) 参考人类的学习模式 —— 人能通过思考和记忆实现自我提升,不用一直依赖外部学习资料。MoT 就模仿这个逻辑,让大模型自己生成 “思维记忆”,再用这些记忆辅助后续答题。
MoT 的两个核心阶段:
- 预思考阶段:在正式答题前,先让模型在无标注数据集上 “刷题”。它会针对每个问题生成多条推理路径,用 “多数投票” 选出最一致的答案,再通过答案熵过滤掉那些模型自己都拿不准的低置信度推理,只把高置信度的 “问题 - 推理过程 - 答案” 存成外部记忆。
- 回忆阶段:遇到测试题时,模型会先通过语义工具(比如 SBERT)筛选出语义相关的记忆候选,再让模型自己从候选里挑出最有帮助的记忆,最后结合这些记忆,用思维链(CoT)的方式推理出答案。
自生成示例 CoT 提示法 Automatic Chain-of-Thought (Auto-CoT) Prompting
Auto-CoT (Automatic Chain of Thought Prompting in Large Language Models) 的核心就是用 “问题聚类 + 多样性选例”,让大模型自己生成推理示例,既省了人工写示例的功夫,又能达到甚至超过人工示例的推理效果,给大模型的复杂推理提效降本。
Auto-CoT 的两个核心步骤:
- 给问题分类:把数据集里的问题用工具分成几个类别(比如把数学题按 “加减”“乘除” 聚类),保证每个类的问题类型不一样;
- 挑代表题生成推理链:从每个类别里挑一个最典型的问题,用 “一步步想” 的零样本 CoT 让模型生成推理步骤,再用简单规则筛选(比如问题别太长、推理步骤别超 5 步),最后把这些 “类别代表题 + 推理链” 拼成示例。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包:
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2025 最新岗位需求图谱
所有资料 ⚡️ ,朋友们如果有需要《AI大模型入门+进阶学习资源包》,下方扫码获取~
① 全套AI大模型应用开发视频教程
(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)
② 大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
以上资料如何领取?
为什么大家都在学大模型?
最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!
不出1年,“有AI项目经验”将成为投递简历的门槛。
风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!
这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。