Langchain-Chatchat如何提升小样本学习能力？Few-shot Prompt设计

Langchain-Chatchat 如何通过 Few-shot Prompt 实现高效小样本推理？

在企业级 AI 落地中，一个反复出现的难题是：如何让大模型准确回答那些只存在于内部文档中的问题？比如“实习生能不能申请调休？”、“项目立项需要经过哪几级审批？”——这些问题往往没有公开数据支持，标注成本高，微调不现实。更关键的是，很多公司根本不敢把敏感制度文件上传到云端 API。

正是在这种背景下，像Langchain-Chatchat这样的本地化知识库系统开始受到关注。它不依赖模型微调，也不上传用户数据，却能在私有文档基础上实现精准问答。它的秘密武器之一，就是精心设计的Few-shot Prompt（少样本提示）。

这听起来似乎只是“给模型看几个例子”那么简单，但实际效果远不止于此。Few-shot 并非简单地堆砌样例，而是一种对模型行为的精细引导机制。用得好，能让模型从“凭空猜测”变为“严格依据上下文作答”；用得不好，则可能适得其反，加剧幻觉或误导输出方向。

那到底该怎么设计有效的 Few-shot 示例？它们又是如何嵌入整个问答流程、真正提升小样本学习能力的？我们不妨从一个真实场景切入，一步步拆解背后的技术逻辑。

假设你在一家科技公司负责搭建内部 AI 助手，员工常问的一类问题是休假政策：“我今年能休几天年假？”、“病假工资怎么算？”……这些信息都写在《员工手册》里，但手册更新频繁，每次重新训练模型显然不现实。

Langchain-Chatchat 的解决方案是典型的 RAG 架构（检索增强生成），整体流程如下：

graph TD A[用户提问] --> B(问题编码) B --> C[向量数据库检索] C --> D{召回相关文本片段} D --> E[Few-shot Prompt 构造] E --> F[大语言模型生成答案] F --> G[返回响应]

看起来每一步都很常规，但决定成败的关键，往往藏在Prompt 构造环节。这里不是简单拼接问题和上下文，而是要构造一种“教学情境”——就像老师先展示两道例题，再让学生做第三道类似的题。

举个例子，如果直接把检索到的内容喂给模型：

上下文：正式员工入职满一年后可享受15天带薪年假，婚假为10个工作日。

问题：我能休几天假？

模型很可能会自由发挥：“根据中国劳动法规定，您至少可以享受……”——这话听起来合理，但完全脱离了公司具体政策，属于典型的“幻觉式回答”。

但如果我们在 prompt 中加入两个典型示例：

问题：公司年假政策是如何规定的？ 答案：正式员工每年享有15天带薪年假，入职满一年后开始计算。 问题：报销流程需要哪些材料？ 答案：需提交电子发票、费用说明单及部门主管签字确认单。 现在请回答以下问题： 问题：项目立项需要经过哪些审批环节？ 上下文：项目管理手册指出，所有新项目必须依次通过技术评审会、预算审核会和总经理办公会三重审批。 答案：

你会发现，模型的行为模式发生了明显变化。它不再试图“解释规则”，而是学会了“查找并复述”。这种转变的核心，来自于大模型具备的上下文学习能力（In-context Learning）——即无需参数更新，仅通过输入中的示例就能归纳任务模式。

这也正是 Few-shot Prompt 的本质：它不是在教模型“知道什么”，而是在教它“怎么做”。

那么，在 Langchain-Chatchat 中，这样的 prompt 是如何构建的？来看一段核心代码实现：

from langchain.prompts import PromptTemplate few_shot_template = """ 以下是一些正确的问答示例： 问题：{example_question_1} 答案：{example_answer_1} 问题：{example_question_2} 答案：{example_answer_2} 请根据以下上下文信息，严格按照上述格式回答新问题。 注意：答案必须来自上下文，不得编造。 上下文： {context} 问题：{question} 答案： """ PROMPT = PromptTemplate( input_variables=[ "example_question_1", "example_answer_1", "example_question_2", "example_answer_2", "context", "question" ], template=few_shot_template )

这段代码看似简单，实则暗含多个工程考量：

• 结构一致性：所有示例统一采用“问题 + 答案”的简洁格式，避免复杂句式干扰模型注意力；
• 指令显式化：“答案必须来自上下文，不得编造”这类约束性语句被明确写出，强化模型的遵循意识；
• 变量可替换：通过input_variables定义字段，使得系统可以根据问题类型动态加载不同领域的示例组（如 HR 类、IT 支持类等）；
• 输出可控：以“答案：”结尾留空，引导模型只生成后续内容，便于程序解析与前端展示。

更重要的是，这个模板并不是一成不变的。在实际部署中，团队往往会维护一个分类管理的示例子库，例如：

当用户提问时，系统会先进行轻量级意图识别，匹配最相关的 few-shot 模板，再结合当前检索结果生成最终 prompt。这种“动态模板选择”机制，显著提升了示例的相关性和引导效率。

当然，Few-shot 的效果也并非无条件成立。我们在实践中发现，以下几个设计原则直接影响最终表现：

1. 示例质量 > 数量

实验表明，3 个高质量示例的效果通常优于 8 个普通示例。所谓“高质量”，意味着：
- 问题具有代表性，覆盖常见提问方式（正向询问、否定确认、边界情况）；
- 答案准确且来源清晰，最好能体现“引用上下文”的特征；
- 避免模糊或多解表述，例如“一般情况下是可以的”这类回答应尽量避免。

2. 控制总 token 开销

大多数本地部署模型（如 ChatGLM3-6B、Qwen-7B）的上下文长度为 8k 或 32k。如果 few-shot 占用过多空间，就会挤压“真实上下文”的位置，导致关键信息被截断。

建议做法：
- 单个示例控制在 50~100 tokens 内；
- 总示例数不超过 5 组；
- 对长文本场景，可考虑使用摘要代替原文片段作为上下文。

3. 主动抑制幻觉

即使有了检索机制，模型仍可能因上下文信息不足而“自行补全”。为此，可以在 prompt 中加入防御性指令：

“若上下文中未提及，请回答‘暂无相关信息’。”

我们在内部测试集中验证过这一策略：加入该指令后，模型虚构回答的比例下降了60% 以上。更进一步的做法是，在示例中刻意包含一条“无法回答”的案例：

问题：公司是否有宠物友好办公室政策？ 答案：暂无相关信息。

这种“负样本示例”能让模型更清楚地理解“不知道”也是一种合法输出。

4. 与检索质量协同优化

有个容易被忽视的事实是：再好的 prompt 也无法挽救糟糕的检索结果。如果召回的上下文本身无关，few-shot 只会让模型基于错误前提做出“看似合理”的推断。

因此，必须同步优化：
- 文本分块策略：避免切断关键句子（如将“年假15天”和“入职满一年后”分在两个块中）；
- Embedding 模型选型：优先选用中文领域微调过的 Sentence-BERT 模型；
- 相似度阈值设置：低于一定分数的检索结果应视为“未命中”，直接返回兜底回复。

回到最初的问题：Langchain-Chatchat 是如何提升小样本学习能力的？

答案并不在于某个单一技术点，而是一整套工程闭环的设计思维：

• 它利用 Few-shot Prompt 建立“基于证据作答”的行为范式；
• 通过分类示例子库和动态模板匹配提升引导精度；
• 在 prompt 层面嵌入防幻觉机制，增强输出可靠性；
• 最终与检索模块形成协同，构成“查得到 → 看得懂 → 答得准”的完整链条。

这套方法的价值，尤其体现在中小企业或内部系统中——它们通常缺乏大规模标注数据、专业算法团队和 GPU 资源，但又迫切需要智能化服务能力。Few-shot Prompt 正是以极低的成本，撬动了大模型的实际应用潜力。

未来，随着自动 prompt 工程、示例挖掘推荐等技术的发展，这类系统的自我进化能力将进一步增强。也许有一天，AI 不仅能回答已有问题，还能主动建议：“你们应该补充一条关于远程办公审批的示例，最近这类咨询越来越多了。”

而这，才是“小样本、大智能”的真正起点。