5.7% 降至 1.9%：RAG 真正的功夫全在检索这一层 | 5万+收藏 | 程序员必备大模型进阶指南

本文介绍了 RAG（检索增强生成）技术，从其起源、发展历程到最新应用，详细阐述了如何通过优化检索层提升大模型性能。文章指出，尽管大模型上下文窗口已大幅扩展，但检索优化仍是提升准确性的关键。通过实例分析，总结了检索优化的有效方法，如上下文检索、重排等，并对比了不同工具链的优劣，为读者提供了实用的技术选型建议。对于想要深入学习大模型技术的程序员来说，本文是不可或缺的进阶指南。

2020 年一篇论文给「模型不会就去查」起了名字，六年后这件事被拆成了五个工种。RAG 没死，死的是最朴素那一种。

01｜十二个人给「去查一下」起了个名字

2020 年 5 月，12 个人往 arXiv 传了一篇论文，给「模型不会就去查」这件事起了个正式名字，Retrieval-Augmented Generation（arXiv:2005.11401）。

作者来自 Facebook AI Research、伦敦大学学院和纽约大学。同年 12 月，论文在 NeurIPS 2020 上宣读。

它要解决的问题不复杂。那时候的语言模型把知识全背在参数里，论文管这叫「参数记忆」，背下来的东西有三个代价。训练截止之后的事一概不知道；答错了也没法翻到某处去改，模型是个黑箱；想更新一次知识，只能重训。

论文的方案是再加一份「非参数记忆」——一份能读、能查、能改的外部索引。

配置也很具体。生成器是 BART-large，检索器是 DPR（Dense Passage Retrieval），底库是 2100 万条维基百科段落。检索这一步用今天的眼光看很朴素，把问题和每段资料都转成一串数字，算它们之间的距离，挑最近的送进生成器，每次挑 5 到 10 段。

02｜论文里最值钱的不是分数

论文当年确实拿下了一批最好成绩，Natural Questions 44.5、WebQuestions 45.5、TriviaQA 68.0。但这些数字两年后就被刷新了，一篇 2020 年的论文能被人引用六年，靠的不是它们。

真正被反复引用的，是藏在正文里的一行字。知识要更新，把索引换掉就行，模型一个参数都不用动。

要理解这行字的分量，得先看它推翻的是什么。在那之前，知识进了模型就等于长在模型里，想更新只能重训，也就是把模型重新练一遍，排期、算力、评测全走一轮，几周起步。论文给的是另一条路，模型和资料从此分开。

论文里的原话是「不用算任何梯度」。梯度是训练里才会有的东西，不算梯度就等于不训练，模型的权重一个数字都不动。

这一步的价值，用起来才看得出来。公司规章改了、产品价格变了、系统上线换了流程，都不用等模型团队排期重训，把新文档灌进去，下一个问题就能答对。

分数是那个时代的上限，谁都能追。把更新知识从「训练问题」降成「数据问题」，才是这篇论文留给今天的真东西。

同一篇论文还留了两个变体，区别只在检索的颗粒度。RAG-Sequence 是一句话开口前就把资料挑好，整段回答从头到尾看同一批；RAG-Token 是每写一个词都能抬头换一批资料。后者在「答案要从几份材料里拼出来」时更准，代价是更贵、更难训。

今天生产环境里跑的，基本都是前一种。

03｜六年五代，从切块到上下文工程

RAG 这六年不是一条直线，是五次换挡。

RAG 六年五代演进时间线

第一代是朴素 RAG，起点是 2023 年。LangChain 和 LlamaIndex 把它标准化成四步，切块、嵌入、检索、拼接。大多数人第一次接触 RAG 看到的就是这个形状。

坑也埋在这儿。整条链路没有校验环节，检索回一堆看着像其实没用的片段，模型照样一本正经地答。

第二代是进阶 RAG，时间跨度是 2023 到 2025 年，优化全压在检索这头。做法包括换着法子改写问题、先让模型编一个假答案再拿它去搜（这招叫 HyDE）、向量检索和全文检索各跑一遍再合起来、把候选片段逐条配着问题重新排序，以及拿小块去搜、搜中之后把所在的整段一起交给模型。其中重排是投产性价比最高的一项。

第三代是模块化加图谱，发生在 2024 年。微软 2024 年 4 月开源 GraphRAG（arXiv 2404.16130），用大模型从文本里抽实体和关系、聚类成社区、给每个社区预生成摘要，专门回答「这批资料整体讲了什么」，这种问题任何单个切片都答不了。

代价是索引阶段要过大量模型调用。同年 10 月的 LightRAG（arXiv 2410.05779）和 11 月的 LazyGraphRAG 都在压这笔成本，后者官方给的口径是索引开销与向量 RAG 持平、约为完整 GraphRAG 的 0.1%。

第四代是智能体 RAG，从 2025 年开始。Self-RAG、CRAG 让系统自己判断「要不要查」「查到的够不够」「答的有没有资料支持」，不够就改写问题重查。检索从一条固定流水线，变成了可以被调度的工具。

第五代是上下文工程，从 2025 年下半年开始。RAG 不再被当成独立工具，而是「这一轮该给模型看什么」这个大问题下的一块。检索负责挑出高价值证据，长上下文负责在证据上做推理。

04｜「塞得进去」和「用得上」是两件事

「RAG 已死」的说法从 2024 年就开始传，理由是模型窗口都到百万甚至两百万 token 了，整个知识库直接塞进去不就行了。

斯坦福 2023 年那篇《Lost in the Middle》（arXiv:2307.03172）早就把这条路堵了一半。实验设计很简单，给模型 20 篇文档，答案只在其中一篇里，然后移动那篇文档的位置。

GPT-3.5-Turbo 的表现是这样。答案在第 1 位，准确率 75.0%；挪到中间，掉到 53.8%；放到最后，回到 63.2%。

而完全不给文档、让模型凭记忆答，闭卷成绩是 56.1%。

中间位置的成绩，比一篇文档都不给还低。 文档数从 20 加到 30，中间那块塌得更明显，最差一档约 50.9%。

答案文档位置与准确率的关系

Chroma 在 2025 年 7 月做了更大一轮，测 18 个前沿模型，包括 Claude Opus 4、GPT-4.1、o3、Gemini 2.5 Pro 和 Qwen 3 系列。结论是所有模型都随输入变长而退化，连那些内容固定、本身极简的任务也不例外。

再叠上成本。token 按长度计费，喂进去多少就付多少，缓存也只在反复复用同一段开头时才便宜。所以真正的落点是混着来。

检索把证据收窄，长上下文在收窄后的证据上做推理。一个常见配比是召回几十片，重排到 7 片左右，约 20K token 进模型。

05｜拉开差距的两个数，都在检索这头

到 2026 年，生成这头早就不是瓶颈，模型够聪明。失败点几乎总在检索，该捞出来的资料没被捞出来。

有一个方案值得完整记一遍。Anthropic 在 2024 年 9 月提出上下文检索（Contextual Retrieval）。做法是切片之前，先让模型给每一片生成 50 到 100 token 的说明，讲清这片在整篇文档里的位置，把说明拼在切片前面，再去做嵌入，同时另建一份按关键词匹配的索引，两条路一起搜。

实测的口径是每次捞前 20 条、答案没在里面的比例，从 5.7% 降到 3.7%，这一步只是给切片加了那句位置说明，降幅 35%；再叠上关键词那条路，到 2.9%，降 49%；再往里叠一层重排，到 1.9%，降 67%。

给这些说明付的是一次性的钱，官方口径是每一百万 token 的文档约 1.02 美元，配合缓存还能再省一点。5.7% 到 1.9%，功夫基本花在索引和排序上，跟换模型没关系。

另一个是重排。向量检索只做粗筛，把问题和每一个候选片段配成一对、逐条细看再重新排序，就是重排在干的事。上面那串数字里，最后那一步就是它。

06｜工具分五层，每层卡一道关

先说清这张表怎么读。下面按「卡哪一道关」分层，不按功能多少排名；star 数是 2026 年 10 月 8 日抓的，会随时间变；标了「修改版 Apache 2.0」的两个项目都带多租户限制条款，商用前要看清楚。

RAG 工具链的五层分工

最容易纠结的是编排层。挑六个常见选项放在一起看。

RAGFlow 在 2026 年 9 月 29 日发了 v1.0.0-rc1，是它第一个 1.0 候选版。这个项目 2023 年 12 月建仓，到现在不到三年。

剩下几层放在一张表里，第一列标出它属于哪一层。跨层的 star 数只能看热度，不能排好坏。

表里有个数字挺扎眼。MinerU 81,232 星、Docling 68,507 星，两个解析项目的星数都超过了 LlamaIndex 的 52,435。 热度在从框架层往数据侧挪，大家踩的坑多半不在拼链路，在文档进去的时候就已经错了。

解析这一层值得展开说一句。同一份 PDF，用不同工具跑出来的文本能差出三成——页眉页脚混进正文、跨页表格被拆成两张、公式变成乱码。这些脏东西进了知识库，后面检索再准也没用。

评测这一层容易被跳过。RAGAS 的做法是拿另一个大模型当裁判，判三件事。答案里的每条说法资料支不支持（忠实度）、答的和问的贴不贴（相关性）、检索回来的片段是不是真的用得上（上下文精确率与召回率）。

它管不了业务对错，但能告诉你这次改动是往好还是往坏。

图谱这一层要看问题类型。问「某条规定是什么」，向量检索够用；问「这批投诉里反复出现的三个根因是什么」，就得靠图谱。GraphRAG 论文里报的数字是在全局类问题上对向量 RAG 有七八成的胜率，而一份独立评测发现，简单事实检索上两者持平、图谱方案的查询延迟反而更高。

07｜五句话选型，加一句我自己的用法

整个语料不到 5 万 token、而且基本不变，直接塞长上下文，别搭 RAG。

不同的人能看的文档不一样，检索时的权限过滤跑不掉。

文档每周都在更新，走增量重建索引，比每次重新灌一遍便宜得多。

要回答「这批资料整体讲了什么」，加一层图谱；只问「某条规定是什么」，加了是浪费。

库里已经在用 PostgreSQL，先上 pgvector，别急着起第二个数据库。

这五句背后其实是同一个判断，先看数据规模、更新频率和权限要求，再看技术选型。反过来做，就是先挑了个框架，再想办法让数据适配它。

我自己那套问答机器人现在的配置是混合检索，向量权重 0.6、全文 0.4，召回后过一遍重排，Top N 控制在个位数。下一步想补的是上下文检索那一步，现在切片还是裸切，每片前面没有那句位置说明，而就是这一步，把失败率从 5.7% 压到了 3.7%。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包：

• ✅ 从零到一的 AI 学习路径图
• ✅ 大模型调优实战手册（附医疗/金融等大厂真实案例）
• ✅ 百度/阿里专家闭门录播课
• ✅ 大模型当下最新行业报告
• ✅ 真实大厂面试真题
• ✅ 2026 最新岗位需求图谱

所有资料 ⚡️ ，朋友们如果有需要《AI大模型入门+进阶学习资源包》，下方扫码获取~

① 全套AI大模型应用开发视频教程

（包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点）

② 大模型系统化学习路线

作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！

③ 大模型学习书籍&文档

学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。

④ AI大模型最新行业报告

2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

⑤ 大模型项目实战&配套源码

学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。

⑥ 大模型大厂面试真题

面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

以上资料如何领取？

为什么大家都在学大模型？

最近科技巨头英特尔宣布裁员2万人，传统岗位不断缩减，但AI相关技术岗疯狂扩招，有3-5年经验，大厂薪资就能给到50K*20薪！

不出1年，“有AI项目经验”将成为投递简历的门槛。

风口之下，与其像“温水煮青蛙”一样坐等被行业淘汰，不如先人一步，掌握AI大模型原理+应用技术+项目实操经验，“顺风”翻盘！

这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

以上全套大模型资料如何领取？