RAG系统性能的关键在于分块策略。本文详细解析了7种主流分块方法：固定大小、语义、递归、文档结构、智能体、句子和段落分块。初学者可从512 tokens搭配10-15%重叠率开始，优化时多采用递归和句子分块。不同文档类型需采用不同策略，没有"万能"方案，需根据业务场景调整参数，以提高检索精度和召回率。
一、引言
为什么同样是做 RAG，有的效果拔群，有的却差强人意？分块（Chunking）策略可能是那个被你忽略的关键环节。
什么是Chunk？
AI中的分块是指将大型文档分割成称为“chunk”的较小片段。这些片段可以是段落、句子、词组或受token限制的片段，这使得模型能更轻松地仅搜索和检索所需内容。这种分块技术对于优化检索增强生成（RAG）的性能至关重要。
为什么在RAG中需要Chunk？
在RAG中，检索到正确的信息是关键，但当知识库非常庞大，可能包含数百万字或文档时，使用有效的RAG分块技术对于从这类大型数据集中高效检索相关信息，就变得至关重要了。举个例子，你有一个服务QPS达到千万级还要在30ms内返回结果，这时一定会搞一组本地缓存的集群。把你的数据按规则初始化到缓存里，就是对应的RAG的Chunk操作。
Chunk也是RAG ETL Pipeline中Transform环节的核心组件之一，可以比喻成我们切蛋糕，在切之前就已经想好要分几块了。让我看看“切蛋糕🍰”有几种手法。
二、主流RAG的分块策略详解
2.1.固定大小分块策略
- 核心思想：根据预定义的字符数或 token 数将文本分成统一的块。
- 工作方式：例如，固定每块 500 tokens。引入 “重叠区”（Overlap）来缓解上下文断裂问题。
- 优点：实现简单，处理速度快，不依赖复杂模型。
- 缺点：可能破坏语义完整性（如拆分句子或段落），对结构差异大的文档适应性差。
2.2.语义分块策略
- 核心思想：根据文本的语义相似度而非物理结构进行分块，确保每个 Chunk 内部主题高度相关。
- 工作方式：通常通过计算句子 Embedding 的余弦相似度，当相似度低于某个阈值时进行分割。
- 优点：能创建逻辑上最连贯的 Chunk，对后续检索和生成质量提升显著。特别适用于处理主题跳跃较多的文档。
- 缺点：计算成本高（需要调用 Embedding 模型），处理速度较慢。
2.3.基于递归分块策略
- 核心思想：一种更智能的组合式策略，按优先级顺序尝试多种分隔符进行递归分割。
- 工作方式：例如，优先按段落分割，如果段落仍过大，再按句子分割，最后才按字符数强制分割。
- 优点：尽可能保留高级别的语义结构（段落 > 句子 > …），适应性强，能处理多种类型文档。
- 缺点：实现稍复杂，性能开销高于纯固定大小分块。
2.4.基于文档的分块策略
- 核心思想：利用文档本身的元数据和结构信息（如标题层级、表格、图片说明、PDF 页码等）进行智能分割。
- 工作方式：例如，将一个一级标题下的所有内容（包括子标题和段落）作为一个大 Chunk，或者将每个表格单独作为一个 Chunk。
- 优点：完美贴合特定类型文档（如法律合同、学术论文、报告）的逻辑结构，信息组织性强。
- 缺点：依赖高质量的文档解析和结构识别，通用性相对较弱。
2.5.智能体分块策略
- 核心思想：这是一种更前沿的动态策略，根据 Agent 将要执行的具体任务或目标来决定如何分块。
- 工作方式：Agent 会先理解任务，然后自适应地从文档中提取和组织最相关的信息块。例如，任务是 “总结”，则可能提取关键论点；任务是 “回答特定问题”，则可能精准定位相关证据。
- 优点：灵活性和针对性极高，能最大化任务效果。
- 缺点：实现复杂，通常需要强大的规划和推理能力，目前还不普及。
2.6.基于句子的分块策略
- 核心思想：将文本分割成完整的句子，确保每个 Chunk 都包含一个或多个完整的思想。
- 工作方式：使用 NLP 工具（如 NLTK, SpaCy）识别句子边界，然后可以将几个连续的句子组合成一个 Chunk。
- 优点：保证了基本的语义单元完整，避免了 “半句话” 的问题。
- 缺点：句子长度差异仍可能导致 Chunk 大小不均；多个句子组合时，如何确定最佳组合仍需策略。
2.7.基于段落的分块策略
- 核心思想：基于段落的分块，通过提示符截取，将整个文本划分成多个段落。这种方式同样适合结构清晰的文档。
- 工作方式：例如，保险条款、法律、论文、AB实验报告等文档。
- 优点：优点自然分段，语义完整。
- 缺点：缺点自然是段落长度不一，可能超token限制。
其他
除以上7种外，还有很多大神们总结的切块方法论，如按照token、按照层级，按照excel sheet页，按照pdf页码等。都是针对特定场景。下面我结合实战和中文的切块的方法论做一下总结。
三、分块策略的选择与实战优化
3.1. 没有“万能”的分块策略
现实中不存在一种“one-for-all” 的数据读取和分块方法，特别像是 PDF 和 Word 这类复杂格式的文档。比较流行的方案是实用DeepDoc（OCR、TSR、DLR），所以实际中应根据业务，制作不同的模板。那么评估Chunk的参数和指标有哪些呢？ 指标就是Precision和Recall，详细看表格**：**
Chunk参数与指标，我设计了两套策略：512/10%和2500/25 （单位token）
3.2.Chunk策略的选择
我的方法论：段落分块（Paragraph Chunking），句子分块（Semantic Chunking），递归分块（Recursive Chunking），语义分块（Semantic Chunking）。
现在的RAG框架基本都是基于段落或句子来分块，也都都支持（\n。；！？）的递归分块。那从运营用户角度出发，或者第一次切的时候，如何傻瓜式操作呢？RAGFlow交出了一份方案，看一下它的分块核心算法
四、方法论总结
如何开始？可以从512 tokens 搭配 10-15%的重叠率开始。
如何优化？调试参数，多使用递归分块和句子分块，语义分块还是不够优秀。
如何测评？上号 chunking_evaluation
有和方法论？ 上号 CRUD-RAG 论文指出对于创意生成和保持文章连贯性的任务，切分较大的块表现会更佳。我们在
RAGas实验也得到了相同的答案。
好了，以上是我们的实践总结，希望能帮到大家。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
为什么要学习大模型？
我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着AI技术飞速发展，预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。
大模型入门到实战全套学习大礼包
1、大模型系统化学习路线
作为学习AI大模型技术的新手，方向至关重要。 正确的学习路线可以为你节省时间，少走弯路；方向不对，努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划，带你从零基础入门到精通！
2、大模型学习书籍&文档
学习AI大模型离不开书籍文档，我精选了一系列大模型技术的书籍和学习文档（电子版），它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。
3、AI大模型最新行业报告
2025最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
4、大模型项目实战&配套源码
学以致用，在项目实战中检验和巩固你所学到的知识，同时为你找工作就业和职业发展打下坚实的基础。
5、大模型大厂面试真题
面试不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我精心整理了一份大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。
适用人群
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
