本文通过图解形式系统介绍了AI核心技术，包括Transformer与MoE架构对比、LLM微调技术(LoRA系列)、RAG系统演进(传统、Agentic、Corrective)、智能体设计模式与等级划分，以及MCP、A2A等新兴协议标准。内容全面覆盖了大模型关键技术，以直观方式帮助读者理解复杂AI概念，适合技术人员学习收藏。
简介
本文整理了来自Daily Dose of Data Science最热门或最新的文章，其中极具特色的动图以生动形象的方式，帮助我们更好的理解AI中的一些核心技术，希望能够帮助大家更好的理解和使用AI。
大模型
Transformer vs. Mixture of Experts
混合专家 (MoE) 是一种流行的架构，它使用不同的“专家”来改进 Transformer 模型。
下图解释了它们与 Transformers 的区别。
图片
- Transformer 使用前馈网络。
- MoE 使用专家，它们是前馈网络，但与 Transformer 中的网络相比规模较小。在推理过程中，会选择一部分专家。这使得 MoE 中的推理速度更快。
Fine-tuning LLMs
传统的微调（如下图所示）对于 LLM 来说是不可行的，因为这些模型具有数十亿个参数并且大小为数百 GB，并且并非每个人都可以使用这样的计算基础设施。
值得庆幸的是，今天我们有许多最佳方法来微调 LLM，下面描述了五种流行的技术：
- LoRA ：添加两个低秩矩阵 A ，以及 B包含可训练参数的权重矩阵。无需进行微调W，只需调整这些低秩矩阵中的更新即可。
- LoRA-FA ：虽然 LoRA 显著减少了可训练参数的总量，但它仍然需要大量的激活记忆来更新低秩权重。LoRA-FA（FA 代表 Frozen-A）会冻结矩阵，A并且仅更新矩阵B。
- VeRA ：在 LoRA 中，每一层都有一对不同的低秩矩阵A和B，并且这两个矩阵都经过训练。然而，在 VeRA 中，矩阵A和B是冻结的、随机的，并在所有模型层之间共享。VeRA 专注于学习较小的、特定于层的缩放向量，记为b和d，它们是此设置中唯一可训练的参数。
- Delta-LoRA ：除了训练低秩矩阵之外，W还会对矩阵进行调整，但不是以传统方式。相反，将两个连续训练步骤中低秩矩阵乘积与之间的差值（或增量）A添加B到W。
- LoRA+ ：在 LoRA 中，矩阵A和B都以相同的学习率更新。作者发现，为矩阵设置更高的学习率B可以获得更优的收敛效果。
RAG（检索增强生成）
传统RAG
传统RAG系统存在以下一些问题：
- 这些系统检索一次，生成一次。这意味着如果检索到的上下文不够，LLM就无法动态搜索更多信息。
- RAG 系统可以提供相关的上下文，但无法通过复杂的查询进行推理。如果查询需要多个检索步骤，传统的 RAG 就显得力不从心了。
- 适应性较差。LLM 无法根据实际问题调整策略。
Agentic RAG
Agentic RAG 的工作流程如下：
如上所示，我们的想法是在 RAG 的每个阶段引入代理行为。
我们可以把智能体想象成能够主动思考任务的人——规划、调整、迭代，直到找到最佳解决方案，而不仅仅是遵循既定的指令。LLM 的强大功能使这一切成为可能。
让我们逐步理解这一点：
- 步骤 1-2）用户输入查询，代理重写它（删除拼写错误，简化嵌入等）
- 步骤 3）另一个代理决定是否需要更多细节来回答查询。
- 步骤4）如果不是，则将重写的查询作为提示发送给LLM。
- 步骤 5-8) 如果答案是肯定的，另一个代理会查看其可以访问的相关资源（矢量数据库、工具和 API 以及互联网），并决定哪个资源有用。检索相关上下文并将其作为提示发送给 LLM。
- 步骤9）以上两条路径中的任意一条都会产生响应。
- 步骤 10）最后一个代理检查答案是否与查询和上下文相关。
- 步骤11）如果是，则返回响应。
- 步骤 12）如果不是，则返回步骤 1。此过程持续几次迭代，直到系统承认它无法回答查询。
这使得 RAG 更加稳健，因为在每一步中，代理行为都能确保个体结果与最终目标保持一致。
Corrective RAG
Corrective RAG（CRAG）是改进 RAG 系统的常用技术。它引入了对检索到的文档进行自我评估的步骤，有助于保留生成的响应的相关性。
以下是其工作原理的概述：
图片
- 首先根据用户查询搜索文档。
- 使用 LLM 评估检索到的上下文是否相关。
- 仅保留相关上下文。
- 如果需要的话，进行网络搜索。
- 聚合上下文并生成响应。
RAG 的 5 种分块策略
图片
智能体
5种智能体设计模式
Agentic behaviors允许 LLM 通过结合自我评估、规划和协作来改进他们的输出！
下图展示了构建 AI 代理时采用的 5 种最流行的设计模式。
图片
反射模式
LLM会审查其工作以发现错误并不断迭代直到产生最终的响应。
工具使用模式
工具允许 LLM 通过以下方式收集更多信息：
- 查询矢量数据库
- 执行 Python 脚本
- 调用API等
这很有帮助，因为 LLM 不仅仅依赖于其内部知识。
ReAct（Reason and Action）模式
ReAct 结合了以上两种模式：
- 代理可以反映生成的输出。
- 它可以使用工具与世界互动。
这使得它成为当今使用最强大的模式之一。
规划模式
AI 不会一次性解决请求，而是通过以下方式创建路线图：
- 细分任务
- 概述目标
这种战略思维可以更有效地解决任务。
Multi-agent模式
在此设置中：
- 我们有几个agent。
- 每个agent都被分配了专门的角色和任务。
- 每个agent还可以访问工具。
所有agent共同努力以交付最终结果，同时在需要时将任务委派给其他agent。
智能体系统的5个等级
Agentic AI 系统不仅仅生成文本；它们还可以做出决策、调用函数，甚至运行自主工作流程。
该图解释了人工智能代理的 5 个级别——从简单的响应者到完全自主的代理。
图片
- 基本响应器仅生成文本
- 路由器模式决定何时采取路径
- 工具调用选择并运行工具
- 多代理模式管理多个代理
- 自主模式完全独立运作
MCP
Function calling & MCP
在 MCP 成为主流（或像现在这样流行）之前，大多数 AI 工作流程依赖于传统的函数调用。
现在，MCP（模型上下文协议）正在改变开发人员为代理构建工具访问和编排的方式。
以下是解释函数调用和 MCP 的视觉说明：
图片
Function calling（函数调用）
函数调用是一种机制，它允许 LLM 根据用户的输入识别它需要什么工具以及何时调用它。
它通常的工作方式如下：
- LLM 收到来自用户的提示。
- LLM 决定其所需的工具。
- 程序员实现程序来接受来自 LLM 的工具调用请求并准备函数调用。
- 函数调用（带有参数）被传递给处理实际执行的后端服务。
MCP（模型上下文协议）
函数调用关注的是模型想要做什么，而 MCP 关注的是如何让工具变得可发现和可用——尤其是跨多个代理、模型或平台。
MCP 无需在每个应用程序或代理中都安装硬接线工具，而是：
- 标准化工具的定义、托管和向 LLM 公开的方式。
- 使 LLM 能够轻松发现可用的工具、了解其模式并使用它们。
- 在调用工具之前提供批准和审计工作流程。
- 将工具实施与消费的关注点分开。
MCP & A2A
Agent2Agent (A2A) 协议让 AI 代理可以连接到其他代理。
图片
- MCP 为代理提供访问工具的权限。
- 而 A2A 允许代理与其他代理连接并以团队形式协作。
Next thing
在代理领域：
- MCP 标准化了代理到工具的通信。
- Agent2Agent 协议标准化了 Agent 到 Agent 的通信。
但还缺少一件东西……
图片
AG-UI（代理-用户交互协议）标准化了后端代理和前端 UI 之间的交互层（下图绿色层）。
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
