随着AI智能体(Agent)的兴起,记忆机制成为其核心能力。本文综述了最新论文《Memory in the Age of AI Agents》,提出了首个针对Agent记忆的统一分类体系,从形式、功能和动态三个维度解构记忆模块,并厘清了Agent Memory与RAG、Context Engineering的边界。文章详细解析了Token-level、Parametric、Latent等记忆形式,以及Factual、Experiential、Working等记忆功能,并强调了记忆演化在Agent学习中的重要性。对于想要深入了解AI记忆机制的读者,本文提供了宝贵的理论框架和评估标准。
1. 引言
(这篇论文综述真的写得不错,内容很详实,有大量配图供理解,完全可以当做Agent Memory论文检索目录来看。)
随着大模型(LLM)从单纯的“聊天机器人”向能够独立规划、执行任务的“智能体(Agent)”进化,记忆(Memory) 已经成为区分 LLM 和 Agent 的核心标志。一个具备长期记忆的 Agent 才能在复杂任务中保持状态、积累经验并实现个性化进化。
尽管相关研究呈井喷式增长,但当前领域面临着严峻的碎片化问题。学术界对“记忆”的定义极其混乱,常常将 RAG(检索增强生成)、Context Engineering(上下文工程)与 Agent Memory 混为一谈。
传统的“长/短期记忆(LSTM)”分类法已无法涵盖现代基于 Transformer 的 Agent 记忆系统,而且不同论文的实现方式(如向量数据库 vs 模型微调)和评估协议差异巨大,导致难以横向对比。
本文提出了一套全新的Agent Memory 统一分类体系(Unified Taxonomy)。作者不通过简单的时长划分,而是从形式(Forms)、功能(Functions)和动态(Dynamics)三个正交维度对记忆进行了重构,为未来设计具备类人记忆能力的智能体提供了理论基石。
Agent Memory 全景图,将记忆系统比作 Agent 的大脑海马体,连接了感知(Input)、规划(Planning)和行动(Action),并明确了其与 LLM 参数记忆及外部工具(Tools)的交互边界。
2. 问题痛点
目前的 Agent 记忆实现五花八门。有的仅仅是将对话历史存入 List(Token-level),有的使用向量数据库(Vector Store),有的则尝试通过微调(Parametric)来“记住”知识。缺乏一个统一框架来描述这些不同技术栈的优劣。
大多数现有研究只关注“如何存储”和“如何检索”(Read/Write),却忽略了记忆的演化(Evolution)。人类记忆会遗忘、会合并、会重构,而目前的 Agent 记忆大多是静态的“堆积”,导致随着时间推移,噪声积累严重,检索效率下降。
现在Memory大多都无法区分“事实性知识”(如:法国首都是巴黎)和“体验性记忆”(如:用户昨天说他喜欢喝咖啡)。混淆这两者会导致 Agent 在长期交互中出现逻辑错乱。
3. 方案细节
本文就是一篇Memory综述,而且写得非常好!作者旨在通过解耦(Decoupling)记忆的物理实现(Forms)和认知作用(Functions),解决上述痛点。其核心动机是建立一套通用的“记忆语言”,使得研究人员可以明确讨论:“我们需要一个以参数化形式存储的体验性记忆”,而不是笼统地说“加个 Memory”。
本文的核心贡献在于提出了Agent Memory 的“三维统一视角”,以下详细解析这三个维度:
3.1 形式视角
这部分回答了“记忆存在哪里?”的问题。
Token-level Memory (令牌级记忆):
- 机制:将记忆直接作为文本(Tokens)保留在上下文窗口中,或通过 RAG 检索后以 Token 形式注入 Prompt。
- 特点:可读性强,易于操作,但受限于 Context Window 长度和推理成本。
Parametric Memory (参数化记忆):
- 机制:将信息编码进模型的权重中。不仅指预训练知识,更包括通过微调(SFT)、LoRA 或模型编辑(Model Editing)技术更新模型参数。
- 特点:读取速度极快(隐式调用),由于权重固定,更新成本高(难以实时写入)。
Latent Memory (潜在/隐空间记忆):
- 机制:存储的是中间层的激活向量(Activations)或压缩后的隐藏状态(Hidden States),而非明文 Token。例如 MemGPT 或 Compressive Transformer 中的压缩单元。
- 特点:信息密度极高,比 Token 更节省空间,但缺乏可解释性。
3.2 功能视角
这部分回答了“记忆用来做什么?”的问题,借鉴了认知心理学模型。
Factual Memory (事实记忆):
- 定义:关于世界的客观真理和通用知识(Semantic Memory)。
- 作用:帮助 Agent 理解查询中的实体和概念。通常由 Parametric Memory 主导。
Experiential Memory (体验/情景记忆):
- 定义:Agent 在过去交互中积累的具体事件记录(Episodic Memory)。
- 作用:实现个性化。例如记住用户的偏好、过去的错误决策等。通常存储在 Vector Database 中。
Working Memory (工作记忆):
- 定义:当前任务执行过程中的临时缓冲区。
- 作用:用于存储推理过程中的中间变量、Scratchpad 内容。任务结束后通常会被清空或选择性转化为长期记忆。
3.3 动态视角
这部分回答了“记忆如何随时间变化?”的问题。
Memory Formation (形成/写入):
- 并非所有感知到的信息都进入记忆。涉及筛选机制(Attention Selection),决定哪些短期观察值得转化为长期存储。
Memory Evolution (演化/整理):
- 这是当前系统最欠缺的部分。包括遗忘(Forgetting)(移除不再重要的信息)、合并(Consolidation)(将多个碎片事件总结为一条规律)和重构(Reconstruction)(修正错误的记忆)。
- 数学原理:可以用信息论中的压缩率来衡量演化质量:
其中 代表互信息,目标是在最小化存储量 的同时最大化保留关键信息。
- Memory Retrieval (检索/读取):不仅是简单的 Cosine Similarity,还涉及联想检索(Associative Retrieval),即通过当前上下文触发相关的潜在记忆。
4. 实验结果
由于这是一篇综述(Survey)论文,其“实验”部分主要体现在对现有基准(Benchmarks)和框架(Frameworks)的梳理与对比。
文章梳理了目前用于评估 Agent Memory 的主要数据集,指出现有 Benchmark 多局限于Retrieval Accuracy(检索准确率),即“能否找到相关文档”比较单一的指标。
作者指出,目前极度缺乏对Memory Coherence(长期一致性)和Evolution Efficiency(演化效率)的评估。例如,Agent 是否会因为记忆冲突(新旧信息矛盾)而产生幻觉。
实验总结显示,Token-level 记忆在处理快速变化的短期信息时表现最优(Accuracy 高),但在长周期任务中会导致推理延迟(Latency)呈 甚至 增长。
如果引入了外部向量数据库,虽然解决了容量问题,但增加了 100ms~500ms 的网络 IO 和检索延迟。还有分析了不同记忆形式的 Token 消耗,指出 Latent Memory 是未来降低 API 成本的关键方向。
最后
对于正在迷茫择业、想转行提升,或是刚入门的程序员、编程小白来说,有一个问题几乎人人都在问:未来10年,什么领域的职业发展潜力最大?
答案只有一个:人工智能(尤其是大模型方向)
当下,人工智能行业正处于爆发式增长期,其中大模型相关岗位更是供不应求,薪资待遇直接拉满——字节跳动作为AI领域的头部玩家,给硕士毕业的优质AI人才(含大模型相关方向)开出的月基础工资高达5万—6万元;即便是非“人才计划”的普通应聘者,月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂,非“人才计划”的AI相关岗位应聘者,月基础工资也约有3万元,远超其他行业同资历岗位的薪资水平,对于程序员、小白来说,无疑是绝佳的转型和提升赛道。
对于想入局大模型、抢占未来10年行业红利的程序员和小白来说,现在正是最好的学习时机:行业缺口大、大厂需求旺、薪资天花板高,只要找准学习方向,稳步提升技能,就能轻松摆脱“低薪困境”,抓住AI时代的职业机遇。
如果你还不知道从何开始,我自己整理一套全网最全最细的大模型零基础教程,我也是一路自学走过来的,很清楚小白前期学习的痛楚,你要是没有方向还没有好的资源,根本学不到东西!
下面是我整理的大模型学习资源,希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有,跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf(书面上的技术书籍确实太多了,这些是我精选出来的,还有很多不在图里)
4、AI大模型最新行业报告
2026最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享(107 道)】
【AI 大模型面试真题(102 道)】
【LLMs 面试真题(97 道)】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划(共90天,可落地执行)
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身:基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例:如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】