智能体记忆能否在模型升级后存活？记忆可移植性对照研究
论文来源：arXiv:2609.05339v1
摘要
大语言模型驱动的智能体（Agent）普遍依赖外部记忆模块（RAG向量索引、记忆数据库）保存历史上下文、工具调用记录、任务知识。工程实践中经常发生基座模型版本升级：将同一个Agent后端从旧模型切换到新版基座模型。行业普遍存在一个未被充分验证的假设：已经构建好的向量记忆库可以直接复用于新版本大模型，无需重新嵌入（re‑embedding）。
本文开展严格受控对照实验，系统评估模型升级场景下记忆组件的可移植性。实验覆盖不同嵌入模型、不同基座LLM、多组任务数据集，量化记忆检索准确率、召回率、MRR、下游任务问答精度。实验结果表明：直接复用旧模型生成的向量记忆会带来显著性能衰减；即便嵌入模型保持不变，基座LLM本身的分布偏移也会破坏记忆‑推理匹配关系。本文给出可复现实验流程、评估指标、工程建议，为Agent系统版本迭代提供实测依据。
关键词：大模型智能体；Agent记忆；RAG；向量数据库；模型升级；记忆可移植性
1 引言
Agent系统架构通常做分层解耦：
- 记忆层：使用嵌入模型把文档、对话历史、工具输出编码为向量存入向量数据库；
- 推理层：基座大模型，接收检索回来的记忆片段，完成任务推理与输出。
工程迭代时典型操作：仅升级推理层的基座LLM，记忆层向量索引完全保留不改动。开发者默认：向量检索独立于基座LLM，旧索引可以直接给新模型使用。
本研究核心问题：
Q1：当推理基座模型升级，完全复用旧向量索引，下游任务性能下降幅度有多大？
Q2：性能衰减来源：是嵌入模型分布漂移？还是基座LLM与检索片段之间的匹配偏移？
Q3：哪些工程手段可以缓解记忆不可移植问题？完全重嵌入是否是唯一可靠方案？
现有RAG评测大多固定一套“嵌入模型+生成模型”配对；针对模型版本升级、组件解耦迁移场景的受控对照实验较少。本文构造隔离变量实验，分别控制嵌入模型、基座LLM、数据集，分离不同来源的性能损失。
2 实验前置定义与评估指标
2.1 核心变量定义
| 变量 | 说明 |
|---|---|
| IndexoldIndex_{old}Indexold | 使用旧配置生成的向量索引（旧嵌入模型/旧基座配套） |
| IndexrebuildIndex_{rebuild}Indexrebuild | 完全重嵌入，使用新环境下嵌入模型重新构建索引，作为性能上界 |
| Old‑LLM | 旧版本基座大模型 |
| New‑LLM | 升级后的新版本基座大模型 |
2.2 评估指标
- Answer accuracy：下游问答任务答案准确率（主指标）
- Recall@k：检索阶段召回率，k为检索返回片段数量
- MRR：平均倒数排名，衡量正确记忆片段的排序质量
