AI记忆为何总是出错？合成人生评测揭露系统性缺陷

“我明明已经跟它说过不吃香菜，结果三天后它又给我推荐了香菜牛肉。”这类对话我们见得太多了。AI助手记错用户不是偶然，而是记忆系统的系统性缺陷。为了搞懂AI到底怎么记、为什么记错，我们团队做了个内部测试项目“合成人生”（SimLife）：用程序批量生成一批拥有完整人生轨迹的数字虚拟人物，把这些人的档案、经历、偏好当成测试物料，灌进对话模型的记忆模块，然后反复追问“你还记得这个人吗”。这篇文章就是这次测试的完整复盘。

做这件事并不是闲着无聊。市面上的AI记忆评测大多只测“能不能记住”，很少测“会不会记错”，更没人追究“记错的方式是否可控”。合成人生的思路是先把“人”造出来，再用标准答案去裁判AI的记忆行为，整个过程可复现、可量化，造假不了。如果你在做对话产品、客服系统、陪伴类应用，或者单纯被AI的健忘气到过，这篇文章应该能给你一些参考。

1. 先想清楚一件事：AI的“记忆”到底坏在哪里

1.1 上下文窗口不是记忆

很多人以为AI记性好，是因为它有个大容量的上下文窗口，能装下几千字对话。实际不是。上下文窗口更像一块白板，模型每次读到当前对话时，都会把白板上写的东西“看”一遍，然后生成回答。白板之外的信息，对它来说等于不存在。

我们之前的实测里，模型在上下文窗口翻到2万token之后，早期出现的信息就会开始“淡出”。不是因为它被删了，而是注意力机制在长文本里会逐渐把权重分配给靠近结尾的内容，前面的细节会被压缩成非常粗糙的摘要。更扎心的是，模型自己并不知道哪些信息已经被“稀释”，它依然会非常自信地用一个错误版本回答你。

1.2 记忆写入与遗忘的“黑盒”

市面上大多数AI产品会做记忆模块，方案一般是：先把对话历史做摘要、抽取出用户画像、存进向量数据库，等下次对话时再通过语义检索拉出来。听起来很合理，但抽取出什么、丢掉什么，全是模型的“自由发挥”，没有校验。

我们做过一个小实验：让模型从一段三分钟的聊天记录里抽取用户偏好，它把“用户最近提到想换工作”记进了偏好档案，却漏掉了“用户对猫毛过敏”这种明显的高风险信息。原因也很简单，抽取模型是按语义相关性打分的，它认为“换工作”和“职业规划”高度匹配，就记了；而“过敏”在当时的上下文里只出现了一次，权重不够，就被当成噪音过滤了。

1.3 为什么传统评测测不出记忆缺陷

去看那些公开的记忆评测集，大多在测“事实能不能回忆出来”：用户叫张三、住在北京、喜欢跑步，问AI用户住哪。这类题对模型来说太简单了，因为答案就藏在上下文里，它只需要做一次信息复制。

我们的合成人生项目完全换了个思路：事实不会直接摆在眼前，而是分散在几十轮对话里，并且中间会穿插矛盾信息、相似人物、时间变化。也就是说，我们考的是“长期记忆的稳定性”，而不是“短时工作记忆的提取能力”。这两件事，差着十万八千里。

2. “合成人生”是个什么东西：一份可复现的数字人格

2.1 为什么不用真实用户数据

一开始也有人问，你们为什么不拿真实用户脱敏数据来测？真实数据有两大硬伤：第一，隐私合规成本高，你不能随便把用户真实的饮食偏好、家庭关系复制进测试集；第二，真实数据没有“标准答案”，用户说的偏好未必是真实偏好，今天说不吃辣明天就吃了，你拿什么当评判基准？

合成人生用的是虚构人物，天然避开了隐私问题。更重要的是，我们能在生成阶段就定好“标准人生”，测试时就能逐个核对AI有没有忠实还原这个人。隐私问题一解决，测试就能做到全自动，不需要人工审核。

2.2 一份合成人生的构成

我们定义的合成人生分三层。第一层是静态档案，包括姓名、年龄、职业、家庭成员、居住过的城市、生活习惯。这些信息一辈子不会大变，是记忆的第一道防线。第二层是动态事件流，比如换工作、搬家、结婚、开始健身、戒掉咖啡，时间跨度几个月到几年，用来测AI能不能感知变化。第三层是倾向性偏好，比如喜欢什么风格的音乐、讨厌什么类型的餐厅、情绪状态大概是什么，这类信息最容易被模型抽象成“标签”，但也最容易张冠李戴。

三层信息不是拍脑袋生成的，而是靠一套规则引擎和语言模型配合完成。规则引擎保证逻辑自洽——一个人不可能同时住在北京和上海，也不可能既在互联网公司当程序员又同时在一家医院当护士；语言模型负责把事件写得像人话，比如“周末去了一趟宜家，回来后开始看人体工学椅”。

2.3 对抗性子任务：故意设坑

如果合成人生只是中规中矩的档案，模型未必会出错。所以我们在项目里专门设计了“对抗性子任务”，故意埋了一些逻辑坑。比如给同一个用户安排两个时间点：三月份他还在说自己喜欢喝美式，六月份他明确说换了手冲。AI如果只看到六月的偏好，把“喜欢美式”直接覆盖了，就算合格；但如果它把两条信息揉在一起，说“用户喜欢喝美式手冲”，就暴露了记忆合并时的混乱。

再比如给两个人物设置高度相似的轨迹：同一个公司、同一个岗位、同一个兴趣爱好，连口头禅都很接近。在这种相似度极高的条件下，AI还能不能分清楚谁是谁，才是真正的记忆强度测试。

3. 构造合成人生的完整流程（可复现）

3.1 生成事件流：先写剧本，再写台词

整个流程的第一步是生成“剧本”。我们定义了一个事件模板库，里面塞了几百种日常生活片段：就医、出差、面试、搬家、看展、约会、点外卖、装修。每种事件都有固定参数，比如时间、地点、情绪状态、涉及的人物关系。

事件流不是随机排列的，它必须符合一个人的真实生活节奏。比如长期病号不会突然第二天就跑去跑马拉松，刚换工作的人通常不会在同一个礼拜又跳槽。我们用规则检查事件之间的时间间隔是否合理，杜绝“三个月内换了五份工作”这种离谱数据。生成之后，再让语言模型把结构化事件扩写成对话片段，比如用户跟AI说“刚搬到成都，这几天一直在找房子”，这就是一条有效的记忆输入。

3.2 注入时间错乱与矛盾信息

光有正向事件还不够，必须注入干扰。我们按事件总量的5%到8%的比例，随机插入三类负面样本。第一类是时间错乱，比如同一件事出现在两个不同月份；第二类是事实矛盾，比如用户先说养狗，后来说狗送人了；第三类是近义词替换，比如把“过敏”替换成“不喜欢”，测试模型能不能分清程度差异。

这里有个细节：注入的干扰样本不会做任何标记，AI在对话里看到的就是真实用户可能说出的话。评测员拿着标准人生答案去比对AI的记忆，如果AI把矛盾样本当成新的真相，就算错一次。

3.3 指标怎么定：不能只测准确率

项目跑第一版时，我们只看一个指标——记忆准确率，AI答对了几道记忆题。后来发现这玩意儿完全不够用。模型可能好几道题都答对了，但生成回复的态度完全跑偏，比如记得用户喜欢猫，却忘了用户对猫过敏，就会产出高风险建议。

所以第二版指标增加到了五类：

每一类都有独立的打分函数，综合起来才形成最终的记忆健康度评分。

3.4 自动化打分管线

整个评测管线是跑在定时任务上的。每天早上，系统会随机生成100份新合成人生，丢给被测模型，让模型以对话的方式“认识”这些人，第三天、第七天、第三十天分别进行一次召回测试。所有结果会被写进一张结果表，一行一个人物，一列一个指标。

我们试过手写测试脚本，维护成本太高，后来干脆做了一套配置化的Case管理系统，支持的场景从对话版扩展到搜索版、邮件版。跑一次完整评测，从生成到出报告大概需要两个小时，对迭代节奏来说完全能接受。

4. 实测现场：AI在这些场景里是如何“记错”的

4.1 场景一：时间线彻底错位

最普遍的一个错误，就是AI完全无视时间逻辑。某人去年已经离职了，AI还在回复里用旧公司的信息打招呼：“最近在X公司还顺利吗？”我们追踪了模型内部抽出的记忆摘要，发现它会把“用户曾在X公司工作”和“用户目前的心态”混在一起，丢掉了动作的时间标签。

这类问题的根源在于，模型在抽取时没有给时间信息单独加权。我们试过在prompt里加一句“请特别注意时间信息”，效果并不稳定，因为长对话里的时间表达本来就是隐式的：“上周我面了一家公司的终面”比“我在2024年6月面了一次试”要难提取得多。

4.2 场景二：偏好被“将错就错”式更新

第二种高频错误是，AI太愿意讨好用户，导致用户随口一说的话被当成永久偏好。我们造过一个喜欢喝奶茶的虚拟人物，他在某次对话里说“最近在减肥，奶茶先戒了”，结果模型直接把他标记为“不喜欢奶茶”。

两周后问他：“要不要给你推荐一家新开的奶茶店？”模型果断拒绝，理由是你的用户档案里写了不喝奶茶。这种记忆不是错的，但它是“过度泛化”的错。真实用户说“最近在减肥”是状态描述，不是终身偏好，模型却把它当作了一个高权重的画像标签。

4.3 场景三：张冠李戴式的事实合并

合成人生项目里最惊悚的失误来自相似人物测试。我们造了一对同事，小A和小B都做数据分析，都喜欢玩剧本杀。模型在第二次对话时把小B的“最近在找新房”记到了小A头上，回小A时开口就问“新房找得怎么样了”。小A直接懵了，说我没在找房。

查日志发现，模型在做记忆检索时，把向量相似度最高的那条记录直接拉了出来，没做身份归属校验。向量检索的相似度是连续的，两个高度相似的档案在小维度上几乎重合，“谁是谁”的信息恰恰它们差的维度，而检索器天然不擅长识别这种微妙的身份差异。

4.4 场景四：信息过载后的选择性遗忘

我们还观察到一个有意思的现象：当测试人物的生日、住址、工作、家庭信息全堆在一起时，模型通常只会记住其中一两项，其余全部“蒸发”。换句话说，AI的记忆不是均匀分布的，它会倾向于记住那些语言更强烈、上下文关联更紧密的信息。

这在客服场景里很危险。用户可能随口说了一句“我下周要去动手术”，因为这句话没有跟其他已知信息绑定，模型很可能把它丢进记忆的黑洞里，下次联系时完全没提。合成人生的测试里，我们把这类“弱关联但高价值”的信息单独标注，统计下来发现平均有超过四成会被模型遗忘掉。

5. 踩坑记录与排查方法

5.1 合成数据自带的“伪真实感”问题

做合成数据最怕的就是假。第一版模拟人生生成的对话让人一眼看出是机器写的，用户特征特别模板化，模型很容易找到规律然后“作弊”。比如所有人物都会在第三轮对话里报上自己的职业，这等于给模型开了后门。

我们后来在事件流里引入了随机性，让信息出现的顺序、频率、表述方式都保持自然波动。一个用户可能第五次对话才提到自己是设计师，另一个用户从一开始就在聊他的项目。这个改动让测试难度明显提升，评测结果也更有区分度。

5.2 指标涨了但质量不涨：评分太粗

项目中期我们遇到过一种令人沮丧的情况：模型的准确率从六成提到了八成，但我们去看输出质量，感觉它还是一样笨。原因是指标太粗，只判断“答没答对”，没有判断“答得是否自然”。模型会背标准答案，比如直接说“用户喜欢猫”，但它完全不会用在对话里。

解决办法是增加了“自然度校验”，让另一个模型给答复打分，同时要求被测模型必须用连续回复来证明记忆。我们说这是“提出证据”，而不是直接报答案。从那以后，评测才真正和产品体验挂钩。

5.3 记忆检索的排序不稳定问题

模型在检索记忆时，有时会因为几个字的不同就给出完全不同的候选。同一道题，换一种问法，结果可能就差了好几个名次。这让我们一度怀疑是模型随机性太高，后来发现是检索排名时缺少“多路召回”的交叉验证。

我们的解决方案是用多条查询语句分别检索，把结果做集合并集后再去重。比如问“用户住在哪个城市”的同时，再问“用户的常住地是哪里”，两条检索轨迹各取前几名，最后再把交集取出来，问题稳定性就提上来了。

5.4 测试集污染与复现性控制

还有个大坑，是模型有可能在训练阶段已经读过我们公开的测试素材。如果你拿一份公开发布过的对话数据去测一个预训练模型，它可能不是“记住”而是“背出来”。我们坚持保留一部分内部测试集会，不让它出现在任何训练语料里。

每轮评测还会做一次重复验证，同一条合成人生跑三遍，只有三次结果一致才计入最终统计。别小看这个流程，它帮我们挡掉了不少因为模型随机采样波动带来的假阳性。

6. 对产品侧有什么实际价值

6.1 先做“记忆体检”，再谈智能

合成人生的最大价值，是给了我们一把量记忆健康的尺子。以前做产品，大家都说“AI应该记住用户”，说完就没了，具体记什么、怎么判对错，全都靠感觉。现在我们可以直接说：这个版本的记忆健康度是82分，主要扣分项是身份混淆率偏高，需要修检索排序。

建议任何做对话产品的团队，哪怕不搞合成数据，也要建立自己的记忆体检库。哪怕库只有50个固定模拟用户，也好过上线后让真实用户替你当测试员。

6.2 记忆架构怎么改才能更稳

通过这一轮测试，我们梳理了几条改造记忆模块的明确方向。第一，档案层和状态层必须分开。“住在北京”是档案，“最近在找房子”是状态，两者不能混在一起，状态过期必须主动清理。第二，冲突检测要前置。如果新信息和旧档案矛盾，先标记为“待确认”，不要急着覆盖旧记录。第三，检索结果里加上身份校验字段，或者用实体链接工具核对人物ID，避免张冠李戴。

这些改动并不需要多高深的技术，难点在于以前没人把记忆出错当成系统性问题来看。合成人生的测试结果让我们意识到，问题比想象中更大，也更值得花力气修。

6.3 后续可以怎么扩展

合成人生的框架不只适用于对话AI。我们正在往三个方向扩展：一是语音助手，因为语音对话没有文本里那么清晰的时间标记，记忆更容易错；二是多模态场景，比如AI要记住用户在图片里的偏好；三是情感陪伴类应用，这类产品对记忆一致性的要求极高，用户对“你还记得我上次说的事吗”的敏感度远超工具类应用。

另外，我们也想尝试用合成人生做“记忆红队”，故意构造攻击样本，看模型会不会在诱导下泄露别人的隐私信息。这块如果做出来，对数据安全也是一种新的评测维度。

7. 写在最后：关于记忆的几个反直觉体会

项目做到后期，最大的体会是AI记忆的问题不在“存储”而在“更新”。存储容量可以靠工程手段堆上去，但什么时候该记住、什么时候该更新、什么时候该果断遗忘，这些规则目前几乎没有产品在设计。合成人生让我们真切看到，记忆错了比记忆缺失更可怕，因为缺失还能让用户补充，错乱则直接消耗信任。

如果让我重新来一次，我会把20%的时间花在数据生成上，剩下80%全花在定义“什么值得记”上。没有清晰的标准，模型再强也只是一台幻觉放大器。希望这篇复盘能给正在做记忆系统的朋友一点参照，踩过这些坑的你，大概也能少烧几根头发。