递归自我改进RSI工程实践：从Transformer微调到本地部署的闭环指南

1. 从一次模型“自己改自己”的实验说起

第一次接触RSI这个概念，是在一个做模型训练的朋友那里。他当时给我看了一段日志：一个中等规模的模型在完成一轮微调后，自动生成了一批新的训练样本，然后基于这批样本又做了一轮微调，指标居然真的涨了。他问我：“这算不算模型在自我改进？”我当时的第一反应是——这离真正的RSI还差得远，但它确实踩在了递归自我改进（Recursive Self-Improvement，简称RSI）的门口。

RSI这个词最近被讨论得很多，尤其是在大模型能力快速迭代的背景下。它的核心含义其实不复杂：一个系统能够利用自身的能力去改进自身，并且这种改进能够被再次用于下一轮改进，形成递归循环。听起来像是科幻小说里的情节，但在当下的AI工程实践中，已经有了一些雏形——比如自动化的数据筛选、模型自我评估、合成数据生成、超参数自动搜索等，都是RSI链条上的单点环节。

这篇文章想做的事情很具体：把RSI这个概念从“听起来很玄”拆解到“工程上到底在做什么”，同时结合Transformer架构、大模型微调、本地部署这些热词背后的实际技术点，给出一份可以按图索骥的实践参考。无论你是刚跑通第一个Transformer模型的新手，还是已经在做多模态大模型微调的从业者，都能从中找到对自己有用的部分。我不会只讲概念，而是会把“为什么这样设计”“实际跑起来会遇到什么”“哪些环节最容易出问题”这些经验性的东西写清楚。

2. RSI到底在说什么：从单点自动化到递归闭环

2.1 一个容易被误解的定义

很多人第一次听到RSI，会直接联想到“AI自己写代码把自己变强”。这个理解方向没错，但过于狭窄。在工程语境下，RSI更准确的描述是：系统具备一种能力，能够对自身的某个组成部分进行修改或优化，并且修改后的结果能够被系统再次用于下一轮修改。这里的关键词是“递归”——不是一次性的优化，而是优化结果能反馈到下一轮优化中。

举个具体的例子。假设你有一个用于文本分类的Transformer模型，第一轮你用它来筛选训练数据，把置信度低的样本剔除，然后用剩下的数据重新训练。第二轮，你用新模型再次筛选数据，再次训练。如果每一轮的筛选标准都比上一轮更准，模型性能持续提升，这就形成了一个简单的递归改进循环。虽然这个例子里“改进”的是数据而不是模型结构本身，但它已经具备了RSI的基本特征：自我评估、自我筛选、自我更新。

2.2 为什么现在讨论RSI变得有意义

过去几年，大模型的能力提升主要靠三件事：更多数据、更大参数、更强算力。但这三条路都有物理上限。数据方面，高质量文本的存量是有限的；参数方面，训练成本和推理成本会随规模非线性增长；算力方面，单卡显存和集群通信瓶颈始终存在。当外延式增长遇到天花板时，向内挖掘系统的自我改进能力就变成了一个自然的选择。

Transformer架构的普及让这件事变得更有操作性。原因在于，Transformer的自注意力机制天然适合做“自我评估”——模型可以通过注意力权重观察自己关注了哪些部分，从而判断哪些样本、哪些token对最终输出影响更大。这种可解释性为自动化筛选和迭代提供了抓手。再加上现在有大量开源的大模型微调工具链（比如基于LoRA、QLoRA的轻量微调方案），让“跑一轮改进实验”的成本从几周降到了几小时。

2.3 RSI的三个层级：从数据到结构

把RSI拆开来看，它至少可以分成三个层级，每个层级的实现难度和风险完全不同。

大多数团队目前能稳定落地的是数据层和参数层的RSI。结构层的RSI还停留在研究阶段，因为一旦涉及架构修改，训练成本和不确定性都会急剧上升。但即便是数据层的RSI，如果设计得当，也能带来可观的性能提升。我见过一个实际案例：在情感分类任务上，通过三轮自动数据筛选和重训练，F1值从0.82提升到了0.87，而人工标注成本几乎为零。

3. Transformer为什么成了RSI实验的默认底座

3.1 自注意力机制与自我评估的天然契合

Transformer的核心是自注意力（Self-Attention）。简单说，它让模型在处理每个token时，能够“看”到序列中所有其他token，并根据相关性分配权重。这个机制在RSI场景下有一个非常实用的副产品：注意力权重可以作为模型对自身判断的“置信度信号”。

举个例子，当你用一个大模型做文本摘要时，如果某些输入token的注意力权重异常低，说明模型认为这些内容不重要。反过来，如果模型在生成某个输出时注意力分散、权重均匀，说明它对这个输出不太确定。这种不确定性信号可以被用来筛选训练数据——把模型“犹豫”的样本挑出来，要么人工复核，要么用更强的模型重新标注。这就是数据层RSI的一个典型操作。

3.2 位置编码与序列建模的稳定性

Transformer的位置编码（Positional Encoding）是另一个容易被忽视但很关键的点。在RSI循环中，每一轮改进都会改变数据分布或模型参数，如果位置编码设计不当，模型对序列顺序的感知会变得不稳定，导致改进效果无法累积。现在主流的做法是使用相对位置编码（如RoPE）或可学习的位置嵌入，前者在长序列外推上更稳，后者在短序列任务上更灵活。

我在实际跑Transformer时序预测任务时发现，如果直接用正弦位置编码做多轮自训练，模型在第三轮之后会出现明显的性能震荡。换成RoPE之后，震荡幅度明显减小。这个经验不一定普适，但说明位置编码的选择会直接影响RSI循环的稳定性。

3.3 编码器-解码器结构在RSI中的分工

标准的Transformer有编码器和解码器两部分。在RSI实验里，这两部分可以承担不同角色。编码器负责理解输入（比如判断一个样本的质量），解码器负责生成输出（比如生成新的训练样本或修改后的代码）。这种分工让RSI循环可以设计成“评估-生成-再评估”的流水线。

一个具体的做法是：用编码器对当前训练集做质量打分，筛选出高分样本；用解码器基于高分样本生成新的合成样本；再用编码器对新样本打分，决定是否加入下一轮训练。整个过程可以完全自动化，只需要设定好阈值和轮次上限。

4. 把RSI跑起来：一个可复现的最小实验

4.1 环境准备与模型选型

要跑一个RSI的最小实验，不需要顶配硬件。一张显存12GB以上的显卡（比如RX 6750 GRE或者同级别N卡）就够跑一个7B参数以下的模型做LoRA微调。软件方面，Python 3.10以上、PyTorch 2.0以上、Hugging Face的transformers和peft库是基础配置。

模型选型上，建议从Qwen2.5-7B或者同级别的开源模型开始。原因有两个：一是这些模型在中文任务上表现稳定，二是社区有大量现成的微调脚本和配置可以参考。如果你只是想验证RSI流程，甚至可以用更小的模型（比如1.5B参数），把重点放在流程跑通而不是性能提升上。

注意：本地部署大模型时，显存占用不仅取决于参数量，还和批次大小、序列长度、是否使用梯度检查点有关。7B模型做LoRA微调，序列长度512、批次大小4的情况下，12GB显存基本够用。如果显存不足，优先降低批次大小，而不是盲目量化，因为量化会影响模型输出质量，进而干扰RSI循环中的评估信号。

4.2 第一轮：基线训练与置信度评估

第一步是训练一个基线模型。用你手头已有的标注数据，跑一轮标准的LoRA微调。训练完成后，用这个模型对全部训练数据做一次推理，记录每个样本的损失值或预测置信度。

import torch from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "Qwen/Qwen2.5-1.5B" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=2) model.eval() def get_confidence(text): inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512) with torch.no_grad(): outputs = model(**inputs) probs = torch.softmax(outputs.logits, dim=-1) confidence = probs.max().item() return confidence

这段代码的核心是拿到模型对每个样本的置信度。置信度高的样本可以保留，置信度低的样本需要进一步处理。阈值设定没有绝对标准，一般可以先取所有样本置信度的中位数作为初始阈值，然后根据第一轮改进效果再调整。

4.3 第二轮：基于置信度的数据筛选与重训练

把置信度低于阈值的样本挑出来，有两种处理方式：一是直接剔除，二是用更强的模型重新标注。如果手头没有更强的模型，可以用同一模型做多次推理，取多数投票结果作为新标签。这种做法在分类任务上效果比较稳定，但在生成任务上要谨慎，因为生成任务的输出空间太大，多数投票不一定能收敛。

筛选完成后，用新数据集重新训练模型。这里有一个关键细节：不要完全丢弃低置信度样本，而是把它们放在一个单独的“困难样本池”里。每一轮改进后，重新评估这个池子里的样本，如果模型对某些样本的置信度提升了，就把它们移回训练集。这样做可以避免模型在简单样本上过拟合，同时保留对困难样本的持续学习能力。

4.4 第三轮及以后：循环终止条件的设计

RSI循环不能无限跑下去。你需要设定明确的终止条件，否则要么性能饱和后浪费算力，要么模型在自我强化中走向退化。常见的终止条件有三种：

• 性能 plateau：连续两轮改进后，验证集指标提升小于某个阈值（比如0.5%），停止循环。
• 数据池耗尽：困难样本池中的样本全部被移回训练集，或者剩余样本数量低于某个下限。
• 轮次上限：直接设定最大轮次，比如5轮。这个最粗暴但最安全，适合初次实验。

我个人的经验是，在数据层RSI中，3到5轮之后收益就非常有限了。如果第三轮还没有明显提升，继续跑下去大概率是在拟合噪声。

5. 那些跑过才知道的坑：RSI实验中的典型问题

5.1 合成数据导致的模式坍塌

用模型自己生成的数据去训练自己，最容易出现的问题就是模式坍塌。模型会倾向于生成它已经擅长的样本，导致训练集多样性下降，最终模型只会处理少数几种模式。这个问题在文本生成任务上尤其明显——你让模型生成一批训练样本，它生成的内容会越来越像它自己的输出风格，而不是真实数据的分布。

解决办法有两个：一是引入外部数据做混合，每一轮合成数据占比不超过30%；二是对合成数据做多样性约束，比如用聚类方法筛选出不同簇的代表性样本，而不是随机采样。

5.2 评估信号被“污染”

RSI循环依赖模型自身的评估信号来决定哪些数据保留、哪些剔除。但如果模型本身有偏差，这个偏差会在循环中被放大。比如一个情感分类模型如果对某些表达方式有偏见，它会系统性地给这类样本打低分，导致这些样本被剔除，下一轮模型对这个偏见的纠正能力更弱。

对抗这个问题的方法是引入一个独立的评估器。这个评估器可以是规则-based的，也可以是另一个模型，关键是它不能和主模型共享同一套偏差。在实际操作中，我通常会保留10%的人工标注数据作为“锚点”，每一轮都用这批数据验证模型表现，如果锚点上的指标下降，就立即停止循环并回滚。

5.3 显存与训练成本的隐性增长

RSI循环看起来只是多跑几轮训练，但实际成本增长往往超出预期。每一轮都需要：一次全量推理（评估置信度）、一次数据筛选、一次重训练。如果数据量是10万条，7B模型做一次全量推理在单卡上可能需要几十分钟，三轮下来就是几个小时。再加上重训练的时间，整体成本可能是单次训练的3到5倍。

控制成本的关键是增量推理。每一轮只对上一轮被修改过的样本重新评估，而不是全量重跑。这需要你在数据管理上做好标记，记录每个样本的版本和状态。虽然前期麻烦一点，但长期看能省下大量算力。

6. 从RSI视角看大模型微调与部署的衔接

6.1 微调策略的选择如何影响RSI效果

大模型微调有很多种策略：全参数微调、LoRA、QLoRA、Adapter等。从RSI的角度看，轻量微调方案更适合做递归改进，因为每一轮训练的成本低，可以快速迭代。全参数微调虽然单轮效果可能更好，但每轮成本太高，不适合频繁循环。

LoRA还有一个额外的好处：它只修改低秩矩阵，不改变原始模型权重。这意味着你可以在同一底座模型上维护多个LoRA适配器，分别对应不同轮次的改进结果。如果某一轮改进导致性能下降，直接切换回上一轮的适配器即可，不需要重新训练。

6.2 部署环节的反馈闭环

模型部署之后，用户的实际使用数据可以成为RSI循环的新输入。比如一个客服对话模型，用户对回复的满意度评分、对话轮次、转人工率等指标，都可以作为评估信号。把这些信号收集起来，定期做一轮数据筛选和微调，就形成了一个线上到线下的闭环。

但这里有一个合规和隐私的边界需要注意：用户数据的使用必须符合相关规范，不能直接把原始对话内容拿来做训练。常见的做法是做脱敏和聚合，只保留统计特征或经过处理的文本表示。

6.3 多模态场景下的RSI特殊性

当RSI遇到多模态大模型（比如同时处理文本和图像的模型），复杂度会显著上升。因为不同模态的评估信号尺度不同，文本的置信度和图像的置信度不能直接比较。一个可行的做法是分模态做RSI循环，文本模态和图像模态各自独立筛选和重训练，最后再做联合微调。

视觉Transformer（ViT）在图像分类任务上的RSI实验相对成熟，因为分类任务的评估信号明确（准确率、置信度）。而图像生成任务的RSI就困难得多，因为生成质量很难用单一指标衡量。如果你要做多模态RSI，建议从分类或检索任务入手，不要一上来就做生成。

7. 一些关于RSI的常见疑问与个人判断

7.1 RSI离“通用人工智能”还有多远

这个问题被讨论得很多，但我的看法比较保守。当前的RSI实验基本都局限在特定任务、特定数据集、特定评估指标上。一个模型能在文本分类任务上做三轮自我改进，不代表它能把这个能力迁移到其他任务上。真正的通用RSI需要模型具备跨任务的元学习能力，这目前还没有成熟的工程方案。

不过，特定领域的RSI已经足够产生实际价值。比如在代码生成领域，模型可以自己生成测试用例、自己评估代码通过率、自己筛选高质量代码做训练。这个循环在工程上是可行的，而且已经有团队在做了。

7.2 小团队有没有必要做RSI

如果你手头的数据量不大（比如几千条），RSI的收益可能不明显。因为每一轮筛选都会减少数据量，几轮之后可能就没剩多少样本了。这种情况下，更实际的策略是把精力放在数据标注质量和模型选型上。

但如果你的数据量在几万条以上，而且有持续的数据来源（比如用户反馈、日志数据），那么RSI就值得尝试。哪怕只做一轮自动筛选和重训练，也可能带来1到2个百分点的提升，而且成本远低于人工标注。

7.3 关于“模型自我迭代”的边界

最后说一个我自己的判断：RSI在工程上是一个有用的工具，但它不是魔法。它的效果取决于评估信号的质量、数据管理的精细度、以及循环终止条件的合理性。如果这些基础工作没做好，RSI循环只会加速模型退化，而不是提升。

我在实际项目中的做法是，把RSI当作一个“假设验证器”——每一轮改进前先明确假设（比如“剔除低置信度样本能提升泛化能力”），然后用实验验证。如果假设不成立，就调整策略，而不是盲目跑循环。这种思路虽然不够“自动化”，但胜在可控，适合大多数工程团队。

如果你正在做Transformer相关的微调或部署工作，不妨从数据层RSI开始试一轮。不需要复杂的架构改动，只需要在现有训练流程上加一个置信度评估和筛选步骤，就能感受到递归改进的威力。至于要不要继续往下走，等第一轮结果出来再决定也不迟。