Recurrent Looped Transformer（RLT）完全入门：5个要点看懂普林斯顿这款循环序列模型-育师

【免费下载链接】recurrent-looped-tranformer

Official Project Page for Recurrent Looped Transformer (RLT) (https://arxiv.org/abs/2610.07591)

项目地址：https://gitcode.com/gh_mirrors/re/recurrent-looped-tranformer

Recurrent Looped Transformer（RLT）是普林斯顿大学发布的循环序列模型官方项目仓库（论文 arXiv: 2610.07591，Recurrent_Looped_Transformer.pdf）。一句话理解 RLT：它把前一个 token 的 decoder 最终状态通过一个「门控合并（gated merge）」送入当前 token 的 decoder 输入，让计算路径随序列长度不断变长，而每个 token 的固定成本不变。本文按 5 个要点带你快速看懂 RLT 的架构、RLT-1/2/0 三种变体和官方长度泛化实验，无需高深数学基础。

快速导航：RLT 的5个要点

要点	一句话概括
1️⃣ 核心思想	每处理一个 token 就"绕一圈"，计算深度随序列长度增长
2️⃣ 架构	因果 encoder 供全局记忆，decoder 自带滑动窗口缓存 + 状态反馈
3️⃣ 变体	RLT-1 / RLT-2 / RLT-0 只差一个量：反馈频率 B
4️⃣ 实验	短序列训练、长序列测试，RLT 在多项任务上明显领先
5️⃣ 上手	论文、幻灯片、实验图集都在仓库里，按图索骥即可

上面这张官方 Figure 1 是理解 RLT 的最快入口：左边蓝色部分是并行编码，右边橙色部分是逐 token 循环，状态H像接力棒一样在 prompt 和 response 之间持续传递。

要点1：核心思想——RLT 是一个"以 decoder 为细胞"的 RNN

传统 Transformer 有个隐含限制：无论输入多长，每个 token 经过的计算深度是固定的（就是层数）。序列变长，模型并没有"更多思考时间"。RLT 的解法很直接：

把"门控合并 + 完整的 Transformer decoder"当作一个循环细胞（recurrent cell），参数在所有 token 之间复用。

这样，处理完t个 token 后，循环路径已经穿过了t × L_D个 decoder 块——计算量随序列长度线性增长，而单步成本固定。用状态空间的视角，RLT 是一个非线性 SSM：

状态H = (s, C^D)= 反馈向量s+ 每层滑动窗口注意力（SWA）缓存；
状态尺寸有界（不随长度爆炸），但 encoder 的全局 KV 记忆随长度增长；
与普通 SSM 不同，RLT 的更新对上一状态是非线性的，因此 S4/Mamba 那套仿射并行 scan 不能直接套用。

要点2：架构拆解——encoder、decoder 与门控合并

看官方架构细节图，RLT 一次 token 更新包含三条流水线：

全局上下文（蓝色）：causal encoder 并行编码前缀，输出投影成全局 KV 记忆，decoder 通过 cross-attention 读到"当前 token 为止"的位置——保证因果性。
局部记忆（绿色）：每层 decoder 各有一份 SWA 缓存，窗口 W 内保留最近 W-1 个条目，处理近邻细节。
隐藏状态反馈（橙色）：上一 token 的最终 decoder 输出经过门控合并进入下一 token 的输入，且这个状态会跨越 prompt 与 response 的边界继续传递。

一个有趣的细节：encoder/decoder 的注意力和 FFN 权重可以共享（报告中 48+48 绑定布局展示了这种选项），实验则采用 8 层和 16 层的非绑定布局。若把反馈路径整个去掉，就得到对照版 RLT-0，其结构见 assets/architecture-no-feedback.png。

要点3：RLT-1 / RLT-2 / RLT-0——只差一个"反馈频率"

三个变体只改变一个超参数B（反馈间隔）：两个 token 之间更新一次反馈状态的最小步长。

变体	B	行为	串行块数（长度 T）
RLT-1	1	每个 token 都更新反馈状态	T × L_D
RLT-2	chunk（如 4）	块内冻结状态，块边界统一替换	⌈T/B⌉ × L_D
RLT-0	∞	完全没有反馈路径	L_D

RLT-2 的巧妙之处在于：chunk 边界锚定在 BOS，prompt/response 切分点移动不改变计算；而且因为参数对每个 B 通用，训练时可以先用大 chunk 换并行度、后期再把 B 调回 1。

实验给出的结论很清晰（4+4 分层，3 个种子均值）：

奇偶校验 64 位：RLT-1 达到 100%，chunk4 98.99%，而 RLT-0 只有 50.23%——反馈一去掉，基本回到抛硬币；
S5 swaps 64 操作：RLT-1 100% vs chunk4 19.60%，说明有些任务对反馈频率非常敏感；
代价方面，CPU 单步训练时间：RLT-2 chunk4 比 RLT-1 快约 2.3 倍，RLT-0 快约 4.2 倍——反馈频率本质上是"精度 vs 并行度"的旋钮。

完整数据表见 README.md 的 "Feedback frequency" 小节，所有变体图索引导航在 assets/variants-20260925/README.md。

要点4：长度泛化实验——短序列训练，能推多远？

这是 RLT 最核心的卖点：用短序列训练，测试时直接上长序列。官方把 8 层在 encoder/decoder 间按 4+4、5+3、6+2、7+1、8+0 五种方式分配，统一对比 GPT Layer 8。

几个亮眼的数字：

奇偶校验：最多只训练到 40 位，5+3 和 7+1 在256 位上仍保持 100%，而 GPT Layer 8 停在 50% 左右；
S5 swaps：256 个操作（8 倍训练长度）时 4+4 达到 97.30%，Transformer 只有 0.85%；
Mod-5：63 token 无括号表达式，6+2 达 93.36% vs Transformer 33.20%。

值得注意的规律：深度分配要和任务匹配——奇偶校验偏爱大 encoder，S5 swaps 偏爱大 decoder；8+0（全给 encoder）在很多任务上反而接近随机基线。16 层的扩展实验同样如此：8+8、9+7、11+5 在 256 位奇偶校验上保持 100%，GPT Layer 16 只有 49.41%。

社区也做了独立验证：约 79K 参数的小规模实现里，RLT 在 4 倍训练长度上依然明显领先 GRU、Transformer 和 token-only merge 对照。

诚实提示：超长序列（如 32 位加法、512 操作 S5 standard）精度仍会下降，RLT 不是"无限外推"，而是把外推距离大幅拉长。完整 108 次运行（6 架构 × 6 任务 × 3 种子）的图集在 assets/experiments-depth8/README.md。

要点5：如何上手——论文、幻灯片与资源清单

仓库是"论文 + 全部官方图表"的项目页，不需要跑代码也能完整读懂 RLT，推荐阅读顺序：

英文论文：Recurrent_Looped_Transformer.pdf（Figure 1 在第 1 页）；
中文论文：Recurrent_Looped_Transformer_ZH.pdf，适合快速入门；
14 页幻灯片（离线可开）：slides/index.html，浏览器打开即用；不想开浏览器可看导出的 slides/linear-attention-ssm-rlt.pdf；
实验图集索引：assets/experiments-depth8/README.md 与 assets/variants-20260925/README.md，每张 PNG 都有对应 PDF/SVG 高清版。

幻灯片还专门讲了 RLT 与 Linear Attention、DeltaNet、S4/Mamba 的关系（"为什么仿射更新才能并行 scan"这一节对理解 RLT 的定位很有帮助）。