SCALE: Upscaled Continual Learning of Large Language Models

文章总结与翻译

一、主要内容

本文针对大语言模型（LLMs）的持续预训练问题，提出了一种宽度扩展架构SCALE（Upscaled Continual Learning），核心是在冻结所有预训练参数的前提下，通过在线性模块中插入轻量级扩展块来增加模型容量，同时保留原始残差结构和注意力拓扑，避免破坏基础模型的原有功能。

SCALE基于两大设计原则：

1. 持久保留（Persistent Preservation）：通过面向保留的初始化（将扩展块中的W12W^{12}W