UniAR：统一自回归建模如何简化多模态理解与生成任务-育师

过去一年，多模态大模型的发展路径似乎陷入了一种惯性思维：理解任务用 Encoder 架构，生成任务用 Decoder 架构，两者泾渭分明。这种割裂带来的直接后果是，同一个团队要维护两套模型、两套训练流程，甚至两套技术栈。更麻烦的是，理解和生成之间的能力无法自然流动——理解模型学到的知识很难直接助力生成任务，反之亦然。

就在大家逐渐接受这种“分工”时，复旦大学和阿里的研究团队提出了 UniAR（Unified Autoregressive Modeling），试图用一个统一的视觉 Tokenizer 打通多模态的理解与生成。这个方案最吸引人的地方不是某个单项指标的提升，而是它挑战了一个根本问题：我们是否真的需要为理解和生成设计两套完全不同的视觉表示体系？

UniAR 的核心思路很清晰：既然自然语言处理中，文本的 Tokenizer 既能用于理解也能用于生成，为什么视觉表示不能走同样的路？它用一个离散化的视觉 Tokenizer 将图像转换为 token 序列，然后直接用自回归的方式统一处理理解和生成任务。这种方法看似简单，却直接动摇了多模态建模的底层假设。

1. 为什么多模态的理解与生成长期“分家”？

要理解 UniAR 的价值，得先看清当前多模态模型的典型困境。

1.1 技术路径的历史惯性

在自然语言处理领域，BERT 为代表的 Encoder 架构在理解任务上表现出色，GPT 系列的 Decoder 架构则在生成任务上独占鳌头。当研究扩展到多模态时，这种分工思维被直接平移过来：

理解任务（如图像描述、视觉问答）通常采用 Encoder 架构，由视觉 Encoder 提取特征，文本 Decoder 输出结果
生成任务（如文本生成图像）则更多使用 Decoder 架构，从文本条件生成视觉内容

这种分工在早期确实合理——不同任务需要不同的归纳偏置。但随着模型规模扩大和任务复杂度增加，维护两套系统的成本变得越来越高。

1.2 表示层面的根本差异

更深层的问题在于视觉表示本身。传统方法中：

理解任务依赖连续的高维特征表示，保留丰富的语义信息
生成任务偏好离散的、压缩的表示，便于自回归生成

这种表示层面的不兼容，导致理解和生成模型之间几乎无法共享视觉编码器。即使强行共享，也往往需要在表示质量上做出妥协。

1.3 工程落地的实际痛点

在实际部署中，这种割裂带来的问题更加明显：

资源浪费：需要为理解和生成分别准备模型权重、计算资源
知识隔离：理解模型学到的视觉概念无法直接用于生成任务
流程复杂：多模态应用需要频繁在两种模式间切换，增加系统复杂度

正是这些痛点，让统一多模态建模范式成为一个值得深入探索的方向。

2. UniAR 如何用单一视觉 Tokenizer 实现统一？

UniAR 的方案本质上是对多模态建模的一次“简化”——通过统一视觉表示，降低系统复杂度。

2.1 核心设计：离散视觉 Tokenizer

UniAR 最关键的创新是设计了一个离散视觉 Tokenizer，其工作流程如下：

图像分词：将输入图像分割为 patch，通过卷积或 Transformer 编码为视觉 token
离散化：通过矢量量化（Vector Quantization）将连续特征映射到离散码本
序列化：将二维视觉 token 展平为一维序列，与文本 token 交错排列

这个过程类似于文本处理中的分词，但针对图像特性做了优化：

# 概念性代码，展示视觉 Tokenizer 的基本思路 class VisualTokenizer: def encode(self, image): # 1. 图像分块 patches = split_image_into_patches(image) # 2. 特征提取 features = visual_encoder(patches) # 3. 矢量量化 discrete_tokens = vector_quantize(features, codebook) return discrete_tokens def decode(self, tokens): # 从离散 token 重建图像 features = lookup_codebook(tokens) image = visual_decoder(features) return image

2.2 统一的自回归架构

有了离散视觉 Tokenizer 后，UniAR 采用纯自回归架构处理多模态序列：

序列构造：将图像 token 和文本 token 拼接成统一序列
任务统一：无论是理解还是生成，都转化为下一个 token 预测问题
训练统一：使用标准的语言建模损失，无需任务特定的优化目标

这种设计的巧妙之处在于，它避免了传统多模态模型中的模态对齐复杂度。模型只需要学习一个简单的目标：给定前面的 token，预测下一个 token。

2.3 灵活的提示机制

UniAR 通过不同的提示（prompt）设计支持多种任务：

# 图像描述任务 prompt = [图像token] + [文本"描述这张图像:"] target = [描述文本] # 视觉问答任务 prompt = [图像token] + [文本"问题:图像中有几只猫?答案:"] target = [答案文本] # 文本生成图像任务 prompt = [文本"生成一张有山的风景画:"] + [图像token] target = [图像token]

这种灵活性使得同一个模型能够处理截然不同的多模态任务，而无需修改模型架构。

3. 从技术细节看 UniAR 的实用价值

UniAR 不仅在学术上有创新，在工程实践上也提供了切实可行的解决方案。

3.1 训练效率的显著提升

传统方案需要分别训练理解模型和生成模型，而 UniAR 只需一次训练就能获得双重能力：

训练方案	模型数量	训练周期	参数利用率
传统分离式	2个	2倍时间	低
UniAR统一式	1个	1倍时间	高

这种效率提升在大型模型训练中尤为关键，能够大幅降低计算成本和时间成本。

3.2 部署复杂度的降低

在实际部署中，UniAR 的优势更加明显：

单一模型服务：无需维护两套模型服务
统一推理接口：所有任务使用相同的 API 格式
资源动态分配：根据任务需求灵活分配计算资源

对于需要同时支持理解和生成任务的业务场景，这种简化能够显著降低运维复杂度。

3.3 知识迁移的自然实现

由于理解和生成共享同一套视觉表示，两者之间的知识迁移变得自然而然：

理解任务中学到的视觉概念可以直接用于生成任务
生成任务中积累的创作经验能够反哺理解能力
模型在跨任务学习中形成更全面的视觉理解

这种双向的知识流动，是分离式架构难以实现的。

4. 实际应用中的考量与挑战

虽然 UniAR 的理念很有吸引力，但在实际落地时还需要考虑几个关键问题。

4.1 视觉质量与语义保真度的平衡

离散视觉 Tokenizer 需要在压缩效率和重建质量之间找到平衡点：

注意：token 数量过少会导致细节丢失，过多则会增加序列长度和计算成本。通常需要根据具体任务需求调整 token 数量和质量。

在实践中，可以先从中等规模的码本开始（如 8192 个视觉词），然后根据输出质量逐步调整。

4.2 长序列处理的优化

多模态序列往往比纯文本序列长得多，这对自回归模型提出了挑战：

序列长度：高分辨率图像可能产生数千个视觉 token
计算复杂度：自回归注意力是序列长度的平方复杂度
内存限制：长序列容易触发 GPU 内存瓶颈

解决方案包括：

使用线性注意力机制降低计算复杂度
采用分块处理策略处理超长序列
优化 KV 缓存减少内存占用

4.3 任务间干扰与负迁移

统一模型面临的一个潜在风险是任务间干扰：

某些任务的训练数据可能对其他任务产生负面影响
不同任务的最优表示可能存在冲突
模型可能在多个任务上都表现平庸

缓解策略包括：

精心设计训练数据的混合比例
采用课程学习，逐步引入不同任务
使用适配器或提示调优进行任务特定优化

5. 从 UniAR 看多模态建模的未来方向

UniAR 代表的统一建模范式，为多模态 AI 的发展提供了新的思路。

5.1 架构简化的趋势

从复杂的多模块设计到统一的序列建模，这一趋势与自然语言处理的发展路径相似。未来的多模态模型可能会进一步简化：

模态无关：同一架构处理视觉、文本、音频等多种模态
任务无关：通过提示机制支持任意多模态任务
尺度扩展：模型规模继续扩大，能力边界不断拓展

5.2 训练范式的演进

统一架构也推动了训练范式的变化：

自监督学习：利用大规模未标注多模态数据预训练
指令调优：通过指令学习统一不同任务的表达形式
持续学习：模型能够不断吸收新任务而不遗忘旧能力

5.3 应用生态的重构

当理解和生成能力真正统一后，多模态应用的设计空间将大大扩展：

创作助手：既能理解用户需求，又能生成满足需求的视觉内容
交互系统：实现真正的多轮、多模态对话
教育工具：同时具备解释知识和生成示例的能力

这种能力融合将催生新一代的多模态应用。

UniAR 的价值不在于它在某个基准测试上刷新了纪录，而在于它挑战了多模态建模的固有假设。通过统一的视觉 Tokenizer 和自回归架构，它证明了理解和生成可以共享同一套表示体系和学习机制。

对于实践者来说，这个方向最值得关注的是它的工程友好性——简化架构、降低复杂度、提高资源利用率。虽然目前仍有一些技术挑战需要克服，但统一建模范式无疑为多模态 AI 的规模化应用提供了更可行的路径。

在探索多模态技术时，我们或许应该少一些“什么任务用什么架构”的预设，多一些“如何用最简单的方式解决最多问题”的思考。这才是 UniAR 带给我们的真正启示。

UniAR：统一自回归建模如何简化多模态理解与生成任务