面试官：多模态 Transformer 是怎么处理不同模态的序列长度差异的？
这其实是一个非常典型、但又容易被忽略的问题。很多人知道 CLIP、BLIP、Flamingo、LLaVA 这些模型“能理解图文”，但很少去想图像是一张二维矩阵，文本是一串一维 token 序列，音频又是时间信号，它们长度完全不同，Transformer 怎么就能同时处理的？
今天我们就来好好聊聊这个问题。
有相关源码示例、流程图、模型配置与知识库构建技巧，我也将持续更新在Github：AIHub，欢迎关注收藏！
1. 问题的本质
Transformer 的核心是Self-Attention，它要求输入是一串有序的 token 序列。
无论是文本的词向量、图像的 patch 向量，还是语音的频谱帧，最终都得变成统一的 token 序列才能喂给模型。
但问题来了：
- 一张图像经过 patch embedding 后可能有上百个 patch token；
- 一段文本通常只有几十个 token；
- 一段语音可能对应上千帧特征。
这就导致不同模态的序列长度（Sequence Length）差异极大，
而 Transformer 的计算复杂度是 O(N²)，N 一旦不平衡，就会直接拖垮性能。
2. 主流的三种解决方案
多模态 Transformer 的研究核心之一，就是如何对齐不同模态的序列。
目前主要有三种方式，分别是统一长度、跨模态对齐和动态建模，下面我们挨个看看。
（1）统一长度（Uniform Tokenization）
最粗暴也最常见的方法就是——统一长度，也就是通过下采样、补齐（padding）或采样策略，让所有模态的序列长度一致。
举个例子：
- 图像：用 ViT 提取 196 个 patch token；
- 文本：限制最多 32 个 token；
- 语音：采样成 50 帧 Mel 频谱特征。
然后拼接成一个总长度为 278 的序列，送入 Transformer。这种做法简单有效，但缺点是显而易见的，要么丢信息（下采样），要么浪费算力（padding）。
（2）跨模态对齐（Cross-modal Alignment）
第二种思路更聪明一点，先让每个模态各自编码（Modality Encoder），得到紧凑的表征，再通过跨模态 Transformer进行对齐。
比如：
- 文本用一个 Text Encoder（BERT）；
- 图像用一个 Vision Encoder（ViT 或 CNN）；
- 最后再用一个 Cross-Attention 模块，让文本 query 去 attend 图像 key/value。
这样做的好处是每个模态的序列长度在本模态内部可以自由变化，而跨模态交互只发生在高层语义空间中，计算代价小得多。这也是像CLIP、BLIP、Flamingo这类架构的常规做法。尤其是 Flamingo，它使用了Perceiver Resampler模块来把图像特征压缩成固定数量的“视觉 token”，再和文本 token 融合，大大缓解了序列长度不匹配的问题。
（3）动态建模（Dynamic Token Merging）
最近几年，还有一种更灵活的方式：动态长度建模（Dynamic Token Merging / Adaptive Pooling）。
核心思想是Transformer 不一定要所有 token 都参与全局注意力，可以通过内容相关性动态选择代表性 token。
例如对冗余的图像区域进行聚合、对语音中静音片段做降采样、对文本保留关键词 token。
这类方法的代表包括**TokenLearner (Google)、DynamicViT / Evo-ViT、Video-Swin Transformer 的 Patch Merging，**它们让模型“自适应”地决定保留多少信息，实现算力和精度的平衡。
在多模态场景下，这种机制尤其重要，因为各模态的信息密度差异极大。
如果这是面试题，面试官其实不希望你死记模型结构，他想看的是你能否从原理层面理解问题本质。
所以回答可以这样组织：
多模态 Transformer 面临的核心挑战是序列长度差异。
常见的解决方案包括：
- 统一序列长度（下采样或补齐）；
- 跨模态特征对齐（各模态独立编码 + cross-attention）；
- 动态 token 机制（根据内容自适应聚合特征）。
这些方法的目标都是在保证语义对齐的同时，降低 O(N²) 的计算开销。
可以再故意提一个你熟悉的代表模型引导面试官提问。
很多人觉得“多模态”是个新概念，其实它的难点就在这些细节，不同模态的表示形式、长度、统计分布都不一样。而 Transformer 的强大之处就在于它把一切都转化成 token 序列，再用统一的注意力机制去建模。
这也是为什么我们说 Transformer 是通用的模态接口（Universal Modality Interface）——不管你是图像、语音、文本，最后都能在同一个注意力空间中交流。
关于深度学习和大模型相关的知识和前沿技术更新，请关注公众号aicoting！
📚推荐阅读
面试官：Transformer如何优化到线性级？
面试官：模型的量化了解吗？解释一下非对称量化与对称量化
面试官：模型剪枝了解吗？解释一下结构化剪枝与非结构化剪枝
面试官：为什么 Adam 在部分任务上会比 SGD 收敛更快，但泛化性更差？如何改进？
面试官：BatchNorm、LayerNorm、GroupNorm、InstanceNorm 有什么本质区别？
面试官：深层网络梯度消失的根本原因是什么？除了 ResNet，还有哪些架构能有效缓解？
面试官：大模型中的幻觉本质原因是什么？如何通过训练或推理手段抑制？
面试官：FlashAttention 的实现原理与内存优化方式？为什么能做到 O(N²) attention 的显存线性化？
面试官：KV Cache 了解吗？推理阶段 KV Cache 的复用原理？动态批处理如何提升吞吐？
)
