Vision Transformer图像块多样化：从多尺度采样到动态剪枝的工程实践-育师

1. 从“千篇一律”到“百花齐放”：为什么我们需要多样化的图像块？

在计算机视觉领域，Vision Transformer（ViT）的出现无疑是一场革命。它将自然语言处理中大放异彩的Transformer架构成功迁移到图像理解任务上，其核心思想简单而有力：将一张输入图像分割成一系列固定大小的、不重叠的“图像块”（Patch），然后将这些图像块线性投影为“令牌”（Token）序列，最后送入标准的Transformer编码器进行处理。这套流程清晰、优雅，并且在ImageNet等大规模数据集上取得了媲美甚至超越传统卷积神经网络（CNN）的性能。

然而，作为一名长期在一线进行模型优化和部署的工程师，我在实际应用ViT及其变体时，常常会遇到一些“别扭”的地方。最直观的感受是，标准的ViT模型对图像块的划分方式过于“粗暴”和“单一”。想象一下，你拿到一张复杂的街景图片，里面有清晰的行人、模糊的背景、反光的车窗和纹理丰富的建筑物立面。标准ViT会像切豆腐一样，用一把尺寸固定的刀（比如16x16像素），将这张图片均匀地切成若干小块。问题来了：一个16x16的块，可能刚好完整地包含一只眼睛的细节，也可能横跨了天空和楼宇的边缘，包含了截然不同的语义信息。这种“一刀切”的划分方式，迫使模型必须从这些信息混杂、质量参差不齐的初始令牌开始学习，无疑增加了模型理解图像的难度。

这就引出了《Vision Transformers with Patch Diversification》这篇工作（以及其反映的研究趋势）所关注的核心问题：“并非所有图像块都是你所需要的”。我们真的需要那么多信息冗余甚至带有噪声的令牌吗？答案显然是否定的。过多的、低质量的令牌不仅会显著增加模型的计算负担（Transformer的自注意力机制复杂度与令牌数量的平方成正比），还可能引入干扰，让模型难以聚焦于真正重要的视觉特征。

因此，“Patch Diversification”（图像块多样化）或更广义上的“令牌精简/筛选”成为了ViT模型优化的重要方向。其目标不再是简单地、均质地切割图像，而是希望以更智能、更多样的方式生成或筛选初始的图像块表示，从而在模型效率（更少的计算量、更快的速度）和模型效果（更高的精度、更好的鲁棒性）之间取得更好的平衡。这不仅仅是学术上的“锦上添花”，对于将ViT模型部署到资源受限的边缘设备、移动端，或是需要实时响应的应用场景（如自动驾驶、视频分析）中，具有至关重要的工程价值。

2. 理解“多样化”的维度：不止于尺寸与形状

当我们谈论“Patch Diversification”时，很容易首先想到改变图像块的大小或形状。这确实是一个重要方面，但“多样化”的内涵远不止于此。我们可以从多个维度来拆解这个概念，这有助于我们理解不同优化方法的出发点和适用场景。

2.1 空间维度的多样化：打破固定的网格

这是最直观的维度。标准ViT使用固定的、规则网格进行划分。

多尺度图像块：一种自然的想法是使用不同尺寸的滑动窗口来提取图像块。例如，在图像的不同区域或不同层级，使用12x12, 16x16, 24x24等多种尺寸的窗口。这样，大尺寸块能捕获更宏观的上下文信息，小尺寸块能保留更精细的局部细节。Swin Transformer采用的层级式设计和滑动窗口机制，可以看作是在不同阶段融入了不同感受野的“块”信息。
非矩形与重叠图像块：为什么图像块必须是正方形且不重叠的呢？在一些工作中，研究者尝试使用圆形的、或通过可变形卷积动态调整形状的感受野来生成初始令牌。此外，允许图像块之间有部分重叠，可以缓解因严格切分导致的边缘信息割裂问题，让相邻块之间有信息交流的“缓冲区”。

2.2 信息内容的多样化：关注“重要性”而非“均质性”

这个维度关注的是图像块所携带信息的“质”，而非其外形的“量”。其核心思想是：不同的图像块对最终任务（如分类、检测）的贡献度是天差地别的。

基于显著性的筛选：我们可以利用视觉显著性检测算法，在生成令牌序列之前，先对图像进行分析，识别出前景主体、关键物体等显著区域。然后，可以对显著区域进行更密集的采样（生成更多、更小的块），对背景区域进行更稀疏的采样（生成更少、更大的块），甚至直接丢弃一些纯背景的低信息量块。这直接呼应了“not all patches are what you need”的思想。
基于注意力权重的动态剪枝：这是在模型前向传播过程中进行的动态优化。在Transformer的某些层（通常是较浅的层）计算出自注意力权重后，我们可以根据令牌与其他令牌交互的“活跃度”（例如，该令牌注意力权重的熵值很低，意味着它只关注极少数令牌；或者该令牌被其他令牌关注的总权重很低），判定其为“不重要”的令牌，并在后续层中将其移除或合并。代表性的工作有DynamicViT、EViT等。这种方法的好处是自适应性极强，能够根据每张输入图像的内容动态调整计算图。

2.3 特征表示的多样化：在嵌入空间做文章

即使图像块的物理划分是固定的，我们也可以在将其投影为令牌嵌入向量这一步引入多样性。

混合特征提取：在将图像块扁平化并线性投影之前，可以先使用一组不同参数的微型卷积核（或Gabor滤波器等）对每个块进行预处理，得到多种初始特征，然后再进行融合。这相当于为每个图像块提供了多种不同的“观察视角”。
随机化投影：在训练过程中，对线性投影层加入适度的随机扰动或使用Dropout，可以强制模型不依赖于某一种固定的投影方式，从而学习到更鲁棒的令牌表示。这可以看作是一种针对令牌嵌入的数据增强。

注意：在实际的工程实现中，上述维度往往是结合使用的。例如，一个系统可能首先采用多尺度划分生成初始的、数量较多的令牌候选集，然后通过基于注意力的动态剪枝机制，在推理过程中快速筛选出最关键的子集进行深层处理。

3. 核心实现策略：如何为ViT引入“多样化”？

理解了“为什么”和“是什么”之后，我们最关心的是“怎么做”。这里，我结合论文中常见的思路和工程实践，梳理几种核心的实现策略。需要明确的是，《Vision Transformers with Patch Diversification》作为一个具体的论文标题，其方法可能特指某一种技术路径。但我们可以从更广阔的视角，看看社区是如何解决这个问题的。

3.1 策略一：预定义的多尺度与稀疏采样

这是一种在模型输入阶段即确定的、静态的多样化策略。它的优势是实现简单，推理过程完全规则化，没有条件分支，易于部署。

操作流程：

设计采样策略：预先定义好几组采样参数。例如：
- 策略A: 使用16x16，步长16的密集网格采样（标准ViT）。
- 策略B: 使用24x24，步长24的稀疏网格采样。
- 策略C: 在图像中心224x224区域使用14x14的密集采样，在边缘区域使用28x28的稀疏采样。
并行处理与特征融合：将同一张输入图像，分别用这几种策略进行图像块划分和线性投影，得到多组令牌序列。
序列合并：将这些来自不同策略的令牌序列在序列长度维度上进行拼接，形成一条更长的、多样化的令牌序列。
送入Transformer：将这条长序列输入Transformer编码器。由于自注意力机制是排列不变的，它能自然地处理这些来自不同尺度和位置的令牌。

工程实现要点：

位置编码：这是关键。不同尺寸、不同位置的图像块，其位置编码必须重新计算，以反映其在原始图像中的真实2D坐标。不能直接复用标准ViT的1D位置编码。
计算开销：令牌总数增加了，所以计算量（FLOPs）必然会上升。这种策略的收益主要来自于模型性能（如精度、鲁棒性）的提升，而非效率提升。它牺牲了效率来换取更强的表示能力。

# 伪代码示意：多尺度采样与融合 import torch import torch.nn as nn class MultiScalePatchEmbed(nn.Module): def __init__(self, img_size=224, scales=[(16,16), (24,24)], embed_dim=768): super().__init__() self.projects = nn.ModuleList([ nn.Conv2d(3, embed_dim, kernel_size=s, stride=s) for s in scales ]) # 为每种尺度计算对应的位置编码 self.pos_embeds = nn.ParameterList([ nn.Parameter(torch.zeros(1, (img_size//s[0])*(img_size//s[1]), embed_dim)) for s in scales ]) def forward(self, x): # x: [B, 3, 224, 224] tokens_list = [] for proj, pos in zip(self.projects, self.pos_embeds): # 卷积实现分块与投影 token = proj(x).flatten(2).transpose(1, 2) # [B, N, C] token = token + pos tokens_list.append(token) # 在序列维度拼接 diverse_tokens = torch.cat(tokens_list, dim=1) # [B, N1+N2+..., C] return diverse_tokens

3.2 策略二：基于注意力的动态令牌精简

这是目前研究的热点，也是真正实现“按需计算”、提升推理效率的关键。其核心是在前向传播中，根据中间特征动态决定哪些令牌值得保留，哪些可以丢弃或压缩。

典型流程（以分类任务为例）：

生成初始令牌：使用标准方式（如16x16网格）生成全部N个令牌。我们称其为“候选令牌”。
经过浅层Transformer：让所有候选令牌通过前L层（例如前4层）Transformer块进行初步交互和特征提炼。
计算令牌重要性得分：在第L层之后，我们需要一个“裁判”来给每个令牌打分。常见的方法有：
- 基于CLS令牌的注意力：计算每个图像块令牌与任务相关的[CLS]令牌之间的注意力权重。权重越高，说明该图像块对最终决策越重要。
- 令牌自身的特征范数或熵：计算每个令牌特征向量的L2范数，范数大的通常包含更多信息。或者计算该令牌在所有注意力头中注意力分布的熵，熵值小（分布集中）的令牌可能作用更明确。
排序与筛选：根据重要性得分对所有图像块令牌进行排序，只保留得分最高的K个（K < N）。K可以是一个固定值，也可以是动态确定的（如保留得分大于某个阈值的令牌）。
继续处理：将筛选出的K个重要令牌（连同始终保留的[CLS]令牌）送入后续的深层Transformer块进行计算。被淘汰的令牌不再参与后续计算，从而节省了大量计算量。

工程实现中的坑与技巧：

梯度流中断：动态筛选是一个不可微的“选择”操作，会阻断梯度传播。解决方案是使用“软筛选”或Gumbel-Softmax技巧在训练时引入可微性，或者在训练后期再引入硬筛选进行微调。
筛选策略的稳定性：不同的输入图像，筛选出的令牌集合差异可能很大，这可能导致模型行为不稳定。一个实用的技巧是引入“保留率”的平滑约束，例如确保每层至少保留一定比例的令牌，或者对重要性得分进行层间的指数平滑。
与位置编码的兼容性：当令牌被移除后，剩余令牌的位置编码需要保持不变，因为它们仍然对应于原始图像中的绝对位置。这一点在实现时需特别注意。

3.3 策略三：结构化图像块生成与学习

除了上述两种相对“宏观”的策略，还有一些工作从“微观”入手，试图让模型自己学习如何生成更好的图像块。

可学习的图像块化：将标准的、固定的卷积投影层（kernel_size=stride=16）替换为一个小型的、可学习的神经网络（例如一个3-4层的微型CNN）。这个网络以整张图像为输入，其最后的特征图的空间位置，自然就成为了“图像块”的嵌入表示。通过训练，这个网络可以学会在语义边界处“切割”，生成更具信息量的块。

令牌聚类与合并：在Transformer的中间层，不再粗暴地丢弃“不重要”的令牌，而是将特征相似的令牌进行聚类，然后用一个聚类中心来代表一组令牌。这既减少了令牌数量，又保留了信息。例如，可以将空间上相邻且特征相似的背景令牌合并为一个。这种方法需要在线运行聚类算法（如K-Means的简化版），对工程实现有一定挑战。

4. 实战：为现有ViT模型集成动态令牌精简

理论说了这么多，我们来点实际的。假设我们手上有一个预训练好的标准ViT-B/16模型，现在想为其集成一个简单的、基于注意力得分的动态令牌筛选模块，以实现推理加速。这里我提供一个概念清晰、易于集成的PyTorch实现方案。

我们的目标：在ViT的第4个Transformer块之后，动态筛选出50%最重要的图像块令牌，只将这些令牌送入第5到第12层进行计算。

4.1 步骤一：剖析ViT结构，定位插入点

首先，我们需要理解标准ViT（以timm库为例）的结构。一个ViT模型通常由以下部分组成：

patch_embed: 将图像切块并投影为令牌。
cls_token: 可学习的分类令牌。
pos_embed: 位置编码。
blocks: 一个由多个TransformerBlock组成的模块列表。
norm和head: 最后的层归一化和分类头。

我们的动态筛选模块，将作为一个新的nn.Module，插入到blocks[3]（第4层）和blocks[4]（第5层）之间。

4.2 步骤二：设计动态筛选模块

这个模块需要完成三件事：评估重要性、排序筛选、重组数据。

import torch import torch.nn as nn import torch.nn.functional as F class DynamicTokenPruning(nn.Module): """ 动态令牌剪枝模块。 在训练时，使用可微的top-k选择（通过Gumbel-Softmax）。 在推理时，使用硬性的top-k选择。 """ def __init__(self, target_keep_ratio=0.5, gumbel_temperature=1.0, hard=True): super().__init__() self.target_keep_ratio = target_keep_ratio self.temp = gumbel_temperature self.hard = hard # 是否使用硬性选择 def forward(self, x, cls_token): """ Args: x: 图像块令牌，形状为 [Batch, Num_patches, Embed_dim] cls_token: [CLS]令牌，形状为 [Batch, 1, Embed_dim] Returns: pruned_x: 筛选后的图像块令牌 kept_indices: 被保留的令牌索引（用于调试） """ batch_size, num_patches, embed_dim = x.shape # 1. 计算重要性分数：使用与[CLS]令牌的点积注意力作为分数 # [CLS]令牌作为“查询” cls = cls_token.transpose(0, 1) # [1, B, D] -> [B, 1, D] # 图像块作为“键” scores = torch.matmul(cls, x.transpose(1, 2)) # [B, 1, D] * [B, D, N] -> [B, 1, N] scores = scores.squeeze(1) # [B, N] # 2. 确定要保留的令牌数量 num_keep = int(num_patches * self.target_keep_ratio) if num_keep >= num_patches or num_keep == 0: # 无需筛选 return x, torch.arange(num_patches, device=x.device).expand(batch_size, -1) # 3. 根据训练/推理模式进行选择 if self.training and not self.hard: # 训练模式：使用Gumbel-Softmax进行可微的Top-K选择 keep_prob = F.gumbel_softmax(scores, tau=self.temp, hard=False, dim=-1) # 我们只需要选择top-k，这里用一个技巧：生成一个mask _, topk_indices = torch.topk(scores, k=num_keep, dim=-1) keep_mask = torch.zeros_like(scores, dtype=torch.bool) keep_mask.scatter_(1, topk_indices, True) # 使用mask进行选择，但梯度可以通过gumbel分布回传 scores_for_gumbel = scores.masked_fill(~keep_mask, -1e9) keep_prob = F.gumbel_softmax(scores_for_gumbel, tau=self.temp, hard=False, dim=-1) # 采样（实际上在hard=False时是软选择，我们取其期望） # 为了简化，在训练时我们也用硬索引，但通过Gumbel-ST传递梯度 _, topk_indices = torch.topk(scores + torch.randn_like(scores)*0.01, k=num_keep, dim=-1) else: # 推理/硬选择模式：直接取Top-K索引 _, topk_indices = torch.topk(scores, k=num_keep, dim=-1) # 4. 根据索引收集要保留的令牌 batch_indices = torch.arange(batch_size, device=x.device).view(-1, 1).expand(-1, num_keep) pruned_x = x[batch_indices, topk_indices, :] # [B, K, D] return pruned_x, topk_indices

4.3 步骤三：改造ViT前向传播逻辑

我们需要修改ViT模型的前向传播函数，在指定层后插入筛选模块。

def forward_modified_vit(self, x): B = x.shape[0] # 1. 原始的图像块嵌入和位置编码 x = self.patch_embed(x) cls_tokens = self.cls_token.expand(B, -1, -1) x = torch.cat((cls_tokens, x), dim=1) x = x + self.pos_embed x = self.pos_drop(x) # 2. 逐层通过Transformer块 for i, blk in enumerate(self.blocks): x = blk(x) # 在第4层之后（i==3）插入动态剪枝 if i == 3: # 分离[CLS]令牌和图像块令牌 cls_token, img_tokens = x[:, :1, :], x[:, 1:, :] # 动态剪枝图像块令牌 pruned_img_tokens, kept_idx = self.pruner(img_tokens, cls_token) # 重新组合：[CLS]令牌 + 筛选后的图像块令牌 x = torch.cat((cls_token, pruned_img_tokens), dim=1) # 注意：此时位置编码需要相应调整。一个简单方案是使用可学习的位置编码， # 或者将原始位置编码中对应的索引提取出来。 # 这里为简化，假设模型能自适应（实际效果会打折扣，需微调）。 # 3. 后续处理 x = self.norm(x) return self.head(x[:, 0]) # 取[CLS]令牌用于分类

4.4 步骤四：训练与微调策略

直接在一个预训练好的ViT上插入剪枝模块并运行，性能大概率会暴跌。我们需要一个循序渐进的微调策略。

热身训练：首先，将剪枝模块的target_keep_ratio设置为1.0（即不剪枝），用少量数据（如ImageNet的子集）对模型进行几个epoch的微调。目的是让模型适应新的前向传播图（即使什么都没剪）。
逐步剪枝：然后，以较小的步长（如每次降低0.1）逐步降低target_keep_ratio，每降低一次，都用完整数据集微调1-2个epoch。例如：1.0 -> 0.9 -> 0.8 -> ... -> 0.5。这个过程让模型平滑地学习如何应对越来越“苛刻”的令牌保留环境。
联合微调：当target_keep_ratio达到目标值（如0.5）后，再用完整数据集进行一段时间的联合微调，稳定模型性能。
评估与部署：在验证集上评估精度和速度。由于减少了约一半的令牌参与后半程计算，理论上FLOPs和推理时间都会有显著下降。部署时，将pruner设置为hard=True的推理模式。

重要提示：动态剪枝会改变每层处理的令牌数量，这导致标准的Transformer实现（其注意力机制通常假设序列长度固定）无法直接使用高度优化的内核（如FlashAttention）。在部署时，可能需要自定义算子或使用支持可变长度序列的推理框架，这是工程落地时需要攻克的一个难点。

5. 影响评估：多样化带来了什么？

为ViT引入图像块多样化机制，究竟带来了哪些实实在在的好处和潜在的代价？我们需要从多个维度进行客观评估。

5.1 正面收益：效率与效果的潜在双赢

计算效率提升：对于动态剪枝类方法，这是最直接的收益。通过移除冗余令牌，可以大幅减少模型在中间层和深层需要计算的序列长度。自注意力机制的复杂度从O(N²)降低到O(K²)，其中K是保留的令牌数。在实际的GPU/CPU推理中，这能直接转化为更短的延迟和更高的吞吐量，对于实时应用至关重要。
模型精度保持甚至提升：这听起来有违直觉，但许多论文报告了在相似FLOPs下，采用令牌精简的模型精度超过了基线模型。原因在于“去噪”和“聚焦”。强制模型只关注最重要的信息，可以看作是一种强大的正则化，它迫使模型学习更鲁棒、更具判别性的特征，而不是依赖于所有可能包含噪声的背景信息。
模型鲁棒性增强：多样化的图像块生成方式，尤其是多尺度策略，让模型能够同时捕获不同粒度下的视觉特征。这有助于提升模型对于尺度变化、遮挡、局部扰动等情况的鲁棒性。模型不再只依赖于单一尺度的局部证据来做决策。
可解释性线索：动态重要性评分机制提供了一个副产品：我们可以可视化哪些图像块被模型认为是重要的。这为我们理解模型的决策过程打开了一扇窗。例如，在图像分类任务中，我们可以观察被保留的令牌是否确实集中在目标物体上。

5.2 需要权衡的代价与挑战

训练复杂性增加：无论是引入Gumbel-Softmax、额外的可学习模块，还是需要多阶段逐步剪枝的微调策略，都显著增加了模型训练和调优的复杂性。训练时间更长，超参数更多（如剪枝率、剪枝位置、温度系数τ等），对实验者的经验要求更高。
推理过程的不确定性：对于动态方法，每张输入图像的推理路径（保留了哪些令牌）可能都不相同。这种“条件计算”特性使得传统的静态图优化、算子融合、批处理（Batch Inference）变得困难。在批处理时，如果同一批内的样本保留的令牌数不同，就需要进行填充（Padding）或更复杂的打包（Packing）操作，这会引入额外开销，可能抵消一部分计算节省。
硬件友好度下降：现代AI加速器（如GPU的Tensor Core，NPU的矩阵计算单元）最喜欢规整的、可预测的张量运算。动态剪枝带来的不规则计算和稀疏性，会降低计算单元的利用率，使得实际的加速比往往低于理论FLOPs的减少比例。需要专门的稀疏计算库或硬件支持才能充分发挥其优势。
可能的信息损失风险：尽管目标是去除冗余，但“冗余”的界定是模糊的。在某些边缘案例或对抗性样本中，被剪枝机制判定为“不重要”的令牌，可能恰恰包含了关键的反直觉信息。这可能导致模型在某些情况下的性能下降或出现新的脆弱性。

5.3 选型建议：如何为你的项目选择策略？

面对多种“多样化”策略，如何选择？这里有一个简单的决策树供参考：

你的首要目标是提升精度还是提升速度？
- 目标为精度：优先考虑多尺度/多形态融合策略。它通过增加计算成本来换取更强的特征表示能力，适合对精度要求极致、计算资源相对充裕的场景（如云端部署的学术研究或关键业务）。
- 目标为速度/效率：优先考虑动态令牌剪枝/合并策略。它直接减少计算量，适合移动端、嵌入式设备或需要高并发的在线服务。
你的部署环境对计算图有何要求？
- 需要静态图、确定性推理：选择预定义的多尺度/稀疏采样。它的计算图是固定的，易于优化和部署。
- 可以接受动态图、条件计算：可以选择动态剪枝。但需要评估目标推理框架（如TensorRT, ONNX Runtime, TFLite）对动态形状和稀疏运算的支持程度。
你的数据和应用场景有何特点？
- 数据中主体与背景区分明显（如肖像摄影、工业质检）：基于显著性或简单注意力评分的剪枝会非常有效。
- 数据复杂、主体多变、背景信息也可能重要（如街景理解、医学图像）：需谨慎使用剪枝，或设置较高的保留率，或采用更保守的令牌合并策略而非直接丢弃。

一个实用的混合策略：在实际工程中，我经常采用一种折中方案——“早期粗剪，后期不剪”。即在最前面的1-2个Transformer层之后，进行一次“粗粒度”的剪枝，用一个较低的阈值淘汰掉大量明显无关的背景块。在中间层，则采用更保守的合并或轻度剪枝。在最后的几层，不再进行任何剪枝，让模型利用最丰富的上下文信息做最终决策。这种策略在效率和效果之间取得了不错的平衡。

6. 超越分类：多样化思想在其他视觉任务中的应用

图像分类是ViT的“起家”任务，但“Patch Diversification”的思想完全可以推广到更广泛的视觉任务中，并且往往能带来更大的收益。

6.1 目标检测与实例分割

在这些密集预测任务中，图像包含大量物体和复杂背景，冗余信息极多。

应用方式：可以在Backbone（ViT）部分应用动态剪枝，快速过滤掉大片的纯背景区域，让后续的检测头（如DETR中的Transformer Decoder或传统的FPN+RPN）只处理可能包含物体的、信息密集的区域。这能极大提升检测器的推理速度。
注意事项：剪枝需要格外小心，避免将小物体或物体边缘的重要上下文信息误删。通常需要针对检测任务重新设计重要性评分函数，例如结合区域提议网络（RPN）的初步得分。

6.2 图像分割（语义/全景分割）

语义分割需要对每个像素进行分类，令牌数量巨大。

应用方式：一种策略是在编码器（Encoder）中剪枝，在解码器（Decoder）中恢复。编码器使用动态剪枝进行高效的特征提取，得到一组稀疏但高语义级别的令牌。解码器则通过上采样、跳跃连接或可变形注意力等机制，将这些稀疏的高层特征与早期未剪枝的、高分辨率的底层特征融合，逐步恢复出密集的像素级预测图。
优势：避免了在编码器的深层对所有像素进行昂贵的全局注意力计算，将计算资源集中在语义信息丰富的区域。

6.3 视频理解

视频可以看作是时空上的令牌序列。冗余不仅存在于空间上，更大量存在于时间上（相邻帧高度相似）。

应用方式：时空联合剪枝。我们可以计算视频片段中时空令牌的重要性，并动态选择关键帧中的关键区域进行处理。例如，对于动作识别，模型应聚焦于发生运动的区域和关键帧。这能将视频理解的巨大计算开销降低一个数量级。
关键技术：需要设计能够同时评估空间重要性和时间重要性的评分机制。

6.4 多模态任务（视觉-语言模型）

在如CLIP、BLIP等模型中，图像需要与文本进行对齐。

应用方式：图像令牌的重要性可以由文本查询来指导。例如，给定文本“一只棕色的狗在草地上奔跑”，模型在计算图像-文本相似度时，可以动态地强化图像中与“狗”、“棕色”、“草地”、“奔跑”相关的令牌，弱化无关区域的令牌。这本质上是一种跨模态的注意力引导剪枝。
收益：提升模型对文本描述中细粒度属性的感知能力，并加速大规模多模态模型的推理。

从“一刀切”的均匀划分，到“因图而异”的智能筛选，Patch Diversification 代表了Vision Transformer模型从“可用”走向“高效、鲁棒、可解释”的必然进化路径。它不是一个孤立的技巧，而是一种设计哲学：让计算资源跟随信息密度走。对于研究者，它开辟了结构设计、动态网络、稀疏计算等多个有趣的方向；对于工程师，它提供了实实在在的模型加速工具，是让ViT这类强大模型真正落地到产品中的关键。