离散扩散VLA如何跑出30Hz实时控制？并行解码与少步采样深度拆解

最近被 Fast-dVLA 刷屏的朋友应该不少，标题里最扎眼的不是那些炫酷的机器臂视频，而是“30 Hz”这个数字。做过机器人策略的都知道，从 2 Hz 到 30 Hz 不是线性提速，是直接从“PPT 操控”跨进了“真·实时控制”的门槛。今天不聊情怀，就用拆解的方式，把离散扩散 VLA 为什么能跑这么快这件事彻底讲明白。

先说结论：Fast-dVLA 快的根源在于把“动作生成”从自回归的串行模式，换成了离散扩散的并行模式，再配合少步采样、轻量模型和一系列推理工程优化，把单次策略推理压进了 30 毫秒左右。这个思路对整个 VLA 领域都有参考价值，哪怕你不做机器人，只搞扩散模型推理加速，里面的采样步数压缩和并行解码技巧也值得读完。

1. 30 Hz 对机器人到底意味着什么

1.1 机器人控制频率的门槛

VLA 全称 Vision-Language-Action，输入是摄像头画面和自然语言指令，输出是机械臂或者移动底盘的关节动作。机器人控制领域有个默认共识：控制频率至少要 10 Hz 以上，力控和灵巧操作甚至要跑到 50-100 Hz。频率太低，机器人执行动作就像看幻灯片，一条“抓取水杯”的指令被拆成几十帧慢动作，中间稍微有一点扰动就抓不稳。

可 VLA 模型动辄几十亿参数。像 OpenVLA 这类 7B 体量的模型，在 A100 上用自回归方式生成动作序列，端到端延迟通常在 300-500 毫秒，换算下来就是 2-3 Hz。π0 这种连续扩散方案，一次性并行去噪生成整段动作轨迹，可以跑到 5-10 Hz。而 Fast-dVLA 把离散扩散路径优化到 30 Hz，比自回归方案快了一个数量级，这个数字对真机部署来说才是“堪用”的水平。

1.2 VLA 推理延迟到底花在哪

一个标准 VLA 前向流程大致分三段：视觉编码、多模态融合与推理、动作解码。自回归模型的动作解码是逐 token 生成的，假设一个动作 chunk 有 112 个 token，就要串行做 112 次模型前向，每次前向都是一次完整的 Transformer 推理。这就像排队过安检，队伍再短，一个人一个人过也得耗时间。

所以 VLA 提速的核心矛盾就一句话：能不能只跑几次前向，就把整段动作全部生成出来？

2. 自回归为什么是速度杀手

2.1 逐 token 生成的乘法效应

自回归生成动作序列的流程很好理解：模型先看到当前的图像和语言指令，预测动作序列的第一个 token，然后把第一个 token 拼回去，再预测第二个，以此类推。每个 token 都依赖前面所有 token 的结果，无法并行。

一个典型操作里，机械臂 6 个自由度加夹爪，动作维度是 7，一个动作 chunk 取 16 步，序列长度就是 112 个 token。自回归要跑 112 次前向，每次前向即使只算 3 毫秒，光动作解码就是 336 毫秒。这还没算视觉和语言部分的耗时，整体延迟直接起飞。

更麻烦的是，动作 token 之间存在非常强的时序相关性——机器人轨迹本身是平滑的，第 5 步的位置大概率在第 4 步附近。自回归模型必须逐点把这种相关性“挤”出来，每一步都不能跳过，天生的串行瓶颈。

2.2 连续扩散方案的进步与天花板

π0 这类连续扩散方案比自回归进了一步：它直接把整段动作序列看作一个连续的高维向量，用一个扩散模型去噪生成。去噪过程是并行作用于所有动作维度上的，一次前向就能更新整段轨迹，不再逐 token 排队。

但连续扩散有个代价：为了保证生成质量，推理时通常需要 10-50 次去噪迭代。每迭代一次就是一次完整模型前向，50 步就是 50 个串行前向。虽然比 112 步少，但依然是个不小的开销。很多时候为了跑到高帧率，得牺牲步数，结果动作平滑度下降，真机一跑就抖。

这就引出了离散扩散路线：既要并行生成，又要用尽量少的迭代步数。

3. 离散扩散：把“排队过安检”改成“整组并行”

3.1 动作先“翻译”成离散码

离散扩散的第一步，是把连续动作空间转化成离散 token。做法很直白：对每个动作维度做码本量化。比如 7 维动作，每一维用一个 256 大小的码本表示，值域内的连续数值被映射成 0-255 的整数。一整个 16 步的 chunk 就变成了 7×16=112 个离散 token。

这一步相当于把机器人动作“翻译”成语料库里的词。有了离散 token，模型就可以借用文本生成里成熟的并行解码框架，同时为所有 token 建模一个分布，而不是只能一个一个猜。

码本怎么训练？最常用的是 K-means 聚类，对海量轨迹数据中每一维动作单独聚类，得到质心作为码本。也可以端到端训练一个 VQ 层，让码本和扩散模型一起优化。前者稳定省事，后者上限更高但容易遇到码本坍缩，后面实操部分我会细讲。

3.2 加噪去噪：离散空间的扩散怎么做

离散扩散的加噪过程不是加高斯噪声，而是随机把 token 替换成掩码符号。训练时给定真实的动作 token 序列，按一定比例随机 mask 掉一部分，让模型去预测被 mask 的 token 是什么。这和 BERT 的掩码语言模型本质上是一家人。

推理时的反向过程更有意思。先从全部 mask 的 token 序列出发，模型一次性前向，对所有位置同时给出预测分布。然后按照置信度筛选：预测置信度高的 token 直接保留，置信度低的继续 mask 掉，进入下一轮迭代。每一轮，模型在已知越来越多真实 token 的条件下重新预测剩余位置。

这个机制叫 confidence-based parallel decoding，类似 MaskGIT 的做法。它的关键收益是：生成 112 个 token，只需要 2-8 轮前向，而不是 112 轮。每一轮所有位置同时更新，信息在全序列范围内互相可见，动作的时序平滑性由并行建模天然保证。

3.3 为什么离散比连续更适合少步采样

有人会问，连续扩散也能并行，为什么离散能做到更少步数？答案是离散分布信息更紧凑。连续扩散每一步都在连续向量空间里挪动，每一步挪多远、往哪挪，需要很多轮才能收敛到锐利的高斯峰。而离散 mask 扩散在每一轮都能看到“哪些 token 已经确定”，未确定位置的候选空间随轮次指数收缩，模型可以大步快走。

直观类比：连续扩散像在雾天开车，每一步只能看清前几米，得慢慢摸。离散 mask 扩散像拼拼图，每拼上一块，整个画面就清晰一分，剩下的坑位反而更好判断。所以离散扩散通常 4-8 步就能出不错的效果，配合步数蒸馏甚至能压到 2 步，30 Hz 的底气主要来自这里。

4. Fast-dVLA 提速的关键设计

4.1 少步采样与步数蒸馏

Fast-dVLA 的推理步数设计基本遵循“从多到少，再蒸馏”的路径。训练初期用 20-50 步去噪保证模型学到合理的动作分布，训练稳定后，再用步数蒸馏把推理步数压到 4-8 步。蒸馏的做法是把老师模型在 N 步内的去噪结果作为目标，让学生模型用 N/2 步逼近同样的输出，迭代压缩。

采样调度上也很有讲究。每一步该 mask 掉多少 token，不是均匀分布的，而是按置信度动态调整。前几步快速确定大框架，后几步精修细节。实际调参中，我倾向于先用 arccos 调度做基准，再根据动作平滑度微调 mask 比例，比默认的线性调度收敛得快。

4.2 模型规模与架构的克制

30 Hz 还有一个更现实的必要条件：模型本身不能太肥。7B 参数的自回归 VLA 想靠并行解码翻盘，单次前向就 50 毫秒，再省步数也到不了 30 Hz。Fast-dVLA 在模型设计上明显走了轻量路线：视觉编码器用一个高效的 ViT，多模态融合层不大，动作解码部分只保留必要层数，整体体量远小于通用聊天模型。

这里有个容易被忽略的点：VLA 的任务不是“通用对话”，而是“看图说话、执行动作”。动作空间本质是低维的，不需要像大语言模型那样储备海量世界知识。所以砍参数对精度的影响比想象中小，前提是训练数据质量足够高。压缩模型容量，换推理速度，是机器人策略落地的性价比之选。

4.3 推理工程层面的三板斧

算法再快，工程拖后腿也是白搭。Fast-dVLA 这类方案能跑满 30 Hz，通常还叠加了三个工程优化。

第一是 KV Cache 复用。视觉特征和语言指令在整个动作生成过程中是不变的，把它们的 KV 缓存下来，每轮去噪只更新动作 token 那部分的计算。这能省掉 30-40% 的重复计算量。

第二是精度与算子优化。BF16 推理是标配，能上 TensorRT 就把关键算子做图优化，尤其是多头注意力和交叉注意力部分。实测下来，注意力算子换成融合版能再省 20% 延迟。

第三是视觉编码的缓存策略。固定场景下摄像头画面变化不大，可以降低视觉特征刷新频率，或者对背景做裁剪和降采样。严格来讲这不算模型推理加速，但对端到端 30 Hz 的达成贡献很大。

下面给一个简化的推理伪代码，核心去噪循环一目了然：

def fast_dvla_inference(model, images, instruction, args): # 1. 编码多模态输入（可缓存） vis_feat = model.vision_encoder(images) lang_feat = model.lang_encoder(instruction) kv_cache = build_cache(vis_feat, lang_feat) # 2. 初始化为全掩码动作 token action_tokens = torch.full((chunk_steps, action_dims), MASK_ID, dtype=torch.long) # 3. 并行去噪循环（通常 2-8 步） for step in range(args.denoise_steps): logits = model(action_tokens, kv_cache=kv_cache) probs = softmax(logits / args.temperature, dim=-1) pred_tokens = argmax(probs, dim=-1) # 置信度筛选：高置信保留，低置信继续掩码 confidence = probs.max(dim=-1).values keep_mask = confidence > args.conf_threshold(step) action_tokens = torch.where(keep_mask, pred_tokens, MASK_ID) # 4. 码本解码回连续动作 actions = model.action_codebook.decode(action_tokens) return actions

这段代码是针对 mask 式离散扩散的典型实现。实际工程中每一步的置信度阈值、温度参数都需要按任务微调，直接照搬默认值大概率不是最优。

4.4 训练与推理的一致性

很多团队复现扩散 VLA 翻车，根源是训练和推理不一致。训练时用的是随机 mask，推理时用的是置信度 mask，两者分布有偏差，导致推理步数一旦减少，质量崩得厉害。

解决思路是训练时也模拟推理状态：一部分训练样本从完全 mask 开始，模型学会在信息极少的情况下预测全局结构；另一部分沿用随机 mask 保持泛化。这样推理时的置信度 mask 路径在训练中见过，少步采样才不会露馅。

5. 复现与落地实操要点

5.1 数据准备与训练流程

训练离散扩散 VLA 的数据格式和自回归 VLA 类似：每个样本包含多视角图像、语言指令、动作序列。区别在于动作要离散化。建议先把所有轨迹的逐维动作数据收集起来做聚类，码本大小从 256 到 1024 都有人用，太小码本表达力不足，太大增加预测难度。

训练分两阶段更稳。第一阶段用次优策略或简单逆动作模型做 warm-up，让多模态 encoder 先对齐视觉和语言特征；第二阶段再开整段扩散训练。直接端到端硬训，收敛慢且不稳定，尤其是码本还没训好的时候，loss 很容易跑飞。

5.2 端到端延迟的测量口径

讨论 30 Hz 前先想清楚口径：是纯模型推理 30 Hz，还是包含图像采集、动作执行全套闭环 30 Hz？Fast-dVLA 的亮点在模型侧，但真机部署要看端到端。建议用下面的表做延迟拆解，定位瓶颈是模型还是外围链路。

如果只想复现“模型跑到 30 Hz”，重点压优化中间两行。如果想做完整的真机机器人，第一行和最后一行反而容易成为隐藏瓶颈。

5.3 硬件基线

30 Hz 不是单靠算法白嫖出来的，硬件得够。我自己的经验是：A100 或者 H100 上，轻量模型搭配 4 步采样跑到 30 Hz 是现实的；在消费级显卡如 RTX 4090 上，可能需要把步数压到 2-3 步，或者进一步裁剪模型层数。部署到嵌入式设备则要另做量化，目前这个量级还比较吃力。

6. 实操中的坑与排查清单

6.1 码本坍缩与利用不均

离散扩散最经典的坑是码本坍缩：聚类后只有很少几个码被用到，大部分码闲置，模型的表达力直接废掉。排查方法很简单，训练完统计训练集和验证集上 token 的分布，如果发现 80% 的样本集中在 5% 的码上，就是坍缩了。

对策有两个。一是初始化码本时保证每个码分配到足够样本，别让聚类中心扎堆；二是训练中用 EMA 更新码本，正则化约束码本利用率。端到端 VQ 训练时，小学习率和梯度裁剪会缓解崩坏。

6.2 少步采样动作发飘

步数从 20 压到 4，最常见的现象是动作“发飘”，生成轨迹不平滑，真机跑起来像喝醉了。注意，这不一定是模型问题，可能是采样调度不对。

我的排查顺序：先看置信度阈值曲线，如果前一两步保留 token 太多，等于没给模型“后悔”机会；再看温度参数，温度太低预测过于自信，容易把错误 token 焊死在序列里。一般把温度调到 0.8-1.2 区间，配合 mask 比例逐渐下降的调度，动作质量会有明显改善。

6.3 训练与推理不一致导致的性能暴跌

有个复现团队问过我说：“训练收敛很好，验证集指标也不错，怎么一减少推理步数就全崩了？”九成是训练时没加 mask 调度学习。训练的时候全用随机 mask，推理用置信度 mask，分布差距太大。

建议在训练后期混入少量“从全 mask 开始预测”的样本，比例可以控制在 10%-20%，让模型逐步适应真实推理的输入分布。代价是训练 loss 会略高一些，但推理鲁棒性提升明显。

6.4 多模态特征与动作解码的时序对齐

离散扩散并行生成动作序列时，视觉和语言特征是对整个动作 chunk 共享的。这个设计在慢速任务里没问题，但到了快速抓取这类强时序任务，模型需要知道“当前这一步执行到哪了”。

实操中可以在输入里额外拼接一个时间步 embedding，或者把动作 chunk 划分成几个子段，分别做条件化。这个改动对长 horizon 任务的精度提升非常显著。

7. 写在最后的一些体会

我自己在复现类似方案时的感受是：离散扩散 VLA 的“快”不是某一招的功劳，而是表示方式、采样策略、模型规模和工程实现共同咬合的结果。把动作变成离散 token，让模型摆脱自回归枷锁；用置信度并行解码，把 100 次前向压缩到个位数；再用轻量模型和 KV Cache 把单次前向压进毫秒级。每一步单看都是常规操作，组合在一起才把 30 Hz 变成现实。

最后分享一个调参的小技巧：刚开始做少步采样时，不建议直接一步压到 2 步，先按 20、8、4、2 的阶梯逐步测试，每档都记录动作平滑度和真机成功率。这个过程中你会直观感受到模型“在哪一步开始失真”，比闷头看 loss 曲线有用得多。如果你也在搞 VLA 或者扩散模型推理加速，欢迎顺着这条路线再往深走一步，把 30 Hz 变成你项目里的及格线。