摘要
本周重点研读了何恺明团队在生成模型领域的最新工作——pixel Mean Flow (pMF)。该研究旨在解决在像素空间进行扩散或流匹配时，因高维噪声场远离数据流形而导致的拟合困难问题。pMF的核心创新在于提出了一种新的预测范式：网络直接输出位于低维数据流形附近的广义去噪图像，再通过代数变换将损失函数映射至速度空间进行优化。这种方法有效结合了像素空间拟合的易操作性与速度空间优化的物理合理性，并天然支持在像素级引入感知损失（如LPIPS），最终在ImageNet 256×256上实现了无VAE依赖的单步（1-NFE）高质量生成，FID达到2.95。
Abstract
This week focused on the latest work from Kaiming He’s team in generative modeling: pixel Mean Flow (pMF). This research aims to solve the fitting difficulties in pixel-space diffusion or flow matching, which arise from high-dimensional noise fields residing off the data manifold. The core innovation of pMF is a novel prediction paradigm: the network directly outputs a generalized denoised image near the low-dimensional data manifold, and then an algebraic transformation maps the loss function back to velocity space for optimization. This method effectively combines the ease of pixel-space fitting with the physical soundness of velocity-space optimization, and naturally allows the introduction of perceptual losses (e.g., LPIPS) at the pixel level. Consequently, it achieves high-quality one-step (1-NFE) generation on ImageNet 256×256 without relying on a VAE, attaining an FID of 2.95.
1、何恺明团队新作 pMF
继Kaiming组团队之前的MeanFlow、iMF（improved Mean Flow）之后，pMF（pixel Mean Flow）更是直接将image generation推向了latent-free（无VAE）、one-step generation（1-NFE）上来。可以看到Kaiming团队过去一年在这一块的研究上正持续发力。
1.1 背景
在pMF出现之前，要在像素空间做diffusion或flow matching是一件不太容易的事，因为高维度pixel space中的noise或velocity，本质上是high-frequency且off-manifold的。如果你强行让网络去拟合flow matching中的瞬时速度场或噪声，网络需要在一个巨大的高维空间里去逼近一个毫无规律的随机量，训练上的难度就变得非常大。
1.2 方法
pMF的不同之处在于： 它强迫网络在输出端预测一个广义的去噪图像，这个目标始终落在真实图像的低维data manifold附近，网络更容易拟合这样的manifold；而在计算loss时，通过代数变换将这个去噪图像映射回velocity space，也就是平均速度。这种设计让模型的优化过程发生在符合物理规律的velocity space，而image representation learning发生在利于拟合的pixel-space上。pMF的方法流程图如下：
文中还对近期一系列针对loss function改进的工作进行了集中对比，这里面还包括了Kaiming组之前的MF、iMF、JiT：
对于这样的设计，文章做了一系列的ablation study，证明了在像素空间直接预测velocity会导致模型坍塌。具体来说：在ImageNet的256×256256\times 256256\times 256实验设定下，如果依然沿用主流flow matching的思路，让网络去预测速度场，模型生成的全是噪声；而一旦切换到pMF提出的xxx-prediction范式，模型预测就变得正常了。 这证明了在scaling到高维像素时，prediction target的选择决定了任务的可行性。此外，这也解释了为什么之前的pixel-based diffusion model往往需要多步迭代才能出图——因为单步预测一个off-manifold的量是几乎不可能的。
此外，pMF进一步引入了perceptual loss（LPIPS），因为网络直接输出的是image pixels，我们就可以在像素的基础上加入额外的约束，这是latent-space diffusion model很难做到的。pMF引入perceptual loss后的1-NFE FID结果如下：
总结
本周通过对pMF论文的系统研读，深刻理解了生成模型在像素空间高效训练的核心挑战与突破路径。
