13.5 扩散模型：前向过程、反向过程与得分匹配

13.5 扩散模型：前向过程、反向过程与得分匹配

扩散模型是当前生成式人工智能领域的核心范式之一，其灵感源于非平衡热力学，通过模拟数据在噪声空间中的扩散与逆扩散过程来学习数据分布[reference:0]。本节将系统阐述扩散模型的三个核心组成部分：前向扩散过程、反向生成过程以及作为其理论基石的得分匹配方法。

13.5.1 前向过程：从数据分布到噪声分布

前向过程是一个固定的马尔可夫链，其目的是将复杂的数据分布pdata(x0)p_{data}(\mathbf{x}_0)pdata​(x0​)通过逐步添加高斯噪声，渐近地转化为一个易于采样的简单先验分布（通常是标准高斯分布）。

给定原始数据样本x0∼pdata\mathbf{x}_0 \sim p_{data}x0​∼pdata​，前向过程在TTT个时间步上定义。在离散时间设定下，每一步的转移概率定义为：
q(xt∣xt−1)=N(xt;1−βtxt−1,βtI),t=1,…,T q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}), \quad t=1,\dots,Tq(xt​∣xt−1​)=N(xt​;1−βt​​xt−1​,βt​I),t=1,…,T
其中{ βt∈(0,1)}t=1T\{\beta_t \in (0,1)\}_{t=1}^{T}{βt​∈(0,1)}t=1T​是预先定义的噪声调度。该过程的一个关键特性是，由于高斯分布的可加性，我们可以通过重参数化技巧，直接从x0\mathbf{x}_0x0​采样任意时间步ttt的加噪样本：
xt=αˉtx0+1−αˉtϵ,ϵ∼N(0,I) \mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t} \epsilon, \quad \epsilon \sim \mathcal{N}(\mathbf{0}, \mathbf{I})xt​=αˉt​​x0​+1−αˉt​​ϵ,ϵ∼N(0,I)
这里，αt=1−βt\alpha_t = 1 - \beta_tαt​=1−