PaddleSpeech T2S 核心模块解析：DurationPredictor / LengthRegulator / VariancePredictor 源码级详解

• 人工智能
• 语音
• 音频
• NLP
• 媒体生成

本篇技术指南聚焦飞桨 PaddleSpeech 文本转语音（TTS）中负责「时长预测—长度调节—韵律方差预测」的三个核心模块：DurationPredictor（时长预测器）、LengthRegulator（长度调节器）与VariancePredictor（方差预测器）。它们共同构成了 FastSpeech / FastSpeech 2 系列非自回归语音合成模型的关键骨架，也是 PaddleSpeech 中paddlespeech.t2s.modules.predictor包的主体内容。读完本文，你将掌握这三个模块的设计动机、网络结构与计算域差异（log 域 vs 线性域）、关键超参数含义，以及它们在 FastSpeech2 模型中的真实调用链与推理流程。

一、模块概览：predictor 包在 TTS 中的定位

在 PaddleSpeech 中，paddlespeech/t2s/modules/predictor/目录是一个独立的功能包，包含三个文件：

• duration_predictor.py：实现DurationPredictor与DurationPredictorLoss；
• length_regulator.py：实现LengthRegulator；
• variance_predictor.py：实现VariancePredictor。

从代码注释可以看到，这三个模块均标注为 "Modified from espnet"，即其设计思想源自 ESPnet 工具包，而 ESPnet 的实现又源于两篇经典论文：

• FastSpeech: Fast, Robust and Controllable Text to Speech（时长预测器与长度调节器的出处）；
• FastSpeech 2: Fast and High-Quality End-to-End Text to Speech（方差预测器的出处）。

在 FastSpeech 系列模型中，这三个模块形成了一个流水线：编码器输出的音素/字符级隐藏向量先被送入DurationPredictor预测每个音素的发音时长，再由LengthRegulator依据预测时长将音素级特征"复制扩展"为帧级特征，最后VariancePredictor进一步预测音高（pitch）与能量（energy）等韵律方差，用于调制帧级特征。这一设计使模型摆脱了自回归逐帧解码，从而获得远快于 Tacotron 系列的合成速度。

二、DurationPredictor：时长预测器

2.1 网络结构

DurationPredictor定义于 duration_predictor.py，其构造函数签名如下：

def __init__(self, idim, # 输入维度（编码器隐藏层维度） n_layers=2, # 卷积层数 n_chans=384, # 卷积通道数 kernel_size=3, # 卷积核大小 dropout_rate=0.1, # Dropout 概率 offset=1.0): # 对数域偏移量，避免 nan

结构上它是一个由多个卷积块堆叠而成的轻量网络：

1. 输入xs形状为(B, Tmax, idim)，先转置为(B, idim, Tmax)送入一维卷积；
2. 每个卷积块依次为Conv1D → ReLU → LayerNorm → Dropout。首层卷积输入通道为idim，其余层输入通道为n_chans，卷积采用padding=(kernel_size - 1) // 2保持时序长度不变；
3. 卷积块之后将特征转回(B, Tmax, n_chans)，经nn.Linear(n_chans, 1)映射为每个时间步的单一标量。

值得注意的一个细节：这里使用的LayerNorm是 PaddleSpeech 自定义的 layer_norm.py 中LayerNorm(n_chans, dim=1)——它对通道维（dim=1）做归一化，而非常规的最后一维，这是为了配合(B, C, Tmax)的中间布局。

2.2 forward 与 inference 的计算域差异

这是DurationPredictor最关键的工程细节：forward 在 log 域计算，inference 在线性域计算。

def _forward(self, xs, x_masks=None, is_inference=False): xs = xs.transpose([0, 2, 1]) for f in self.conv: xs = f(xs) # NOTE: calculate in log domain xs = self.linear(xs.transpose([0, 2, 1])).squeeze(-1) # (B, Tmax) if is_inference: # NOTE: calculate in linear domain xs = paddle.clip(paddle.round(xs.exp() - self.offset), min=0) if x_masks is not None: xs = masked_fill(xs, x_masks, 0.0) return xs

• 训练（forward）：网络直接输出 log 域时长（即log(duration)）。原因在于时长是正数且分布偏斜，在对数域回归更接近高斯分布，数值更稳定；
• 推理（inference）：对 log 域输出做exp()还原为线性时长，减去offset再round取整，并用paddle.clip(..., min=0)保证非负，得到整数帧数；
• 当提供x_masks（指示 padding 区域的 mask）时，通过 masked_fill.py 将 padding 位置的预测值置 0。

返回值的语义也因此不同：forward返回 log 域时长(B, Tmax)，inference返回线性域 int64 时长(B, Tmax)。

2.3 DurationPredictorLoss：对数域 MSE

DurationPredictorLoss 是配套的损失函数：

def __init__(self, offset=1.0, reduction="mean"): self.criterion = nn.MSELoss(reduction=reduction) self.offset = offset def forward(self, outputs, targets): # outputs 在 log 域，targets 在线性域 targets = paddle.log(targets.cast(dtype='float32') + self.offset) loss = self.criterion(outputs, targets) return loss

由于模型输出是 log 域预测，而数据集中提取的真实时长是线性域的帧数，因此损失函数内部先将真实时长加上offset后取对数，再与预测值计算 MSE。offset同时出现在预测器与损失函数中，起到平滑作用，避免log(0)产生 nan。

三、LengthRegulator：长度调节器

3.1 作用与原理

LengthRegulator定义于 length_regulator.py，用于将音素/字符级特征按预测时长扩展为帧级特征。其核心逻辑是：对每个位置的特征，按对应的时长d重复复制d次，拼接后得到帧级序列。它没有可学习参数，只含一个pad_value（默认 0.0）用于 padding。

3.2 forward 与 alpha 变速控制

def forward(self, xs, ds, alpha=1.0, is_inference=False): if alpha != 1.0: assert alpha > 0 ds = paddle.round(ds.cast(dtype=paddle.float32) * alpha) ds = ds.cast(dtype=paddle.int64) if is_inference: return self.expand(xs, ds) else: return self.expand_numpy(xs, ds)

alpha是 FastSpeech 系列实现"语速控制"的关键参数：当alpha != 1.0时，先将时长缩放alpha倍再取整，alpha > 1语速加快、alpha < 1语速放慢，这与论文中通过调节时长实现语速可控的设计一致。

3.3 两种扩展实现：expand_numpy 与 expand

模块提供了两套等价实现：

• expand_numpy（训练用）：将时长转为 numpy 后构造 0/1 矩阵M（形状(batch, t_dec, t_enc)），通过paddle.matmul(M, encodings)完成批量复制。代码注释明确说明 "expand_numpy is faster than expand"，且采用paddle.shape(durations)动态取形状，兼顾 Windows/macOS 环境；
• expand（推理用）：纯 Paddle 算子实现，通过paddle.cumsum累计时长、逐列构造阶梯矩阵并做矩阵乘法。此外代码中保留了基于paddle.repeat_interleave的备选实现（被注释掉），注释提到在 Paddle 2.2.2 动转静场景下不可用，属于历史兼容性记录。

输入输出形状约定：encodings (B, T, C)、durations (B, T)，输出为(B, T*, C)（T* 为批内最长扩展长度）。

四、VariancePredictor：方差预测器

4.1 结构

VariancePredictor定义于 variance_predictor.py，结构上与DurationPredictor高度相似，同样由Conv1D → ReLU → LayerNorm → Dropout卷积块加nn.Linear(n_chans, 1)组成：

@typechecked def __init__( self, idim: int, n_layers: int=2, n_chans: int=384, kernel_size: int=3, bias: bool=True, dropout_rate: float=0.5, ):

与DurationPredictor的区别体现在工程细节上：

• 构造函数带@typechecked装饰器做运行时类型检查（来自 typeguard）；
• 默认dropout_rate=0.5（DurationPredictor 为 0.1），因为方差预测用于拟合能量/音高等分布更复杂的韵律量，需要更强的正则；
• 输出不做squeeze(-1)，保持(B, Tmax, 1)形状，直接返回线性域标量。

4.2 用途：音高与能量预测

VariancePredictor本身是一个通用回归头，在 FastSpeech2 中它被实例化两次，分别预测音高（pitch）与能量（energy）。从 fastspeech2.py 的源码可以看出：

self.pitch_predictor = VariancePredictor( ... ) # 音高预测器 self.energy_predictor = VariancePredictor( ... ) # 能量预测器

预测得到的音高、能量与时长信息共同参与帧级特征的调制（可参考fastspeech2.py中约 648–675 行的前向/推理逻辑），这正是 FastSpeech 2 相比 FastSpeech 1 质量提升的关键——把"时长"这一单一方差扩展为"时长 + 音高 + 能量"的多元韵律建模。

五、在 FastSpeech2 模型中的真实调用链

三个模块并非孤立存在，而是被 fastspeech2.py 完整集成，调用链清晰展示了它们的分工：

1. 实例化（约 400–440 行）：创建DurationPredictor（配置项duration_predictor_layers=2、duration_predictor_chans=384、duration_predictor_kernel_size=3、duration_predictor_dropout_rate=0.1）、两个VariancePredictor与一个LengthRegulator；
2. 训练前向：d_outs = self.duration_predictor(hs, d_masks)预测时长 →hs = self.length_regulator(hs, ds, is_inference=False)依据真实时长扩展；
3. 推理：d_outs = self.duration_predictor.inference(hs, d_masks)得到整数时长 →hs = self.length_regulator(hs, d_outs, alpha, is_inference=True)依据预测时长扩展，其中alpha即为对外暴露的语速控制参数；
4. 损失计算（约 1094 行）：self.duration_criterion = DurationPredictorLoss(reduction=reduction)，将预测的 log 域时长与真实线性时长对齐后计算 MSE。

此外，搜索结果显示这三个模块还被 Speedyspeech、JETS、VITS 等模型复用（如paddlespeech/t2s/models/speedyspeech/speedyspeech.py、paddlespeech/t2s/models/jets/generator.py、paddlespeech/t2s/models/vits/generator.py及 VITS 专属的vits/duration_predictor.py），说明predictor包是 PaddleSpeech 多个非自回归/端到端 TTS 模型共享的基础组件。

六、核心参数速查与实战建议

下表汇总三个模块的关键配置参数（与 FastSpeech2 默认配置一致，可结合fastspeech2.py中的模型参数验证）：

实战建议：

• 语速控制：推理时通过LengthRegulator.forward的alpha参数即可实现，无需重新训练；
• 计算域一致性：使用DurationPredictor时务必区分forward（log 域）与inference（线性域）两种模式，训练与推理混用会导致时长尺度错误；
• mask 处理：padding 位置一律通过masked_fill置 0，避免 padding 影响损失与预测，自定义接入时也需显式传入x_masks；
• 跨平台兼容：expand_numpy使用paddle.shape动态获取形状，在 Windows/macOS 下兼容性更好，是训练路径的默认选择。

七、总结

paddlespeech.t2s.modules.predictor包以三个简洁的模块实现了 FastSpeech 系列最核心的"时长—长度—方差"建模链路：DurationPredictor在 log 域回归时长并在推理时转回线性整数域，LengthRegulator通过矩阵乘法完成特征扩展并提供alpha语速控制，VariancePredictor以更强的正则化回归音高与能量。三者既可作为独立的nn.Layer复用，又已在 fastspeech2.py 及 Speedyspeech、JETS、VITS 等模型中验证可用。理解这三个模块，也就理解了非自回归 TTS 中"如何从文本序列对齐到声学帧序列"这一核心问题的工程答案。

• 人工智能
• 语音
• 音频
• NLP
• 媒体生成