揭秘AnimeGen-T2V-A14B-Lightning-int4的双专家MoE架构：高噪声与低噪声模型如何分工

AnimeGen-T2V-A14B-Lightning-int4 是一款专为Apple Silicon（MLX）打造的动漫风格文生视频模型。它基于 Wan2.2-T2V-A14B 的双专家 MoE（混合专家）架构做了动漫全参数微调，再通过int4 量化与Lightning 加速，让 8 步、无 CFG 的快速视频生成能跑在 64GB 统一内存的 Mac 上。本文将用通俗的方式讲清楚：高噪声与低噪声这两个"专家"模型，到底是如何分工协作的。

一、先认识项目：仓库里都有什么

这个仓库是一个"开箱即用"的模型权重包，没有多余的脚本，核心文件一目了然：

从 config.json 可以读出 DiT 的"体格"：40 层、40 注意力头、dim 5120、ffn_dim 13824。两个专家各自是完整的 Transformer 主干，dual_model: true字段正是"双专家"开关。

二、双专家 MoE 通俗解释：为什么拆成两个模型

传统视频扩散模型用一个"万能模型"从头去噪到尾，但去噪过程其实分成两种截然不同的阶段：

• 前期（噪声很大）：画面还是一团雪花点，模型要决定的是"大方向"——构图、布局、角色位置、动作骨架。
• 后期（噪声很小）：画面轮廓已定，模型要负责"精修"——发丝纹理、眼睛高光、背景细节。

这两个阶段的优化目标差异极大，硬塞进一个模型容易互相干扰。Wan2.2-T2V-A14B 的解法是把主干一分为二：训练出两个专门化的完整模型（专家），推理时按噪声水平"接力"，而不是像传统 MoE 那样按 token 路由。这就是标题里"MoE 架构"的真正含义——按噪声区间路由的双专家 MoE。

三、高噪声专家：负责画"骨架"

生成一开始，潜空间里是纯噪声，high_noise_model.safetensors 接管这个阶段。它的工作类似画师的草稿：

• 确定镜头构图与主体位置
• 铺设动作与镜头运动的大致轨迹
• 决定画面整体的"动漫气质"（这是动漫全参数微调重点强化的部分）

这一步决定了成片"对不对"。高噪声阶段一旦跑偏，后面的精修也无能为力。

四、低噪声专家：负责填"血肉"

当噪声降到阈值以下，low_noise_model.safetensors 无缝接管，进入精修阶段：

• 锐化边缘、补全发丝与衣物纹理
• 稳定帧间一致性，减少闪烁
• 输出干净的动漫质感，而不是灰糊糊的画面

这一步决定了成片"好不好看"。

五、交接点在哪：boundary = 0.875 的秘密

两个专家何时交接？答案写在 config.json 里：

"dual_model": true, "boundary": 0.875, "sample_shift": 3.0

推理时，当前时刻的归一化噪声水平会被拿来和0.875比较：高于它用高噪声专家，低于它用低噪声专家。也就是说，高噪声专家负责去噪轨迹开头约 1/8 的"粗活"，剩下 7/8 的"细活"全部交给低噪声专家。

以推荐的 8 步采样为例，大致节奏是：

1. 第 1 步：高噪声专家定骨架
2. 第 2～8 步：低噪声专家逐步精修

整个交接对最终输出完全透明，你只需要提供一份提示词。

六、int4 量化 + Lightning：两大提速手段是怎么做的

🗜 int4 量化：只压最耗算力的部分

• 两个 DiT 专家的attention + FFN 线性层全部量化到int4（group size 64），元数据记录在 config.json 的quantization字段
• VAE 和 umT5 保留全精度：VAE 每帧都要解码像素、T5 决定提示词理解质量，这两处对画质最敏感且计算量相对小，不值得牺牲精度

效果：832×480 / 17 帧 / 8 步推理时，峰值显存约 42GB，一台 64GB 内存的 Mac 即可承载。

⚡ Lightning：离线合并的少步加速

项目把 lightx2v 的 Wan2.2-Lightning LoRA离线合并进了权重（每个专家各自合并），因此推理时无需再加载任何 LoRA，也不需要 CFG（guidance 1.0）。值得注意的是两个专家的合并权重并不相同：

• 高噪声专家：2.0
• 低噪声专家：1.0

这再次印证了分工思路——高噪声阶段的"骨架"对加速配方更敏感，值得更强的干预。

七、推荐生成配置：8 步出片的正确姿势

README.md 给出的官方推荐配方如下：

提示词方面，模型卡还内置了一段中文负向提示词（见 config.json 的sample_neg_prompt），用于规避过曝、多手指、畸形肢体、画面静止等常见动漫生成缺陷。

八、硬件与获取方式

• ✅ 64GB 统一内存的 M 系列 Mac（实测峰值约 42GB）
• ✅ 配合 Swift-MLX 的wan-core/ Bernini-R 运行时使用（本仓库采用其要求的 1095 key 扁平权重布局，可原样载入）
• ✅ 权重为 LFS 大文件，克隆仓库获取：

git clone https://gitcode.com/hf_mirrors/mlx-community/AnimeGen-T2V-A14B-Lightning-int4

九、总结：一句话看懂这套架构

一个动漫文生视频模型，两个"专家"接力：高噪声专家用 int4 量化后的 40 层主干定骨架，低噪声专家接手精修血肉，Lightning 加速让全程只需 8 步、免 CFG，64GB Mac 本地就能出片。

如果你想深入查看双专家的原始微调细节，可参考 README.md 中" How it was made"一节；项目采用 Apache-2.0 许可证，可自由用于社区研究与二次开发。