神经编码与H.266的正面交锋：谁才是下一代视频编解码的王牌？

做视频编解码这一行十几年，我最怕被问一个问题：神经编码和 H.266 到底谁更先进？

不是怕回答，是这个问题本身就问拧了。H.266（也就是 VVC，Versatile Video Coding）是 2020 年正式定稿的新一代视频编码标准，它实打实在同样视觉质量下比上一代 H.265 再省 30%~50% 的码率；而"神经编码"不是一个版本号，是过去五年里学术界用深度学习端到端训练出来的一整类编码方法的统称。一个已经冻结成白纸黑字的标准，一个还在实验室里快速迭代的研究方向，放到同一个"先进"的天平上称，本身就没法得出干净利落的结论。

但这不代表比较没有意义。恰恰相反，只有把两者在原理、复杂度、生态和实际落地上各自的底牌都翻出来，才能看清下一代视频 Codec 的真正竞争发生在哪里，是码率？是画质？是延迟？还是更现实的芯片成本和功耗。这篇文章基于我多年接触 VTM/VVenC 参考软件、跟踪 JVET 和 MPEG 神经编码探索、以及自己跑压缩评测的经验，把这件事彻底讲透。适合正在做音视频开发、需要对编码选型做判断的工程师，也适合想切入这个方向的研究者。

1. 先搞清楚：H.266和神经编码根本不是同一个“物种”

1.1 H.266是标准，是工程，是面向未来十年的基础设施

H.266/VVC 是 ITU-T VCEG 和 ISO/IEC MPEG 联合制定的标准，2020 年 7 月定稿。它继承了从 H.261 到 H.265 一脉相承的混合编码框架——帧内预测、帧间运动补偿、变换量化、熵编码、环路滤波——但每一个模块都做了大幅扩展。最关键的是：标准一旦定稿，码流语法就冻结了。任何符合规范的编码器产出的码流，任何按规范实现的解码器都能解。这意味着芯片厂商可以放心去流片，流媒体公司可以放心去做封装、转码和 DRM，整个产业链可以用五年十年的周期去投入。

所以 H.266 从来不只是"更炫的算法"，它是一整套基础设施。这也是它和神经编码最本质的区别：你没法把一个还没有稳定码流定义的神经网络叫"标准"。

1.2 神经编码是方法，是探索，是参数在说话的“黑盒子”

神经编码这边是另一种画风。图像端的代表成果有 hyperprior 系列（Ballé 等人 2017 年提出）、上下文模型和 GMM 概率建模（Minnen、Cheng 等），视频端有 DVC、条件编码 DCVC 系列，以及 NeRV/HNeRV 这类基于隐式神经表示的方法。它们的共同特征：把传统编解码器里几乎所有手工设计的模块换成可微分的网络，然后用梯度下降联合优化编码器、解码器和概率模型，让"压缩"本身成为一个可学习的任务。

因为是研究性的，每篇论文都像一个新的"物种"：网络结构不同、概率模型不同、训练损失不同，同一套网络换一组权重就是另一个 codec。这种特性决定了它短期内没法写进标准，也没法固化成芯片指令集。但它代表了一个很本质的转向：不再靠人肉设计规则去逼近信源统计，而是靠数据驱动让网络自己找到更优的压缩表示。

1.3 “先进”应该拆成五个维度来看

要回答"谁更先进"，先把"先进"拆开：压缩效率、主观画质、计算复杂度、可并行性与实时性、生态成熟度。H.266 在压缩效率上是当前传统架构的天花板，神经编码在部分压缩效率指标上已经追平甚至反超；但放到后四个维度，两边差距极大，甚至可以用"代差"来形容。这也是整篇文章要展开的主线。

2. H.266的底牌：把传统架构的每一颗螺丝都拧到极限

2.1 块划分：从四叉树到“多类型树”

H.265 用的是四叉树，最大编码树单元（CTU）64×64，每次把一块切成四个正方形。H.266 直接把 CTU 上限拉到 128×128，并且在四叉树之外允许二叉树、三叉树的水平/垂直划分。这个"多类型树"（QTMT）意味着编码块可以变成 128×16、16×32 这类贴合图像边缘的矩形块。对 4K/8K 内容来说，平坦区域用大块省 bits，纹理密集区域用细长块对齐物体边界，光是块划分方式就能带来好几个点的增益。

2.2 帧内预测：从35种模式到67种模式，再加一堆小工具

H.266 的帧内预测扩展到 67 种预测模式，还引入宽角度模式去处理非正方形块，加上位置相关预测组合（PDPC）、多参考行（MRL）、帧内子划分（ISP）和矩阵帧内预测（MIP）。MIP 值得单独说一句——它用一组预训练的小矩阵，把相邻已解码像素映射成预测块，本质上是把简单的神经网络推理以"查表加矩阵乘"的形式悄悄塞进了传统标准。这是神经工具渗透进传统编码框架最早的试水口，后面我会再展开。

2.3 帧间预测：仿射运动、几何划分和光流细化

视频编码的核心是运动补偿。H.266 引入了仿射运动模型，用 4 参数或 6 参数描述旋转、缩放、透视变化，对无人机航拍、镜头变焦这类场景帮助非常大；几何划分模式（GEO）让一个块可以沿任意角度分成两个预测区，专门处理物体边界正好切过块的情况；双向光流细化（BDOF）可以在解码端把运动向量精度往上提；再加上帧间/帧内组合预测（CIIP）、局部光照补偿（LIC）这些工具，目标只有一个：用尽量少的残差码率换尽量准的预测。

2.4 环路滤波和熵编码：最后的“一公里”

VVC 的 ALF 把亮度滤波器数量扩展到 25 个，还新增跨分量滤波（CCALF）和亮度映射与色度缩放（LMCS）。熵编码端，CABAC 的上下文建模和概率更新也做了细化。单独看每个工具，收益往往只有 0.5%~3%，但 VVC 的领先优势就是靠近两百项这样的工具一点一点叠出来的。官方测试里，VTM 相对 HM（H.265 参考软件）的 BD-rate 增益大致在 30%~40%，随机访问配置下尤为明显。

2.5 收益背后的代价：编码复杂度按数量级上涨

这是 H.266 被唱衰最多的地方，而且确实是事实。VTM 全工具编码一个 1080p 序列，速度可能只有 H.265 参考软件的几十分之一，因为编码器要做海量率失真优化（RDO），逐一尝试块划分、预测模式、变换组合。实际产品没人会全开工具，开源实现 VVenC 通过 preset 控制工具集，牺牲一点压缩率换回可用的编码速度。但即便如此，软件实时 4K 编码对 VVC 来说仍然遥不可及，必须等专用芯片。

提示：评估 VVC 增益时一定盯住配置。All-Intra、Random Access、Low Delay 三种配置下 BD-rate 差别很大，拿 AI 配置的 20% 增益去和 RA 配置的 40% 比较，是行业里最常见的扯淡方式。

3. 神经编码的底层逻辑：用梯度下降替代人工规则

3.1 一个自编码器如何变成压缩系统

最简单的神经编码器长这样：分析变换（也就是编码网络）把图像映射成隐向量，量化之后得到一个紧凑表示，再用熵编码写成码流；解码端用合成变换把隐向量映射回重建图像。听起来和传统变换编码很像，区别在于——传统编码的变换是 DCT/DST 这类手工设计的固定基函数，神经编码的"变换"是卷积网络，基函数完全是从数据里学出来的。

为了让熵编码真正逼近信源熵，网络还必须学会预测隐向量每个元素的概率分布。这就是 hyperprior 和上下文模型存在的意义：辅助信息加上已经解码的邻居元素，喂给一个小网络，输出当前元素的概率参数，有了概率才能做算术编码。因此整个系统的训练损失是经典的率失真形式：L = R + λ·D。R 是概率模型估计出的码率，D 是重建误差，λ 控制码率和画质的权衡。这个公式看起来眼熟，但传统编码器的 λ 只影响编码端的局部决策，神经编码的 λ 是在训练阶段全局优化整个网络。

3.2 视频怎么学：运动补偿、条件编码、隐式表示三条路线

视频比图像难得多，难在时间冗余。目前大致有三条技术路线。

运动补偿路线：用光流网络估计运动，把运动信息当作"另一种图像"压缩，参考帧按运动向量做 warp，再压缩残差。DVC 是这条路的代表作，相当于把传统混合编码的每个环节都换成了网络模块，结构好理解，也容易和传统框架对照。

条件编码路线：不再显式估计运动和残差，而是把参考帧解码后的特征直接作为条件，让网络"看着"参考特征生成当前帧的编码表示。DCVC 系列是典型代表，在低码率下效果很好，但解码端需要保存特征图，内存开销比传统解码器大不少。

隐式神经表示路线：把整个视频当成一个"坐标到像素"的映射，用一个网络拟合整套画面，NeRV、HNeRV 属于这类。压缩比可以做得很高，尤其适合短视频、存档、监控这类场景，但编码需要对着每个视频重新训练网络，目前完全没法做实时流媒体。

3.3 为什么神经编码在“率失真最优”上更占理

传统编码器的 RDO 是编码时的离散搜索：这个块用帧内还是帧间？MV 是哪个？变换选哪种？决策空间巨大，只能靠启发式裁剪，结果通常是"次优"。神经编码把 RDO 搬到了训练阶段——把整个数据集上的期望率失真作为目标函数，用反向传播让编码器和解码器同时往最优方向走。训练完成后，编码就是一次前向推理，决策从"搜索"变成了"网络输出"。这个范式上的差异，是神经编码能在各项评测里逐步反超传统标准的最根本原因，也是它们敢于挑战 VVC 的底气所在。

4. 真刀真枪对比：码率、画质、复杂度和生态

4.1 客观指标：图像上已反超，视频上还在追赶

先说静态图像。在 Kodak、CLIC 这类标准评测集上，目前最好的学习型图像编码器在 PSNR 指标上比 VVC 的 All-Intra 配置平均省 10%~30% 码率，换成 MS-SSIM 指标优势更大，因为网络可以针对这个指标做专门的优化。JPEG AI 在标准化的探索报告里也给出了类似结论。

再说视频。在 UVG、MCL-JCV 这些常用测试集上做公平对比（同样的码率、同样的评价帧数、统一评价指标），VTM 在中高码率段依然压着绝大多数端到端视频编码器打；但到了低码率段，学习型方法明显追了上来，在 MS-SSIM 和多个主观指标上实现反超。换句话说，视频的时间预测——尤其是复杂运动、遮挡、光照突变——还没有被神经网络完全征服。这也是 MPEG 的神经视频编码探索至今没有给出明确标准时间表的主要原因。

4.2 主观画质：低码率下神经编码有“幻觉纹理”优势

传统编码器在低码率下先牺牲纹理再牺牲边缘，于是出现涂抹、振铃、块效应，观感上"一眼码率不够"。神经编码器如果用了感知损失或者对抗训练，会更倾向于生成看起来合理的细纹理，哪怕这些纹理和原图并不完全对应。主观评测里，这些生成纹理往往更讨好人眼。但代价也很明显：信息保真度下降。医学影像、监控取证这类不能容忍编造细节的场景，神经编码的"创造性"反而成了伦理和准确性问题。

4.3 复杂度与功耗：成本决定能不能走进千家万户

这是最冰冷的现实，我用一张表把两边拉到一起看：

单独拎解码出来说。传统解码器天然适合并行：块之间可以并行解码，帧之间更是天然流水线。神经解码器为了保证概率估计准确，普遍使用自回归上下文模型，当前元素的概率依赖前一个已解码的元素，结果就是解码不得不串行。我实际测试过某些图像模型，解一张 1080p 图片要好几秒，放在视频里就是灾难级别的延迟。哪怕压缩率再漂亮，这个解码特性也会卡掉一大半应用场景。

4.4 生态和标准化的账，谁都得认

H.266 哪怕有绕不开的专利授权问题，它至少有清晰的授权框架、多家实现之间的互操作性、现成的封装规范。神经编码连"码流长什么样"都还没有定下来——同一个模型，作者换一组权重，旧码流立刻报废。这种不稳定性决定了流媒体公司现阶段不会把它当作生产选择，顶多拿去做离线转码的实验性探索。生态这件事，不是靠一篇顶会论文能解决的。

5. 我更看好的混血路线：传统框架 + AI 工具

别急着二选一。行业里真正在推进的，是"半个神经编码"。

JVET 已经在做 Enhanced Compression Model（ECM），就是在 VVC 框架里逐个尝试神经网络工具：神经网络环路滤波器、神经网络帧内预测、神经网络辅助的帧间预测。根据公开测试数据，ECM 相对 VTM 又能挤出约 5%~15% 的增益。这个路径聪明在：码流语法可控，解码器只需要塞一小块能跑的 NPU，不用推翻整个传统框架，就能拿到一部分端到端优化的红利。

图像端有 JPEG AI，它是第一个走向标准化的学习型图像编码标准，目标是在合理算力约束下做到比传统标准显著更低的码率。视频端，MPEG 的神经视频编码探索（NNVC）也在评估把端到端网络嵌入随机访问编码结构，但时间表还远。从芯片厂商的角度看，混血路线最友好：保留传统解码器的并行结构，只是把 ALF 替换成小网络，或者允许帧内预测由网络生成，既保实时性，又吃到 AI 增益。我判断，这才是未来三到五年真正会规模落地的形态，而不是突然空降一个全神经 Codec。

提示：读 AI 视频编码论文时，一定要盯住解码端复杂度。很多论文的码率数字很漂亮，但解码复杂度比 VTM 还高一个数量级，工程上完全没法落地。近几年顶会论文里，"可在移动端运行的低复杂度解码器"正在成为新的加分项，这个趋势值得关注。

6. 回到最初那个问题，我到底怎么回答

再有人问"神经编码和 H.266 谁先进"，我会这样答：论可落地的压缩效率，H.266 是今天传统架构的顶点，所有后来者都得拿它当锚点；论范式上限，神经编码端到端优化的思路确实更接近压缩的理论极限，JPEG AI 已经证明了图像这条路走得通。而视频要完整替代，还得过复杂度、标准、硬件三座大山。最终大概率不是"谁取代谁"，而是神经工具一层层渗透进传统框架，最后你很难说清楚某个 Codec 到底是传统的还是神经的。

最后说一点个人体会。我做完一批编码器对比测试后最大的感受是：评测数字极其容易被误导。判断一个编码器行不行，必须固定用 VTM 做锚点，固定测试序列和评价指标，再把编码时间、解码时间一起记录，否则所谓"先进"就只是论文里的标题党。如果现在要选型做产品，我的建议是：普通视频业务继续用 H.265/AV1 稳住体验，等 VVC 硬件解码普及后再评估迁移；愿意做长期储备的团队，盯紧 ECM 里的 AI 工具和 JPEG AI 的落地进展。下一代 Codec 的竞争主战场，已经悄悄从纯压缩率转向了"压缩率 + 解码复杂度 + 硬件可落地性"的综合博弈。