1. 从"跑得动"到"跑得快"：分离量化到底解决了什么痛点
大模型推理部署这件事，做过的人都知道一个残酷的现实：模型权重占的显存和带宽，往往比算力本身更早成为瓶颈。你手里有一张显存不算宽裕的卡，想把一个几十亿参数的模型塞进去跑起来，第一反应通常是量化——把FP16的权重压到INT8、INT4甚至更低。但量化这件事有个绕不开的矛盾：权重压得越狠，精度掉得越厉害，尤其是到了2-bit、1-bit这种极端低位宽，模型基本就"失智"了。
传统的做法是"一刀切"——所有层用同一个位宽。这背后的逻辑很简单：实现容易，kernel好写，工程上省事。但问题是，Transformer里不同层的敏感度差异极大。注意力层的投影矩阵、FFN的中间层、embedding层，它们对量化的容忍度完全不在一个量级上。一刀切的结果就是：要么为了保精度不敢压太低，要么压低了之后某些关键层直接崩掉。
"分离量化"这个思路的核心，就是不再把权重当成一个整体来处理，而是把权重矩阵拆成两部分分别量化。听起来简单，但真正落地需要解决三个问题：拆分的依据是什么、两部分各自用什么位宽、以及拆完之后怎么在推理时高效地合并计算结果。NVIDIA这套方案给出的答案是：把权重分解为一个低位宽的主体部分和一个高位宽的残差部分，主体部分承担主要的计算量，残差部分负责补偿精度损失。这样既拿到了低位宽的带宽优势，又通过残差把精度拉回来。
这个思路之所以能同时实现"快1.78倍"和"1-bit精度涨32.5个点"，关键在于它改变了量化的误差分配方式。传统量化是把误差均匀地摊到所有元素上，而分离量化是把误差集中到一小部分残差里，让主体部分保持干净。下面我会从原理、实现、实测三个层面把这套东西拆开讲清楚。
2. 权重分离的数学本质：为什么残差补偿能救回精度
2.1 量化误差的两种处理哲学
要理解分离量化，先得理解量化误差到底是怎么产生的。假设有一个权重矩阵W，量化操作可以写成：
W_q = round(W / s) * s其中s是缩放因子（scale）。误差就是W - W_q。传统量化对这个误差的态度是"尽量让它小且均匀"，所以会精心设计scale，让量化后的值尽可能贴近原始值。但无论怎么设计，误差总是存在的，而且位宽越低，误差越大。
分离量化的态度完全不同：它承认误差无法消除，但可以把误差重新组织。具体做法是把W拆成：
W = W_main + W_residual其中W_main用极低位宽（比如1-bit或2-bit）表示，W_residual用稍高的位宽（比如4-bit或8-bit）表示。推理时分别计算两部分的贡献再相加。这里的关键洞察是：W_main承载了权重的主要能量，W_residual只需要承载很小一部分能量就能把精度补回来。
为什么？因为神经网络权重通常服从某种近似正态的分布，大部分值集中在0附近，少数值绝对值较大。低位宽量化对"大值"特别不友好——1-bit量化只能表示正负两个方向，所有值的幅度信息全丢了。但如果把权重分解，让W_main只负责"方向"（符号），W_residual负责"幅度修正"，那么1-bit的W_main其实已经捕获了最重要的信息。
2.2 残差位宽的选择逻辑
这里有个很实际的工程问题：残差部分到底用多少位宽？用太高，省下来的带宽又还回去了；用太低，精度补不回来。
我实测下来的经验是，残差位宽和主体位宽之间存在一个"性价比拐点"。以1-bit主体为例，残差从2-bit提到4-bit，精度提升非常明显；但从4-bit提到8-bit，精度提升就变得很平缓，而带宽开销几乎翻倍。所以4-bit残差通常是甜点区。如果是2-bit主体，残差用4-bit就基本够了，再高收益递减。
这个拐点的存在，本质上是因为残差部分的能量占比本来就小。主体位宽越低，残差需要承载的能量越多，对残差位宽就越敏感；主体位宽越高，残差越"轻"，对位宽就越不敏感。
2.3 为什么1-bit场景收益最大
标题里说"1-bit精度暴涨32.5个点"，这个数字看起来很夸张，但放在分离量化的框架下是合理的。纯1-bit量化（比如某些极端方案）基本等于只保留符号，模型能力损失惨重，在很多基准上可能直接掉到随机猜测附近。而分离量化给1-bit主体配上一个残差通道后，相当于给"只有方向没有幅度"的权重补上了幅度信息，模型从"失智"恢复到"能用"，这个跨度自然巨大。
反过来，如果是4-bit主体，本身精度已经不错了，残差带来的提升就有限。所以分离量化的价值，随着主体位宽降低而急剧放大。这也是为什么这套技术特别适合显存极度受限、必须往死里压的场景。
3. 推理加速的来源：带宽、kernel与计算图的三重优化
3.1 显存带宽才是真正的瓶颈
很多人以为LLM推理慢是因为算力不够，其实在batch size不大的decode阶段，瓶颈几乎全在显存带宽上。每生成一个token，都要把整个模型的权重从显存读一遍。权重是FP16的话，读的量就是参数量的2倍字节；压到1-bit，读的量直接降到1/16。这就是1.78倍加速的主要来源。
但这里有个陷阱：分离量化后，权重变成了两部分，如果两部分分开存储、分开读取，带宽优势会被削弱。所以实现上必须保证主体和残差在内存里是紧凑排列的，最好能一次读取就拿到两部分数据。NVIDIA的方案在这方面做了不少工作，把主体和残差的读取合并到同一个内存事务里，避免额外的访存开销。
3.2 Kernel融合：别让反量化成为新瓶颈
低位宽量化的一个隐藏成本是反量化（dequantization）。权重存的是低位宽整数，计算前要转回浮点。如果这个转换单独占一个kernel，那省下来的带宽又被计算开销吃回去了。
分离量化的kernel设计有个关键点：主体部分的反量化和矩阵乘要融合在一起。也就是说，读进来1-bit权重后，直接在寄存器里展开成计算需要的格式，不经过显存往返。残差部分同理。两部分的结果在累加器里合并，对外看起来就是一次普通的矩阵乘。
我踩过的一个坑是：早期自己写的实现里，主体和残差分别调用两次矩阵乘kernel，结果两次kernel之间的中间结果要写回显存，带宽直接翻倍，加速比从预期的1.7倍掉到1.1倍。后来把两部分融合进同一个kernel，才把性能拉回来。这个教训说明，分离量化的性能上限，很大程度上取决于kernel融合做得好不好。
3.3 计算图的调整
除了kernel层面，计算图层面也有优化空间。分离量化后，某些层的残差部分如果能量极小，其实可以动态跳过——也就是所谓的稀疏化残差。比如某个权重矩阵的残差里99%的值都接近0，那这部分计算完全可以省掉。这需要在推理前做一次离线分析，标记出哪些残差块可以跳过，然后在计算图里插入条件分支。
不过这个优化要谨慎，因为条件分支本身有开销，而且会导致不同输入走不同路径，影响批处理的效率。我的建议是：只在残差能量确实极低的层上启用，并且做好profiling确认收益为正。
4. 实操落地：从权重分解到推理部署的完整链路
4.1 权重分解的离线流程
分离量化的第一步是离线把训练好的权重分解掉。这个流程大致是：
- 统计权重分布：对每一层的权重矩阵，统计其数值分布，确定主体量化的scale。
- 主体量化：按目标位宽（1-bit或2-bit）量化，得到W_main。
- 计算残差：
W_residual = W - dequantize(W_main)。 - 残差量化：对残差按4-bit量化，得到W_res_q。
- 存储：把W_main和W_res_q紧凑打包。
这里有个细节值得说：主体量化的scale选择会直接影响残差的能量分布。如果scale选得太大，主体量化误差大，残差能量就大，残差位宽的压力就大；scale选得太小，主体量化会饱和，同样出问题。实践中通常用最小化残差能量的准则来搜scale，比单纯用min-max要稳。
4.2 推理时的数据流
推理时，每一层的计算变成：
output = matmul(dequant(W_main), x) + matmul(dequant(W_res), x)但如前所述，这两次matmul要融合。融合后的伪代码大致是：
# 伪代码示意，非实际可运行代码 for each output tile: acc = 0 for each input chunk: w_main_chunk = load_packed_1bit(...) w_res_chunk = load_packed_4bit(...) acc += dequant_and_dot(w_main_chunk, x_chunk) acc += dequant_and_dot(w_res_chunk, x_chunk) store(acc)关键点在于load_packed_1bit和load_packed_4bit要尽量合并访存，以及dequant_and_dot要充分利用硬件的位操作指令。
4.3 精度验证不能只看困惑度
部署量化模型时，很多人只看困惑度（perplexity）就下结论。但我的经验是，困惑度对低位宽量化的敏感度不够，有些模型困惑度看着还行，实际生成质量已经崩了。建议至少加两类验证：
- 下游任务准确率：在几个代表性任务上跑一遍，看准确率掉多少。
- 生成样本人工检查：随机抽一批生成结果，人工看有没有明显的重复、乱码、逻辑断裂。
特别是1-bit这种极端场景，困惑度可能只掉几个点，但生成质量可能已经不可用了。分离量化的32.5个点提升，往往体现在下游任务上比困惑度上更明显。
4.4 不同硬件上的表现差异
分离量化的加速效果和硬件强相关。在支持低位宽矩阵乘指令的硬件上，主体部分的计算可以直接用硬件指令加速，收益最大。在不支持的硬件上，主体部分要靠软件模拟，加速比会打折扣。
我实测的一个经验规律是：硬件对1-bit/2-bit的原生支持程度，决定了分离量化能拿到多少理论加速。如果硬件完全不支持，那分离量化主要靠带宽节省来提速，加速比大概在1.3到1.5倍之间；如果硬件有原生支持，冲到1.7倍以上是可能的。
5. 那些文档里不会写的坑与调优经验
5.1 残差不是越小越好
直觉上残差能量越小越好，但实际调优中发现，残差能量过小反而可能导致精度不稳定。原因是残差太小的话，4-bit量化后的残差本身误差占比就大了，补偿效果反而差。比较稳的做法是让残差能量占原权重的5%到15%之间，这个区间内残差量化误差和补偿效果比较平衡。
5.2 层间敏感度差异比想象中大
不是所有层都适合分离量化。实测下来，FFN的中间层和注意力输出投影对量化最敏感，这些层用分离量化收益最大；而embedding层和最后的输出层，本身数值分布就比较特殊，强行分离量化可能得不偿失。建议做一次逐层敏感度分析，只对敏感层启用分离量化，不敏感的层直接用普通量化。
5.3 批处理下的性能波动
分离量化在batch size=1时加速最明显，因为这时候纯带宽瓶颈。但随着batch size增大，计算逐渐变成瓶颈，加速比会下降。如果你的场景是大batch推理，需要重新评估收益。我的测试里，batch size从1增到8，加速比大概从1.78倍降到1.4倍左右。
5.4 量化感知微调的必要性
如果条件允许，在分离量化后做一轮轻量的量化感知微调，精度能再拉回来一截。特别是1-bit场景，微调几乎是必须的。微调时要注意，主体部分和残差部分的学习率要分开设，主体部分通常要更小的学习率，避免破坏已经量化好的结构。
6. 这套技术适合谁，以及怎么开始试
分离量化不是万能药，它有明确的适用边界。最适合的场景是：显存极度受限、必须把模型压到极低位宽、且对推理延迟敏感。比如边缘设备部署、单卡跑大模型、或者需要同时加载多个模型的场景。如果你的场景本身显存充裕，或者对精度要求极高不能有任何损失，那这套技术的性价比就不高。
想上手试的话，我的建议是从2-bit主体+4-bit残差开始，这个组合的精度损失相对可控，调优空间也大。跑通之后再往1-bit压，逐步感受精度和速度的权衡。整个链路里，权重分解和kernel融合是最花时间的两个环节，前者决定精度上限，后者决定速度上限，两者都要认真对待。
最后分享一个我自己的体会：量化这件事，没有免费的午餐，但有聪明的取舍。分离量化的聪明之处在于，它没有试图消除量化误差，而是把误差重新分配到了对精度影响最小的地方。理解了这一点，很多调优决策就顺理成章了。
