想把开源模型跑在自己机器上，绕不开量化这个话题：HuggingFace 上的模型动辄几十 GB，量化版只有几分之一，效果损失多少？GGUF、GPTQ、AWQ 这些名词是什么关系？这篇把量化选型讲成一个人话版决策指南。
量化的本质：用更少的比特存权重
大模型的参数默认用 16 位浮点数存储。量化的本质是把每个参数压缩到更少的比特：8 位（Q8）体积减半，4 位（Q4）体积只要四分之一。压缩的方式各有讲究，但共同逻辑是「用有限的数据类型逼近原始数值分布」，把最重要的信息保留下来。
代价是精度损失：7B 模型 Q4 量化后，各项基准平均掉一到三个百分点。日常对话、文本摘要、代码补全这些场景几乎无感；精细推理、数学、多语言极端场景，差异可感知。
常见格式速览
GGUF 是 Ollama 和 llama.cpp 生态的格式，CPU 和 GPU 都能跑，笔记本友好，是个人部署的首选。Q4_K_M 这类混合量化是社区公认的平衡点。
GPTQ 和 AWQ 是 GPU 推理框架（vLLM、TGI）主流的格式，为高并发 GPU 服务优化。AWQ 对激活分布的适应性更好，同比特下质量略优，是当前 GPU 部署的推荐项。
选型的三个实际问题
显存怎么算？量化后显存需求 ≈ 参数量 × 每参数比特数 ÷ 8，再加上上下文缓存的额外开销。7B 的 Q4 大约 4 到 5GB 起步，留出上下文和并发的余量，8GB 显存是舒适线。
速度会快吗？量化模型体积小，加载快、显存占用低，单位时间吞吐反而可能高于原模型——尤其在显存刚好卡线、原模型需要 offload 的场景，Q4 全显存跑比 16 位半显存跑快得多。
掉点能接受吗？拿你自己的业务测试题（不是通用基准）跑量化前后对比，掉点在业务可接受范围就选更低的比特。通用基准掉一分，不代表你的场景能感知。
一句话路线
个人玩：Ollama 加 GGUF Q4_K_M。生产服务：vLLM 加 AWQ，按并发压测选型。效果敏感：先跑业务评测集再定比特数，别信通用榜单。
)
