【AI大模型】量化部署：GPTQ/AWQ量化模型部署指南（含实操代码）
在AI大模型本地化、私有化落地场景中，显存不足、硬件门槛高、推理成本昂贵是绝大多数开发者的核心痛点。7B、13B原生FP16模型显存占用大，低配消费级显卡无法直接部署，34B、70B超大模型更是需要高端算力集群支撑，极大限制了大模型的普及落地。
模型量化是解决硬件门槛、降低推理成本的核心工业级方案，通过压缩模型权重精度，在几乎不损失生成效果的前提下，大幅降低显存占用、提升推理速度。当前工业级主流量化方案以GPTQ、AWQ为主，二者适配场景、性能损耗、推理速度各有差异，也是vLLM、Text-Generation-WebUI等部署框架的默认支持量化格式。
本文作为【AI大模型】微调系列第119篇专项教程，从零拆解GPTQ与AWQ量化核心原理、优劣差异、量化实操、本地部署、接口封装、性能调优，提供全套可落地代码，帮助开发者根据硬件条件精准选型量化方案，实现低配显卡高性能部署，全文控制在6000字以内。
一、大模型量化核心认知
大模型量化本质是模型权重精度压缩，原生模型多采用FP16/BF16半精度存储，量化可将其压缩为INT8、INT4精度，大幅降低权重体积与显存占用，同时通过算法补偿精度损失，保证业务可用效果。
1.1 量化核心价值
1. 降低硬件门槛：7B模型4bit量化后可在6G/8G显卡流畅部署，13B模型可在12G/16G显卡运行；
2. 提升推理速度：权重体积缩小，内存读写开销降低，推理吞
