llama.cpp 混合推理 GPU 层数分配指南：24GB 显存跑 70B 大模型-育师

llama.cpp 混合推理 GPU 层数分配指南：24GB 显存跑 70B 大模型

【免费下载链接】ik_llama.cppllama.cpp fork with additional SOTA quants and improved performance项目地址: https://gitcode.com/GitHub_Trending/ik/ik_llama.cpp

ik_llama.cpp 是 llama.cpp 的性能增强分支，其中 llama.cpp GPU CPU 混合推理是它的强项：当整张大模型塞不进显存时，把一部分权重放在显存、其余放在内存，让 70B 级别的量化模型在你的消费级显卡上依然能出字。

🧳 24GB 显存跑 70B：为什么绕不开混合推理

假设你要跑一个 70B 模型的 4bit 量化版：权重文件约 40GB，加上 KV cache 和计算缓冲，远超 24GB 显存。此时你只有两条路：换更大显存的机器，或者做混合推理。

ik_llama.cpp 的做法是：调度器按层把张量拆开，一部分放到显存（VRAM），剩余张量留在系统内存，推理时数据在两者之间按需搬运。你不需要自己搬，只要决定"放多少层下去"。仓库文档 docs/parameters.md 的 GPU Offload 一节给出了完整的手动调参路径。

🧠 原理速览：谁决定张量去哪

把张量分配想象成打包行李：行李箱（显存）空间固定，你得决定哪些大件必须托运、哪些随身带。

背后干活的组件是ggml_backend_sched，可以理解为调度器：它拿到模型的完整计算图后，逐个张量决定在 CPU 还是 GPU 上执行，并在需要时安排跨设备拷贝。

当调度器拿不准、或者你有明确偏好时，ggml_backend_sched_set_tensor_backend提供了"点名"机制——把某个张量钉死在指定后端：

// 把指定张量钉到指定后端（CPU 或 GPU） ggml_backend_sched_set_tensor_backend(sched, tensor, backend); // 反向查询：这个张量当前落在哪个后端 ggml_backend_t b = ggml_backend_sched_get_tensor_backend(sched, tensor);

接口声明在 ggml/include/ggml-backend.h，模型加载和构建计算图的代码（src/llama.cpp、src/llama-build-context.cpp）里能看到大量调用：KV cache 分片、嵌入层、临时缓冲都可以被显式指定后端。

⌨️ 混合推理命令速查

日常调参基本只用得到下面这几个参数：

最常用的一条启动命令：

# 前 24 层下放 GPU，其余 CPU，上下文 4096 ./llama-server -m model.gguf --gpu-layers 24 --ctx-size 4096 # 或者交给自动填充算法 ./llama-server -m model.gguf --fit --fit-margin 1024

📐 GPU 层数怎么分：按硬件档次调参

MoE 模型有个额外技巧：专家（exps）张量平时只有 2–5% 会被激活，把它们留在内存往往比塞进显存更划算，-ot "\.ffn_.*_exps\.=CPU"这种正则覆盖就是干这个的。不确定模型层数时，先跑python3 gguf-py/scripts/gguf_dump.py 你的模型.gguf数一下blk.n张量再定层数。

🔍 验证与排障：张量真的落到指定后端了吗

别只看命令行参数，看启动日志里这两类行：

llama_model_load: offloaded 24/48 layers to GPU llama_kv_cache_init: GPU KV buffer size = 1920.00 MiB llama_kv_cache_init: CPU KV buffer size = 512.00 MiB

offloaded N/M layers to GPU直接告诉你实际下放的层数；KV buffer 行按后端分别打印，GPU 和 CPU 各占多少一目了然。想加载前先预判显存占用，加--dry-run：跳过实际读盘，但照常报告内存用量，很适合在大模型上试参数。

常见问题各给一条对策：

加载即 OOM：先--dry-run看缺口，再降--gpu-layers或加--no-kv-offload把 KV 挪回内存。
实际下放层数少于预期：日志里 M（可下放总层数）比你想的小，用gguf_dump.py核对模型真实层数，并检查-ot正则是否误伤。
速度不及预期：TG（token 生成）慢说明 CPU 层太多，往上调--gpu-layers或直接--fit；PP（提示词处理）慢且你开了--no-kv-offload，去掉它让 KV 回显存。