折腾一圈，我为什么还是回到了 llama.cpp —— 本地大模型安装、使用与调优实战

目录

本地大模型

选模型与量化

使用

调优（最值钱的部分）

基础性能基线测试

数据解读

最大Token吞吐专项测试

最长上下文极限测试

实战配置（按显存）

常见坑

Agent测试

结语

本地大模型

使用过Ollama, Shimmy‌，FreeToken等等知名不知名的各系列引擎，不得不说对于消费级显卡，本地跑大模型多数还是"能跑"，离能用还是有段差距，FreeToken不吃显存吃内存试过好几个最多跑个gpt-oss-20b，折腾了一圈，还是决定回归llama.cpp

ollama run 一行命令就跑起来了，易用性没得说。Shimmy、FreeToken 等"更轻更快"的封装。 名头一个比一个唬人，实际体感在我这个不“加装”的游戏本面前也就那样。绕一圈想明白了：想最终调优时，调的都是 llama.cpp 的东西。既然如此不如直接站在源头，llama.cpp 是底层引擎，允许你手动控制每一个参数，适合追求极致性能或特殊需求的用户。

git地址：

https://github.com/ggml-org/llama.cpp

下载预编译包(省事)</