官方文档
https://github.com/ggml-org/llama.cpp使用windows的编译exe
下载编译的文件
https://github.com/ggml-org/llama.cpp/releases有GPU下载带cuda的
使用命令行工具llama-cli
解压文件后启动终端
输入以下查看可用的命令
llama-cli-h启动模型
llama-cli.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf-ngl100-m指定模型位置，如果模型很大有多个gguf切片，只需要给出一个剩下的会自动索引-ngl指定模型加载到GPU的层数
直接测试对话
测试性能llama-bench
使用llama-bench.exe工具测试此电脑的性能
llama-bench.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf-ngl100输入512token的速度，和输出128token的速度
启动模型服务llama-server
llama-server.exe-mC:\xudawu\development\20260226_llamacpp_models\unsloth\Qwen3-4B-Thinking-2507-GGUF\Qwen3-4B-Thinking-2507-Q4_K_M.gguf --ctx-size16384--host0.0.0.0--port8080--ctx-size上下文长度，不设置则默认为0，从模型配置中加载上下文长度--port端口，默认为8080-a指定模型服务启动的名字，不设置则默认使用-m指定的文件名
启动成功
启动webui
进入指定的网址进入llama自带的web界面
启动多模态模型服务
下载视觉投影模型mmproj-BF16.gguf
启动模型服务
llama-server.exe-mmodels/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-Q4_K_M.gguf--mmprojmodels/Qwen3.5-35B-A3B-GGUF/mmproj-BF16.gguf --ctx-size32768--host0.0.0.0--port8080--mmproj models/Qwen3.5-35B-A3B-GGUF/mmproj-BF16.gguf指定multimodal projector的位置
获得所有模型
启动服务并指定模型文件夹地址
llama-server.exe --models-dir C:\xudawu\development\20260226_llamacpp_models\unsloth --sleep-idle-seconds180
通过get请求可以获得可用模型
以下参数在服务器空闲多少秒时卸载模型
--sleep-idle-seconds推荐创建一个bat文件方便一键启动
bat文件内容如下
文件名1a_start_llama_server.bat
llama-server.exe --models-dir../../models --ctx-size65536--host127.0.0.1--port8080--ctx-size 65536设置模型上下文长度为65536token--models-dir ../../models使用当前目录的上两级目录中的models文件夹作为模型文件夹其余参数不设置由llama.cpp进行自适应调整
官方文档
https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md使用docker
官方教程
https://github.com/ggml-org/llama.cpp/blob/master/docs/docker.md选择这个镜像
启动容器服务
启动单个模型
dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:server-cuda-m/models/Qwen3.5-35B-A3B-Q4_K_M.gguf --ctx-size32768--host0.0.0.0--port8080推荐使用--ctx-size 32768设置固定上下文长度
而使用-fitc 32768设置最小上下文长度，启动模型时会自动检测可用显存然后拓展上下文长度，会增加显存占用和减慢模型首次启动速度
启动服务，模型按需加载
dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models" ghcr.io/ggml-org/llama.cpp:server-cuda --models-dir /models --sleep-idle-seconds1800--ctx-size32768--host0.0.0.0--port8080如果使用的是full-cuda的镜像
启动单个模型
dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:full-cuda--server-m/models/Qwen3.5-35B-A3B-Q4_K_M.gguf --ctx-size32768--host0.0.0.0--port8080启动服务，模型按需加载
dockerrun--namellama-server--gpusall-p8080:8080-vC:/xudawu/development/docker_data/llama_cpp/models:/models ghcr.io/ggml-org/llama.cpp:full-cuda--server--models-dir /models --sleep-idle-seconds1800--ctx-size32768--host0.0.0.0--port8080加载模型
POST /models/load卸载模型
POST /models/unload
