1. 结果展示
最近这几周都在折腾本地部署大模型的事，最近ClaudCode、OpenClaw很火。我也想使用一下。一般像OpenClaw、WorkBuddy这类的软件提供一个界面环境，在后端需要使用云服务商提供的API服务，云服务向我们收取服务费。因为我自己也在咸鱼上为大家提供“高性能计算服务”其中便包括深度学习的环境，所以我向大家展示一下用Workbuddy接入我的本地大模型进行年中总结PPT撰写的情况。
2. 本地主机及模型配置
| 配置类型 | 配置名称 |
|---|---|
| 显卡 | NVIDIA Tesla V10016G*2 |
| 显卡驱动版本 | 580.173 |
| CUDA版本 | cuda 12.4 |
| 推理引擎 | llama.cpp |
| 模型型号 | Qwen3.6-27B-Omnimerge-v4-MTP-Q5_K_M |
实测运行Q5_K_M模型可达到31tokens/s
3. WorkBuddy设置
- 助理->设置->添加模型->设置提供商、接口地址、ApiKey和模型名称->保存
- 对话框选自定义模型;
上面的接口地址、API_KEY以及模型名称在使用llama.cpp启动模型时指定，如下图所示
接口地址由http://0.0.0.0:8080指定，一般指定的http://127.0.0.1:8080/v1也表示本地的8080端口，–api-key 可以指定api,模型名称便对应着.gguf的文件名。
4. 本地大模型接入踩的坑
因为上下文长度的限制，本地大模型在使用Workbuddy时会遇到WorkBuddy输入上下文超限的问题，从而导致服务中止。根本的解决办法是在WorkBuddy中限制输入的字节数使得其小于设置的上下文大小。
另外在生成整个PPT之后我再在第5页让AI帮我找了两张图片，分别是文心一言和Qwen的图片，在让其插入图片时读取整个PPT文件夹也出现了上下文超限的问题。通过向WorkBuddy注入下面的提示词，通过分段降低上下文长度解决上下文超限问题。
继续完成未完成的任务,在读取PPT之前分段读取,请按以下步骤操作： 分段读取：将PPT内容按页面拆分为独立单元。 定位修改：只处理我指定的页面或章节。例如，修改第5页的内容。 分段保存：修改完成后，将修改后的内容按原页面结构保存。5.咸鱼学习体验链接
大家如果想体验这种模型的配置过程，或者想要更具性价比的API的朋友可以点击这个链接进行远程体验https://m.tb.cn/h.8WQH9k8?tk=9WfmguBUoHg tG-#22>lD
