本地跑通SWE-bench级编码任务：Ornith-1.5-122B-GGUF终端编码Agent工作流拆解

想让Ornith-1.5-122B-GGUF在本地终端跑起一个能独立修 bug、读懂大仓库的编码 Agent，却不知从哪下手？本文用一份"选量化 → 起服务 → 接 CLI"的完整工作流，帮你把这台 122B 推理模型在单卡上跑通，稳定处理 SWE-bench 级编码任务，且不依赖任何外部 API。

为什么 122B 能在本地跑？三个关键设计

Ornith-1.5-122B 是 Ornith-1.5 家族里"最轻量"的一员，却具备旗舰级的编码能力。它能在本地落地，靠的是三点：

• MoE（混合专家）架构：总参数 122B，但每次推理只激活一部分专家，单张 80GB 卡即可服务，速度远比同尺寸的稠密模型友好。
• GGUF 量化：本仓库提供从BF16到UD-IQ1_M的全档位 Unsloth Dynamic 量化，显存越小的机器越能挑低比特版本跑起来。
• 原生推理 + 工具调用：它默认输出 `

> 推理链，并以标准 OpenAI 风格返回tool_calls`，天生适配各类编码 CLI，无需额外适配层。

🐦 参考 README.md 中的模型说明与基准数据。

编码能力有多强？看基准数据

在多个公开编码基准上，122B 版本表现稳定，足以支撑"终端里独立完成一个 Issue"这类任务：

SWE-bench 与 TerminalBench 正是"读懂仓库 → 定位问题 → 改代码 → 跑测试"的真实工程任务，这也是本工作流的核心目标。

第一步：选对量化版本（决定能不能跑得动）

仓库按量化档位分目录存放，多分片模型只要加载第一个分片，llama.cpp 会自动按命名规则读取后续分片。以下是各档位大致体积（按分片求和）：

怎么选：显存越大越选高比特。80GB 优先Q8_0/UD-Q6_K_XL；24–32GB 建议UD-Q4_K_XL或UD-Q3_K_XL并允许部分层卸载到内存；显存更小就上UD-Q2_K_XL或UD-IQ1_M。Unsloth 量化还借助 imatrix_unsloth.gguf_file 做校准，进一步压低失真。

💡 需要多模态时，另外加载视觉投影文件 mmproj-BF16.gguf。

第二步：一行命令起本地服务

用 llama.cpp 直接加载本地 GGUF，起一个 OpenAI 兼容接口（以 Q4_K_XL 为例）：

llama-server \ -m UD-Q4_K_XL/Ornith-1.5-122B-UD-Q4_K_XL-00001-of-00003.gguf \ --port 8000 -c 262144 -ngl 99 --jinja

几个关键参数：

• -m指向第一个分片，其余分片自动读取；
• -c 262144开启 262K 上下文，长任务不吃力；
• -ngl 99把全部层卸载到 GPU；
• --jinja使用官方聊天模板，开启推理解析与工具调用解析的前提。

服务起来后，它会监听http://localhost:8000/v1/chat/completions，任何 OpenAI 兼容客户端都能直接对话。

第三步：接入终端编码 CLI（Agent 工作流）

模型服务起来后，真正的"Agent 工作流"就交给编码 CLI。你只需把它指向本地端点：

export OPENAI_BASE_URL="http://localhost:8000/v1" export OPENAI_API_KEY="EMPTY"

然后按需选择框架：

• Ollama：ollama run ornith-1.5:122b，开箱即用。
• Hermes / OpenClaw：设置上面的环境变量与MODEL=ornith-ai/Ornith-1.5-122B即可接管。
• OpenCode：在~/.config/opencode/opencode.json里把本地端点注册为 provider，随后运行opencode。

工作流闭环即：你抛出 Issue → CLI 读取仓库 → 模型推理定位问题 → 调用工具改代码 → 运行测试 → 回传结果。全程本地，代码不出机器。

第四步：调对采样参数（推理模型的细节）

Ornith 是推理模型，参数选错会明显影响编码稳定性。官方给了两套推荐：

跑 SWE-bench 类任务建议用第二行（temperature=0.6），让代码更确定、更少复读。

可选：YaRN 把上下文扩到 ~1M

若单个任务的输入输出合计超过 262K token，可用内置的 YaRN 把窗口扩到约 1M token（factor: 4.0）。注意开源推理框架是静态缩放，普通长度请求反而略受影响——只在确实需要超长上下文时才开启，且按目标窗口设置factor（如 524K 用2.0）。

上手自检清单

• ✅ 已按显存选定量化档位，并下载对应该目录的全部 GGUF 分片；
• ✅llama-server已带--jinja启动，/v1/chat/completions可正常返回；
• ✅ 编码 CLI 已设置OPENAI_BASE_URL与OPENAI_API_KEY=EMPTY；
• ✅ 精确编码任务使用temperature=0.6；
• ✅ 长任务按需开启 YaRN。

按这套"选量化 → 起服务 → 接 CLI → 调参数"的流程，你就能在本地终端稳定跑通 SWE-bench 级编码任务——数据全程留在自己的机器上。

完整参数与部署示例详见 README.md。