TuriX config.json配置详解:如何为brain、actor、memory、planner四个模型正确搭配LLM
【免费下载链接】TuriX-CUAThis is the official website for TuriX Computer-use-Agent项目地址: https://gitcode.com/gh_mirrors/tu/TuriX-CUA
TuriX 是一款开源的 AI 桌面操作智能体(Computer-use-Agent),它让大模型直接在你的电脑上点击、输入、开应用。TuriX 采用"多模型分工"架构,所有模型都通过一个 examples/config.json 文件配置:只要改brain_llm、actor_llm、memory_llm、planner_llm四段 JSON,就能为每个角色自由搭配 LLM,无需改一行代码。
先看懂:四个模型各自负责什么
TuriX 把"用电脑"这件事拆成了四个角色,每个角色独立配置一个 LLM:
| 角色 | 配置项 | 职责 | 对模型的要求 |
|---|---|---|---|
| 🧠brain(大脑) | brain_llm | 看截图、评估上一步成败、为每一步生成目标 | 视觉理解强、输出格式稳定,建议支持思考模式 |
| ⚡actor(执行者) | actor_llm | 把目标翻译成点击、输入、快捷键等具体动作 | 视觉定位准、响应快 |
| 📝memory(记忆) | memory_llm | 压缩、总结历史步骤,控制记忆 token 占用 | 纯文本摘要能力好即可,要求最低 |
| 🗺️planner(规划者) | planner_llm | 把任务拆成步骤级计划、挑选相关 Skills(可选) | 长文本规划能力强 |
四个角色的提示词定义在 src/agent/prompts.py 中,主流程则位于 src/agent/service.py。注意planner 是可选的:只有当agent.use_plan设为true时才需要它(见 src/agent/planner_service.py)。
config.json 配置总览
四个模型使用完全相同结构的配置块,核心字段只有 4 个:
"brain_llm": { "provider": "turix", "model_name": "turix-brain", "api_key": "YOUR_API_KEY", "base_url": "https://your-endpoint/v1" }, "actor_llm": { "provider": "...", "model_name": "...", "api_key": "...", "base_url": "..." }, "memory_llm": { "provider": "...", "model_name": "...", "api_key": "...", "base_url": "..." }, "planner_llm":{ "provider": "...", "model_name": "...", "api_key": "...", "base_url": "..." }provider:决定用哪种客户端接入,目前内置turix(OpenAI 兼容)、gpt、google_flash、google_pro、anthropic、deepseek、minimax、kimi、ollama等,定义在 examples/main.py 的build_llm函数中model_name/api_key/base_url:模型名称、密钥与你的模型服务地址- 除
provider、model_name外还支持temperature、max_tokens、timeout、model_kwargs等可选字段
如果想接入其他模型,只需在main.py中按同样方式扩展一个新的 provider 分支即可。
如何为每个角色正确搭配 LLM
brain:选最强的视觉模型
brain 每一步都要分析 1~2 张截图,判断"上一步成功了吗?下一步该干什么",是整个 Agent 成败的关键。给它配置视觉能力最强的模型,并通过顶层字段brain_enable_thinking(见 examples/main.py)开启思考模式,复杂任务会更稳。
actor:选定位准、响应快的视觉模型
actor 负责把 brain 的目标落到 0~1000 归一化坐标的点击和输入上,对坐标定位精度要求高。actor 默认关闭思考模式(固定enable_thinking=False),所以不必选"想得多"的模型,快而准更重要。
memory:性价比之选
memory 只做一件事:把历史步骤压缩成结构化摘要(提示词见 src/agent/prompts.py)。纯文本模型即可胜任,可以复用 brain 的模型或换一个便宜的小模型来省成本。与之相关的memory_budget_tokens、summary_memory_budget_tokens控制记忆占用上限。
planner:开启计划才需要配置
planner 只在agent.use_plan: true时加载(examples/main.py),负责生成步骤级计划并挑选 Skills,且默认开启思考模式。如果你的任务较简单、关闭了 planning,这一段可以不填也不报错。
💡省事搭配:四个角色填同一个视觉大模型也能跑;追求效果再按"brain 最强、actor 求快、memory 求省"的原则分别升级。
进阶:四个角色全部指向本地 Ollama
本地部署时,把四个provider都改为ollama,base_url指向本机 Ollama 服务地址,model_name写你拉取的视觉模型(如 llama3.2-vision)即可,api_key可省略。这样 brain、actor、memory、planner 全程离线运行,适合数据敏感的场景。
⚠️ 常见配置坑
- planner 没配又开了 planning——
use_plan: true时planner_llm必须填写,否则启动报错 - base_url 漏填——
turix/deepseek之外的部分 provider 会兜底默认地址,但turix与ollama缺失时行为不同,建议显式填写 - api_key 找不到—— 会自动回退读取环境变量
API_KEY或OPENAI_API_KEY - 任务描述含糊——
agent.task的清晰度直接影响成功率,写清应用名和具体目标
配置完成,一键运行
保存 examples/config.json 后执行:
python examples/main.pyAgent 会在.turix_tmp目录(由output_dir控制)中输出日志和 brain / actor / planner 的对话记录(save_brain_conversation_path等字段可自定义文件名),方便你回看每个角色的"思考过程",快速定位是哪个模型拖了后腿。
四段配置看懂了,你的 TuriX 就能换上最合适的"大脑",让桌面自动化又快又稳 🎉
【免费下载链接】TuriX-CUAThis is the official website for TuriX Computer-use-Agent项目地址: https://gitcode.com/gh_mirrors/tu/TuriX-CUA
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考