如何用 Cua 让 AI 安全操控 macOS:从零到计算机使用代理的完整路径
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
Cua 是一个开源的计算机使用代理(Computer-Use Agent)平台:在 Apple Silicon 上启动 macOS / Linux 虚拟机,让 AI 在沙盒里"看屏幕、点鼠标、敲键盘",性能接近原生。
为什么需要它:AI 直接操控桌面的三个坑
坑一:没有安全边界。让模型直接点你的真机,一次误点删除就不可挽回。你需要的是随时可丢弃的沙盒。
坑二:虚拟化损耗大。传统虚拟机启动慢、拖影卡,开发调试很痛苦,根本谈不上"可用"。
坑三:操控接口太碎。截图、鼠标、键盘、剪贴板要各写一套调用,再自己拼成"看见—思考—行动"的闭环,工程量不小。
Cua 的解法就是三件事叠在一起:接近原生的虚拟化、统一的操控接口、驱动这一切的代理框架。
它是什么:虚拟化、接口、代理三层能力
Cua 是一个三层结构:底层负责开机,中间层提供"手和眼",顶层跑代理。
| 层 | 职责 | 适合谁 |
|---|---|---|
| 虚拟化层 | 在 Apple Silicon 上跑 macOS / Linux 虚拟机,性能最高可达原生 90% | 需要隔离桌面的人 |
| 接口层(CUI) | 截图、鼠标、键盘、剪贴板,一套异步 API | 自己写操控逻辑的人 |
| 代理层(CUA) | 把大模型接入接口层,自主完成看—想—做闭环 | 想要成品代理的人 |
⚡ 从零跑起来:两条路径
路径 A:一行命令安装 Lume CLI,只拿虚拟机
如果你暂时不需要 AI,只要一台隔离的 macOS 机器,这一步就能满足。安装脚本会把 Lume 装进你的用户目录,不需要 sudo:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)"装完后lume命令即可用:lume create建机、lume run启动,几分钟内得到一台带 SSH 的 macOS 桌面。源码见 libs/lume/。
路径 B:pip 装包加三段 Python,启动 ComputerAgent
需要 AI 完整跑任务时,先装上接口与代理两个包,让 Python 能导入全部核心依赖:
pip install cua-computer cua-agent[all]核心就是async with Computer(...)这一处:虚拟机随上下文自动起停,代理把任务跑完自动收尾:
import logging from cua.computer import Computer from cua.agent import ComputerAgent, AgentLoop, LLM, LLMProvider async with Computer(verbosity=logging.DEBUG) as computer: agent = ComputerAgent( computer=computer, loop=AgentLoop.OPENAI, model=LLM(provider=LLMProvider.OPENAI), ) async for result in agent.run("查找名为 trycua/cua 的 GitHub 仓库"): print(result)任务结束虚拟机自动清理,你的本地不留任何痕迹。
落地场景速写:两个可以直接抄的例子
场景一:AI-Gradio 多应用工作流。输入是一句自然语言任务(例如"在 GitHub 找到某仓库")。过程是代理打开浏览器检索、克隆代码、切到 VS Code 编辑、再进终端跑验证,全程无需你切换窗口。产出一条跨应用完成的任务链,每一步轨迹都留档可回放。
场景二:Notebook 里自动修 GitHub issue。输入是一个 issue 的缺陷描述。过程是代理在 Cursor 中读代码、定位问题、提交修改并运行测试。产出一个可通过测试的补丁,你只负责最后审阅。
生态组件地图:从底层到辅助的四层
仓库里的模块不是平铺的,而是分层的,按依赖关系从下往上看:
- 虚拟化层(地基):Lume —— macOS / Linux 虚拟机管理 CLI;PyLume —— 它的 Python 绑定,用代码管理机器。
- 接口层:Computer(CUI 框架),源码在 libs/python/computer/;Computer Server —— 服务器组件,为远程沙盒提供交互与代码执行能力。
- 代理层:Agent(CUA 框架),源码在 libs/python/agent/,驱动 Computer 跑代理循环。
- 辅助层:Core —— 各包共用的基础工具;SOM —— Set-of-Mark 视觉定位库,是代理"看清"界面元素的那双眼睛。
今天就先用路径 A 在你自己的 Mac 上跑通一台虚拟机。完整参数与参考手册见仓库内 docs/(官方文档链接占位)。
【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考