nanoMuse双手（Hands）实战：让AI像人一样操作手机屏幕，12306抢票、微信自动回消息全攻略-育师

【免费下载链接】nanoMuse

nanoMuse: an open-source personal agent for every device you own. One agent with a name and a look of its own that does things, keeps working while the app is closed, remembers you, and asks before anything you cannot undo. On Android, iPhone and iPad, Windows / macOS / Linux and in the browser; your phone's screen and your computer as its hands.

项目地址：https://gitcode.com/gh_mirrors/na/nanoMuse

点击查看免费下载

nanoMuse 是一个跨 Android、iPhone、桌面和浏览器的开源个人 AI Agent（Personal Agent），而它最"上手"的能力就是Hands（双手）：智能体直接看手机屏幕，像人一样点击、输入、滑动，帮你查 12306 火车票、自动回复微信消息、在支付宝里查账单。这套能力默认关闭，打开后智能体多出phone_screen、phone_act、phone_task三个工具，每一步动作都经过内置哨兵（Sentinel）审查——付款、发送、删除这类不可撤销的操作，一定会先停下来问你。本文带你从打开开关到跑通两大经典场景，全程只需要三处设置。

一、"双手"到底能做什么：看屏幕 + 动手指

nanoMuse 的操作器把手机屏幕当成一张图片来看：截一张图，模型看图后决定下一步（点哪里、输什么字、往哪滑），执行后再截图确认，循环直到任务完成。它不依赖任何 App 的私有接口，所以任何一个 App 都能操作——12306、微信、支付宝、美团，多装一个 App 不需要任何额外开发。

核心是三个工具（源码见 nanomuse/tools/phone.py）：

工具	作用	风险等级
`phone_screen`	看当前屏幕：一张截图 + App 名、屏幕尺寸	安全（但读取隐私数据）
`phone_act`	做单个动作：`tap`点击、`swipe`滑动、`type`输入、`open_app`打开 App、`hand_over`交还手机	中等，敏感操作升级为"每次必问"
`phone_task`	把一整个目标交给 GUI 操作器：看、做、再看，循环直到完成	按各步单独评估

操作器的完整循环（看 → 决定 → 做）写在 nanomuse/phone/operator.py，模型按 999×999 的网格报坐标，运行时换算成手机真实像素——"图上的点就是屏幕上的点"。

二、三步上手：打开手机 GUI 操作开关

第 1 步：打开 GUI 开关

在 App 里走「连接 → 手机」拨开开关，或者在配置里加一段（参考 config/config.example.toml）：

[gui] enabled = true

开关打开前，手机上的任何东西都到不了模型那里；打开后智能体才"长出双手"。

第 2 步：连接手机（Android）

需要Android 11 及以上，并用 App 自带的无障碍服务驱动屏幕（截图 + 手势）：

在「连接 → 手机 → 这台手机 → 打开无障碍设置」中，找到nanoMuse并打开；
Android 13+ 从下载渠道安装时开关可能变灰，需先在应用设置里点「⋮ → 允许受限设置」；
手机系统更新、激进省电之后可能自动关掉服务——「手机」卡片会实时显示"就绪"或"还没有"，先看这里。

第 3 步：选一个"能看图"的手模型

看屏幕意味着每一步都是一次带图片的模型调用，所以"手"可以单独用一个支持图像的模型（和聊天模型分开配置）。中国大陆默认推荐阿里云百炼的qwen3.8-27b，其他地区用 OpenRouter 同名模型。留空"自动"时，系统会按"对话模型自带 → 云端中继 → 聊天模型本身"的顺序自动选一个能看图的。

三、场景 1：12306 查票与"抢票"，停在付款页

内置技能train-tickets（nanomuse/skills/builtin/train-tickets/SKILL.md）把 12306 拆成"两双手"：

查询用手快的：优先走 12306 的 MCP 服务器读公开时刻表和余票——不用登录、不碰屏幕、一次调用出结果；没有配置 MCP 时，才降级到手机屏幕上用phone_task打开铁路12306 App 查。
下单只能在屏幕上：12306 没有可供个人智能体调用的下单 API，所以订票走手机屏幕。

典型流程：

你说"帮我查明天北京到上海最早的高铁"，智能体打开 12306 App，设好出发地、目的地、日期，点「查询车票」，筛选「只看高铁」，把车次、时间、价格、余票读给你；
你选定车次并说"订这个"，它用phone_task选好座位和乘客，停在"提交订单"页，把车次、乘客、总价复述给你确认；
你点头后，它点「提交订单」——此时 Sentinel 会再弹出一次审批，这是设计好的；
支付永远由你本人完成：智能体明确"已提交，等付款"，然后就停手。

规则里还有一条铁律：绝不输入密码、验证码或身份证号，遇到就直接把手机交还给你。

四、场景 2：微信自动回消息，发送前必确认

聊天 App 没有 API，所以读写消息全靠屏幕。内置技能phone-messages（nanomuse/skills/builtin/phone-messages/SKILL.md）定义了标准流程：

先读后回：即使你已说清要回什么，它也会先打开那段聊天读最后几条——最后一条消息决定语气；
按你的口吻起草：智能体调用记忆（recall）回想你的写作习惯，给你最多三个版本的草稿；
文字必须逐字确认："回吧"不算授权，草稿被你确认后才会输入；
发送按钮前必审批：phone_task打开聊天、点输入框、输入你确认的文字，然后在「发送」按钮前停下——phone_act的label命中敏感词"发送"，Sentinel 每次都会问你，且批准只算这一次，下一条消息还要再问。

技能同时划了禁区：不删消息、不撤回、不转发、不转红包，这些一律描述屏幕后由你亲自来做。

五、为什么放心用：哨兵的四道安全设计

这是 nanoMuse 双手和"无脑自动化工具"的根本区别（详见 docs/zh/gui.md）：

敏感词表：nanomuse/config.py 里的默认词表包含"确认支付""提交订单""转账""发送""删除"等。点击目标的label命中即升级为 SENSITIVE，永远逐次询问，任何长期授权都覆盖不了；词表刻意具体，点"支付宝"图标不会误判为付款。
hand_over 交接：密码、验证码、卡号、付款确认，智能体主动把手机交还给你（hand_over），你做完点"完成"，它重新截图接着干。
物理急停：任务运行时屏幕顶部有"胶囊"显示当前步骤，点一下停止按钮，进行中的动作立即失败，智能体停手并问你接下来做什么。
全程留痕：每次phone_task写一份轨迹（每步的截图、想法、动作、延迟），用nanomuse phone traces列表、nanomuse phone trace <id> -o trace.html渲染成网页，每一步点击都画在它当时看到的那一屏上，可事后逐帧回看。

六、常见问题

Q：手机突然不响应了？先看「手机」卡片是不是显示"还没有"——无障碍服务被系统更新了或电池优化关掉了，重新打开即可。

Q：为什么"发送"每次都要我点确认？故意的。屏幕操作没有元素树背书，哨兵依据的是模型自报的label，所以付款/发送类动作不做信任累积——一次审批只算一次，宁可多问。

Q：Wayland / 老系统上电脑端双手能用吗？电脑侧双手（computer_act）支持 X11（xdotool）和 macOS/Windows（pyautogui、桌面版操作器），Wayland 会话下没有全局光标，会直接说明原因而不是假装工作，见 nanomuse/computer/hands.py。

Q：查个距离为什么要打开 12306？它不会。nanoMuse 有"能力阶梯"：技能/API → 带登录态抓取 → 内置浏览器 → 手机屏幕。屏幕是最后一级，只有"只住在 App 里"的事（真实余票、一段微信聊天、一次付款）才轮到双手。