2026‑08‑17,豆包正式在手机 App 端开放绑定本地 Windows/macOS 电脑,实现手机下发指令远程调度本地 PC 执行任务。 该能力底层来自 6 月 24 日发布的工作任务(办公任务模式)Agent 能力,最初仅支持坐在电脑前给电脑下达指令;8 月 17 日更新完成跨端打通,把任务下发入口迁移到手机端豆包 App,实现 “人不在电脑旁,依然指挥本机干活”
该功能秉承着让AI 从 “回答问题” 走向 “完成任务”的目标,算是首个实现手机自然语言下达指令(用手指触碰模拟鼠标这种操作其实很多远程控制软件可以实现)操控电脑的面向大众的国内通用AI模型(QClaw可以做到)。 传统大模型只负责输出文字、给出方案;而工作任务模式是 AI Agent 智能体,接收目标后自动拆解多步流程,调用浏览器、读写本地文件、操作软件,最终产出文件、截图、数据结果直接回传给手机,不是投屏远控,不需要模拟鼠标滑动操作。
在额度限制方面,该功能是免费功能,但具有用5小时/7天双重滚动算力限制。需要注意的是该时间单位并非指豆包执行任务的时间,而是指时间窗内用户消耗的算力总和。因此5小时内高强度使用或7天总使用量超出算力池限制,便会进入一段“冷却时间”进行恢复。免费用户的算力池较小,而付费专业版用户则限度较大,但同样不能无限使用该功能。值得注意的是,遍历多个大文件查找归纳某种信息的操作是非常消耗算力额度的。
豆包的差异化便捷点:
- 一套账号打通手机 App+PC 客户端,下载安装登录、设备验证码绑定即可,零脚本部署;
- 不需要盯着电脑画面,通勤、外出开会时直接文字 / 语音发指令;
- 支持绑定多台本地电脑,可分别调用家庭电脑、工位电脑的本地文件;
- 内置独立虚拟桌面,AI 执行任务不会干扰本机正在使用的界面,任务后台静默跑。
以下是一些入门教学和使用体验部分:
安装及配置
正如前面提到的,只需要在PC和手机上安装好豆包软件,登录同样的账号即可,是非常用户友好的。需要注意的是,电脑端不能是网页版(云电脑),并且双端软件都需要更新到最新版(可以直接卸载重装)。
新版登录账号时会有这样的界面,直接把这两个勾选即可
错过了的话点这个手机遥控电脑就行,使用前一定确保电脑开机且打开并登录豆包
回到手机(一开始可能会有点问题,可以过段时间重启一下),到开始聊天的界面,点击工作,在第二个按钮处把“云电脑”改成自己的电脑,然后就可以尝试输入指令了。(用豆包记得把UQM关了,站的更高看的更远没错,但如果没有墙...梯子是不是会倒)第一次使用时手机端需要验证码
9月5日更新一下,我有两台电脑,确实有一台不太顺利,总结来看应该是没有密码的电脑需要设置一下windows账户密码(开机密码)然后授权豆包做虚拟桌面。另一台电脑似乎执行的时候就没有问这么多
具体使用项目及测试
桌面信息查找测试
首先我们可以通过询问桌面应用的方式检测是否完成了正确联机,问题如下:
“告诉我现在正在关联的电脑桌面都有什么软件”
嗯嗯没错
emmm...也没错
大家可能会发现,执行这种命令豆包并不需要关掉你现在打开的软件/网页,直接静默完成了,这就是我前面说的不影响被操控电脑的使用
现在我们让它生成一些东西
在桌面创建一些文件确定豆包的操控能力和权限,指令如下:
“请你在我的电脑桌面创建一个文件夹,并把它命名为 1,里面新建一个 txt 文件命名为 2.txt”
没错吧,这步也会是静默完成的
删除生成的文件
这步主要是带大家看看危险操作的二次确认功能
这步会弹出一个“确认”、“取消”的选项,用手机点击确认。
信息读取
现在,假如我们遇见了这样的情景——我们急需电脑某文件的信息,但是没在电脑边上,能不能让它发给我们呢?我的指令如下:
“操控我的电脑打开xxx.doc 文件,并使它最大化展示在桌面”
“请读取刚刚打开的 doc 文件最大化显示在屏幕上的内容”
这里我的例子是一个实验记录,就不贴图了(挑点你们啥都看不出来的哈哈):
...(某蛋白)N、C 两端具有很长的个性化无序序列,几乎不具保守性,但都表现为富含...的序列
这是我所要求的文件内容,但值得注意的是豆包打开、读取doc文件的方式并不聪明,而且当我提出读取第一页的时候它会截图然后从头滚动到最下面依次读取再与图片比对,这是个很耗能的过程。这个操作大家需要格外小心,可以优化一下提示词。
另外我注意到豆包发送的屏幕截图仅关联电脑可见,所以这是一个左右脑互博的事情,我不在电脑边上怎么看;我在电脑边上的话用得着你吗...但是截图保存是可行的。
操控浏览器
下面我们检测一下豆包能否打开浏览器
“打开我关联电脑的 edge 浏览器,新建页面,在搜索栏输入 ‘豆包远程控制电脑功能’ 并使浏览器最大化展示在屏幕上”
很棒对吧?
让它跑一个脚本
作为技术人员,最关心的应该是它能不能独立仅凭自然语言描述成功运行脚本,那么这里用一个我桌面现有且我很熟悉的AlphaFold-server json编写脚本
“操控我的电脑 先切回英文输入法 从开始菜单搜索 anaconda prompt 并打开,输入 cd Desktop,再输入命令 conda activate scanpy_env,再输入命令 python make_json.py”
至于为什么用这个环境,因为我单纯想让它找个环境并且这个环境能跑 。可见它完成了任务,至于json对不对那是我编写脚本的问题
检查脚本运行状态
“我的电脑现在最大化着一个 ubuntu 虚拟系统,请你直接使用系统截图,读图告诉我现在正输出什么应该是完成了吧”
首先声明,豆包检查系统状态的时候一般会单独打开窗口使用各种命令行,我不是很清楚具体运行机制,但为了不影响进程,我认为最好让它直接截图。运行后如果想让它看看结果可以这样说,这是在检查我跑的分子动力学的程序,如果您想分子动力学欢迎查看我的专栏。
“请你收起 ubuntu,在桌面找到 xxx文件夹,找到 FINAL_RESULTS.dat,用 vscode 打开,直接翻到最下面帮我看看德尔塔 G total 是多少”
不要干的事情
不要干和微信相关的事情!首先这样操作会被微信检测为聊天机器人,其次...只能说不要碰瓷腾子的安全权限。我尝试过以下内容:
“打开我正在登录的微信,给我的文件传输助手发一个 ’你好,我是豆包‘ ”
结果是豆包说它干完了,但是停在了这里,电脑上还弹出了一个需要点击的许可
第二次尝试的时候,它扩增了读取手段,干出了包括但不限于以下的事情:
1. 全选所有图标(我差点以为它要全删了)
2. 打开VS code在我之前正看的代码里删了一行,并在另一行输入了“你好,我是豆包”
3. 打开了微信并且点开了腾讯新闻
4. 触发了防火墙等不同的权限确认弹窗
总结
豆包的远程操控功能确实可以用于查看软件进程、批量运行脚本、远程调取本地文件信息的功能,但是局限也很大,没法进行精密点击操控并且当运行复杂任务时逻辑并不“聪明”。同时在访问微信这样的涉及隐私权限的软件时会遇见很大的阻碍。
友友们如果有什么新的应用想法以及优化提示词的建议也可以在评论区交流~