Midscene.js AI自动化测试快速教程：把AI变成会操作浏览器的"那双眼睛"
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
Midscene.js 是一个视觉驱动的 AI 自动化测试框架：不写选择器，AI 直接从截图里"看懂"界面，用一句自然语言完成点击、输入和验证。本教程以"跑通第一个自动化任务"为主线，按顺序带你完成装依赖、连接第一台 Android 设备、配置密钥、写下第一条测试。读完之后，你就能在自己的机器上运行 AI 自动化测试，并在自动化测试报告里看清每一步的结果。
为什么元素定位总在失效
你花在追选择器上的时间
传统 UI 自动化依赖元素定位：id、class、xpath，哪个写了就得跟着页面走。页面重构一次，脚本坏一批。更麻烦的是那些"没法写"的元素：没有文字只有图标的按钮、canvas 画出来的内容、原生 App 的界面——DOM 根本读不到。
每次改版都要人工修一遍选择器，维护成本最后高过写脚本本身。
AI 视觉自动化做对了什么
Midscene.js 换了个思路：不看代码结构，只看截图。
AI 就像一个会"读屏"的操作员——人眼能看到的，它就能找到、点中、核对。你只需要用一句自然语言描述想做什么，剩下的交给它。本教程就是让这套方式在你机器上跑起来的过程。
上手体验：跑通你的第一个 AI 自动化任务
一行命令装好依赖
先把项目代码拿到本地：
git clone https://gitcode.com/GitHub_Trending/mid/midscene进入目录安装依赖：
pnpm install两条命令，环境就绪。每一步的详细参数，可以对照快速开始文档。
接入第一台 Android 设备并配好密钥
给 Android 手机打开 USB 调试，用数据线连上电脑。Midscene.js 会自动识别设备，告诉你型号、系统版本和屏幕尺寸，测试前就知道自己在什么环境里。
然后处理密钥：在 Playground 的设置入口粘贴模型服务的 API Key 和模型名，这份配置只保存在本地，不会上传。
都好了之后，在输入框里写一句话："打开设置，查看当前 Android 版本号"，点运行。AI 会自动点开设置应用、找到对应选项、读出版本号。你的第一个 AI 自动化任务就完成了。
AI 如何"看懂"屏幕：从一句话指令到自动执行
自然语言指令经历的三个环节
你可能好奇：按下运行之后，中间发生了什么？大致是三个环节。
理解指令：AI 先读懂你的句子，把目标拆成可执行的小步骤。看见屏幕：截一张当前界面的图，识别每个元素在哪里。执行并核对：点击、输入、滚动，每动一次手，再看一眼屏幕确认效果，不对就调整重来。
全程不需要你手写选择器或坐标。
在 Web 页面上写第一条自然语言测试
同一套机制在浏览器里同样成立。打开任意网站，在 Playground 里用一句话描述操作就行，常见的三类意图：
- 操作："在搜索框输入 headphones 并回车"
- 查询："页面上的商品，包含名称和价格"
- 核对："页面顶部有分类筛选栏"
对应做、取、验三件事。对新手来说，这是最自然的测试写法——用自然语言写测试，脚本本身就是句子。
🔌 多设备协作：桥接模式同时控制浏览器和手机
桥接模式解决什么问题
真实项目里要测的往往不止一端：同一个流程，浏览器和手机上都有。
桥接模式让本地代码同时连上桌面浏览器和移动设备。在浏览器扩展里打开桥接开关后，本地脚本就能直接接管那个标签页，登录态（cookies）也能复用，不用在脚本里重新登录一遍。
跨端测试，一份指令两端跑
它的价值在"统一"：一套自然语言指令，浏览器能跑，手机也能跑。做跨端回归时，同一份逻辑不用写两遍，跑完再比对两端结果。具体配置过程可以看桥接模式文档。
结果可视化：一份自动化测试报告看清全程
打开报告，看到每一步的痕迹
每次运行结束，Midscene.js 会自动生成一份 HTML 报告。打开后顶部是一条时间轴，每个步骤的截图按时间排开；左侧是步骤清单，每一步标着结果和耗时。
报告里的耗时和结果细节怎么看
别只看结论，看过程：
- 每个步骤拆成规划、定位、动作几个小环节，各环节都有耗时，哪里卡了一目了然。
- 每步附带的截图就是"证据"，失败了看那一帧就知道错在哪。
- 断言结果也会写进去，验证不是笼统的"通过"，而是能看到具体验证了什么。
🩺 排障与调优：高频翻车场景速查
现象、原因、解法一次说清
设备连不上：多半是 USB 调试没开或驱动有问题。打开调试、重新插拔，确认设备列表里能看到型号和系统版本；还不行就换线和换口。
AI 响应慢：模型本身偏重，或截屏次数太多。调试期换轻量模型提速；重复性任务开启缓存，同一张界面别付两次钱和时间。
点击有偏移：模型的界面定位能力不够。换 UI 定位更强的模型，或适度调低截图分辨率减少干扰。
多台设备互相抢资源：单台主机别超过 5 台设备。控制数量、错峰分配测试任务，定期检查连接状态。
盯住三个长期指标
跑顺之后，平时关注三个数字：任务成功率（掉了先查环境，再查脚本）、平均执行时间（上去了就查模型和网络）、AI 响应时间（慢了调模型或加缓存）。报告里都能翻到，不用额外搭监控。
装好、连上、跑通，你今天完成的是一个完整的 AI 自动化闭环：一句自然语言，AI 动手操作屏幕，再留下一份可以回看的报告。接下来，把你自己的设备接上，为页面写下第一条测试，让 AI 开始替你干活。
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
