Hello,大家好~
在我们平常的前端测试工作中,由于前端自动化的不稳定,经常需要人工重复去回归页面的功能,比如,发版前打开控制台,翻一遍分页、点一遍按钮、盯一眼报错——规则明确、高度重复,但每个系统都不一样,专门写自动化脚本又不划算。
所以我就想能不能把这套回归巡检经验写成一个 Skill 文件,让 AI 照着 SOP 自己把整个控制台回归一遍?
我拿阿里云日志服务(SLS)控制台做了完整实测,结论先说:可以,而且效果还可以。
一、核心思路:测试 SOP 写成skill
我的skill大体结构是这样的:
--- name: aliyun-log-inspection description: 阿里云日志服务(SLS)控制台巡检助手。... --- # 阿里云日志服务巡检助手(SLS) ## 技能定位 ... ## 触发条件 ... ## 前置条件 ... ## 默认 URL ... ## 不处理场景(遇到即退出并说明原因) ... ## 工作流程 ### 第 1 步:打开 URL,处理登录 ... ### 第 2 步:确认地域与导航 ... ### 第 3 步:执行巡检(根据模式选择) #### 模式 A:分页巡检 ... #### 模式 B:按钮遍历巡检 ... ### 第 4 步:输出巡检报告 ... ## 异常处理(实战提示) ... ## 行为红线 ... ---这份skill里面写清楚四件事:
- ✅触发条件:用户说什么话、提供什么 URL 时启用
- ✅工作流程:先做什么后做什么,每步怎么采集、怎么判定 PASS/FAIL
- ✅异常兜底:弹窗遮挡、登录失效、元素找不到怎么办
- ✅行为红线:哪些按钮绝对不能碰
我这里先把简单的场景写成skill,比如列表分页功能、页面功能遍历巡检,看看效果。
二、阿里云日志服务控制台巡检
我把skill加载到workbuddy中,然后调用这个skill,对话框中输入"阿里云日志巡检"。
WorkBuddy调用工具打开浏览器、导航到sls.console.aliyun.com,跳转登录页时停下等我扫码(Skill 里写了红线:登录和 MFA 由用户完成,AI 不碰账号密码),登录后自动进入 Project 列表页。然后AI就自动帮我巡检控制台页面了。
几分钟之后AI会自动输出一份报告:
三、既然 Skill 也能做自动化,专用框架还有必要吗?
从上面的效果看,还可以,那么问题来了:既然一句话就能让 AI 把控制台测试一遍并输出测试报告,那么那些专门的 UI 自动化框架,还有存在的必要吗?
肯定是必要的,而且两者不是替代关系,两者根本不在同一层。
从成本上看:
- 起步成本:Skill 完胜。写一个 md 文件就能开工,换台机器零预装;框架要装 SDK、配多模态模型、再写 YAML/TS 用例
- 规模执行成本:框架更低。Skill 每一步都要模型现场思考,token 花在"想"上;框架首次视觉定位后命中缓存,之后约等于普通选择器脚本——一天跑十次回归也不心疼
更好的做法应该是:
探索阶段:Skill 先探路 → 摸清页面结构,把巡检结论沉淀成 SOP ↓ 规则稳定后 回归阶段:专用框架固化用例 → 进 CI,无人值守 + 确定性断言 + 出报告- 长尾页面、一次性巡检、探索性测试 →Skill(写文档就行,不值得开发用例)
- 高频回归、CI 门禁、移动端、Canvas / 跨域 iframe →专用框架
Skill 负责"从 0 到 1 摸清规则",专用框架负责"把规则跑上一万遍"。
以上是今天分享的内容。