Midscene.js 2025 路线图：视觉执行引擎演进与跨平台平台化
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
Midscene 目前已经提供覆盖浏览器、Android、iOS、HarmonyOS 与桌面的纯视觉执行引擎，并具备模型注册表、任务规划与缓存机制等配套体系。结合仓库现有模块结构判断，这份 Midscene 路线图的下阶段主攻方向是：把执行引擎从"单模型驱动"演进为"能力分工与动态路由"，统一跨平台的设备控制平面，并最终补齐面向桌面端的一体化 Studio 产品形态。
引擎演进：多模型分工与跨平台控制平面
多模型分工：按任务挑选更合适的模型
现状：核心模型适配注册表 模型适配注册表 已接入 Qwen、UI-TARS、Gemini、GPT、Kimi 等多个模型家族，官方文档也已给出"默认模型 + Planning 模型 + Insight 模型"的三模型分工模式（Planning 负责任务规划，Insight 负责页面理解）。
下一步：基于这层路由骨架，后续版本预计支持更细的任务级模型指派——点击、输入交给擅长交互的模型，数据提取与断言交给擅长理解的模型，同一条任务链路内动态切换。模型规划与执行工作流已拆分为独立目录（workflows/planning、workflows/grounding），接口条件具备。
对使用者的意义：遇到复杂场景时不必整体换配置，可按能力组合微调，平衡 Token 成本与执行成功率：
# 组合示意：按能力分工指派不同模型家族（示意用法） models: default: qwen-vl-max # 承担 Locate 与常规任务 planning: ui-tars-2.0 # 承担复杂多步规划 insight: gemini-flash # 承担数据提取与断言统一设备控制平面：同一份脚本跑在多个平台
现状：设备抽象层 已把截图获取、帧流、输入策略统一为一组接口，Android、iOS、HarmonyOS、Computer 四个平台包各自实现驱动，上层 Agent 无需感知平台差异。
下一步：演进方向是把平台差异进一步下沉到驱动层，对外暴露一致的跨平台 API，并支持多设备协同任务——同一条流程在多台设备上编排执行。已有的帧延迟解码与屏幕投射设计，说明实时预览加远端操控的形态正在铺底。
对使用者的意义：同一份脚本、同一套调试方法可以在不同平台复用，跨端回归测试的移植成本明显降低。
日常体验：调试与入门工作流升级
调试体验升级：把报告变成诊断入口
现状：HTML 报告已能还原每一步的截图、模型思考与执行结果，Insight 机制则为"让模型回看页面"提供了只读查询通道，包括数据提取、布尔判断与断言。
下一步：报告系统的自然延伸是自动标记失败步骤的视觉差异，再结合 Insight 通道分析失败原因并给出修复建议，让报告从"事后回放件"变成"诊断入口"。报告与 AI 查询共用同一条数据管线，增量实现成本低。
对使用者的意义：排查不稳定脚本时，不再需要逐帧回放截图找差异，而是先由系统圈出可疑步骤，人再做判断。
录制与可视化：Studio 与录制转脚本闭环
现状：仓库已包含录制表单组件、Chrome 扩展的录制面板，以及完整的 Electron 版 Studio 桌面应用，其依赖关系已聚合各平台的 playground、visualizer 与 recorder 模块。
下一步：方向是把"录制→编辑→执行"串成一条流水线——用户操作被直接转换为可复用的 YAML 或 JS 脚本，桌面端完成可视化参数配置，让录制从辅助工具逐步成为低代码入口。平台化产品的骨架已经成型。
对使用者的意义：不写代码也能先跑通自动化，之后再用现有 SDK 继续迭代。桥接模式（本地脚本与本地浏览器共享同一会话，复用登录态）也是当前较成熟的调试协作形态。
部署形态：补齐本地化与私有化
现状：Midscene 是开源 SDK，任务缓存机制已在 midscene_run 目录以 yaml 缓存减少重复模型调用，官方文档对数据边界有明确说明。
下一步：企业侧需求指向完整的本地化方案——私有化部署模型套件（含轻量量化模型）、集群节点间共享缓存，脚本与数据全程不出内网。缓存存储格式与模型配置均走本地文件与环境变量，天然适配私有部署。
对使用者的意义：对合规要求严格的金融、医疗等场景，这是让 Midscene 能在内网落地使用的最后一块拼图。
落地节奏
- Q1：多模型路由与能力组合的原型，先在默认链路中以实验开关落地
- Q2：统一跨平台控制平面与多设备协同任务
- Q3：报告自诊断与录制转脚本闭环进入测试阶段
- Q4：Studio 正式版发布，本地私有化部署方案公布
路线图各项的具体进展以官方文档（模型策略、changelog 页面）与仓库 issue 区为准；希望参与早期测试的用户，关注项目社区渠道即可获取更新。
【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
