Moli是什么:专为AI Agent打造的Rust开源无头浏览器终极指南
【免费下载链接】moliBest headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust项目地址: https://gitcode.com/gh_mirrors/moli/moli
Moli 是一款专为 AI Agent 打造的 Rust 开源无头浏览器(headless browser),主打轻量、快速、高兼容性。它帮助 AI 智能体抓取网页、提取内容、搜索网络并自动化浏览器任务——不需要启动笨重的 Chrome,一条命令就能让 AI 读到渲染后的网页内容。
🤔 AI Agent 为什么需要无头浏览器?
给 AI 智能体接入"上网能力",通常有两条路:
- 直接发 HTTP 请求——快,但大量现代网站是 JS 动态渲染的,拿到的只是一壳空页面;
- 驱动 Chrome Headless——内容全,但代价是上百个进程、数百 MiB 内存,以及漫长的启动等待。
Moli 选择了第三条路:用一个完整的浏览器内核(V8 JavaScript、DOM、CSS、网络、存储一应俱全),但只在你真正需要时才做布局和渲染。对多数 AI 任务而言,需要的是页面结构,而不是持续刷新的像素,Moli 正是围绕这个洞察设计的。
⚡ 三大核心卖点:功能全、速度快、省资源
| 卖点 | 说明 |
|---|---|
| 功能完整 | 真实 JavaScript、DOM、CSS、网络、存储、截图与标准自动化协议(CDP / WebDriver Classic / WebDriver BiDi)集成在一个二进制里 |
| 速度快 | 提取 HTML/Markdown、查询 DOM、执行 JS 等操作完全不触发布局和绘制 |
| 资源高效 | 布局和像素按需生成、用完即弃,不持续维护渲染状态 |
官方实测中,Moli 抓取 192 个公开网站的成功率(53.6%)略高于 Chrome Headless(52.6%),而内存中位数仅73 MiB,Chrome 为773 MiB——快且省,正是"按需渲染"的直接收益。
🚀 如何快速开始:从安装到抓取只要两步
一键安装 Moli
Moli 支持 Linux、macOS 和 Windows,提供官方预编译二进制,无需自己编译 Rust:
- Linux / macOS:运行一键安装脚本(对应 scripts/install.sh)
- Windows:在 PowerShell 中执行 scripts/install.ps1
安装完成后可用moli --version验证。也可以直接把仓库里的 Skill 提示词发给你的 AI 智能体,让它自动完成安装——这是官方推荐的"零门槛"玩法。
一条命令把网页变成 Markdown
最常用的是fetch子命令,把页面渲染后直接输出为模型友好的内容:
# 输出 Markdown(默认完成策略) moli fetch --dump markdown --wait-until done https://example.com # 输出紧凑的语义树,更适合喂给大模型 moli fetch --dump semantic_tree_text --wait-selector body https://example.com需要截图、整页长图或 PDF 时,加上--layout即可开启真实的按需布局(截图、PDF 功能实现见 moli/src/fetch_dump/)。完整的输出格式、等待条件、代理与资源策略参数,可用moli fetch --help查看全部。
启动 CDP 服务,无缝接入 Playwright / Puppeteer
moli serve # 基础自动化服务器 moli serve --layout # 启用真实几何、坐标输入与截图同一个端点同时提供CDP、WebDriver Classic、WebDriver BiDi三种协议,Playwright 通过 CDP 直连即可,无需额外安装 ChromeDriver、geckodriver 或浏览器本体。官方还为此写好了智能体可直接执行的 skills/moli-cdp-server/SKILL.md。
🎮 兼容性有多强?真实网页效果展示
Moli 渲染 HTML5 游戏,并能通过 Chrome DevTools 实时检查其 DOM、CSS 与几何信息——说明它的运行时状态对现有工具链是"透明"的:
再看一个大型真实站点:rust-lang.org 被 Moli 完整渲染,其实时 DOM、CSS 和几何信息同样可在 DevTools 中查看:
📊 无头浏览器横向对比:Moli 的实测成绩
在官方基准 Lexbench-Headless-Browser 的 1,308 道可比任务上(覆盖裸 CDP、Playwright、Puppeteer、Selenium 等 13 个自动化工具栈),Moli 的自动化兼容性仅次于 Chrome,显著领先其他同类无头浏览器:
更关键的是效率:在"成功率 vs 单任务内存峰值"坐标系中,Moli 位于左上角——约 80% 的兼容性,只有约 71 MiB 的内存中位数;而 Chrome 达到 99.9% 兼容性需要近 770 MiB。另一轮 557 道任务的测试中,Moli 单题 CPU 时间约为 Chrome 的15%。完整测试方法与数据可查阅 moli-benchmark/ 及 moli-benchmark/README.md。
此外,用于验证 Moli 浏览器能力边界的 WPT 测试集合中,一次完整运行有161.2 万项测试通过,兼容性底气来自扎实的平台实现而非"绕过"。
🧠 按需渲染:Moli 的聪明之处
多数浏览器自动化任务真正需要的是页面结构,而不是一个持续渲染的可视世界。Moli 把原生 DOM 和样式状态当作唯一事实来源,不同请求走不同成本路径:
| Agent 请求 | Moli 的处理方式 |
|---|---|
| 提取 HTML/Markdown、查询 DOM、执行 JS | 直接读运行时状态,零布局、零绘制 |
| 读元素边界框、命中测试、坐标输入 | 只算一次布局,保留最新的冻结布局树 |
| 截图 / 屏幕串流 | 按当前 DOM 重建并渲染一帧,用完即丢 |
这套"快照式"成本模型让它特别适合:网页抓取、browser-use 智能体、检索流水线、评测环境与强化学习工作负载。
🛠️ 能做什么:一份实用功能清单
- 完整 Web 运行时:流式 HTML 解析、原生 DOM、V8 JavaScript、iframe 与 worker、CSS 层叠、Fetch/XHR/WebSocket、Cookie、WebCrypto、按配置隔离的 localStorage / IndexedDB / OPFS
- 面向提取优化的输出:CLI 直接输出 HTML、Markdown、JSON、语义文本树,支持按选择器/脚本/响应等待与网络跟踪
- 统一自动化内核:三大协议共用同一内核与调度器(协议实现集中在 moli-protocol/ 与 moli-protocol-server/)
- 可控运维选项:配置文件、Cookie、HTTP 缓存、代理、资源类别、连接限制、超时、User-Agent 覆盖、结构化日志
- 官方 Skill 技能包:AI 智能体可直接安装使用,覆盖抓取(skills/moli-webfetch/SKILL.md)、网页搜索(skills/moli-websearch/SKILL.md)与 CDP 服务(skills/moli-cdp-server/SKILL.md)
🎯 适合谁?哪些场景选 Moli
✅推荐场景
- 为 AI 智能体提供网页抓取、信息检索与事实核查能力
- 大规模爬虫 / RAG 数据管道,追求低内存与高吞吐
- 需要 Playwright、Puppeteer、Selenium 兼容端点,但不想养一套 Chrome 环境
- 评测环境、强化学习中的浏览器交互负载
⚠️当前边界(官方明确说明)
- 不提供 GUI 窗口、GPU 合成器,不追求与 Chrome 像素级一致
- 无高保真 Canvas/WebGL/媒体播放;
--layout下支持软件截图与 CDP PDF - 遇到不支持的协议路径会直接明确报错,绝不假装操作成功——这对 Agent 来说反而是优点
📚 快速上手资源索引
| 资源 | 路径 |
|---|---|
| 官方中文文档 | docs/README.zh-CN.md |
| 安装脚本(Linux/macOS) | scripts/install.sh |
| 安装脚本(Windows) | scripts/install.ps1 |
| 网页抓取 Skill | skills/moli-webfetch/ |
| 网页搜索 Skill | skills/moli-websearch/ |
| CDP 服务 Skill | skills/moli-cdp-server/ |
| 基准测试与实测数据 | moli-benchmark/README.md |
总结:一句话记住 Moli
Moli = 给 AI Agent 用的"轻量级全能浏览器":内核不缩水(真实 JS/DOM/网络/协议),成本按需付费(要结构就不画像素,要像素才渲染一帧)。如果你的 AI 智能体需要又快又省地上网干活,Moli 是目前开源界最值得关注的无头浏览器选择。
【免费下载链接】moliBest headless browser for AI agents. Lite, Fast, High-Compatibility. Built in Rust项目地址: https://gitcode.com/gh_mirrors/moli/moli
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考