Scrapling 完整指南：一个 Python 库搞定静态请求、JS 渲染与 Cloudflare 反爬-育师

Scrapling 完整指南：一个 Python 库搞定静态请求、JS 渲染与 Cloudflare 反爬

【免费下载链接】Scrapling🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ项目地址: https://gitcode.com/GitHub_Trending/sc/Scrapling

Scrapling 是一个 Python 网页抓取框架，它把普通 HTTP 请求、JavaScript 渲染、Cloudflare 人机验证这三类需求收进同一套 API：发请求、选元素、跑批量爬虫都在一个库里完成，不需要在多个工具之间来回切换。

⏱️ 30 秒看懂 Scrapling

选型先于安装。Scrapling 的定位是"按页面难度分级"的统一入口：抓取层负责拿到内容，解析层负责提取数据，两层共用同一个返回对象。三个抓取器各对应一档页面难度：

抓取器	适用页面类型	是否启动浏览器	典型代价
`Fetcher`	纯静态页，目标内容直接写在 HTML 里	否	最低，无需浏览器环境
`DynamicFetcher`	内容靠 JS 渲染生成	是，无头 Chromium	每请求秒级，含加载与等待
`StealthyFetcher`	带 Cloudflare 挑战或严格指纹检测的站点	是，反检测模式	最高，含挑战求解耗时

三者返回同一类型的page对象并共享全部解析 API，"升级方案"的代价只是换一个类名，已写好的选择器代码不用动。逐项功能对照见 docs/fetching/choosing.md。

📥 安装 Scrapling 与最小可运行示例

环境要求 Python 3.10 及以上。从源码安装时两步都不可省：pip install "scrapling[fetchers]"声明抓取器依赖，scrapling install下载后两个抓取器所需的浏览器运行环境。

git clone https://gitcode.com/GitHub_Trending/sc/Scrapling cd Scrapling pip install -e ".[fetchers]" scrapling install

装好后用下面 4 行验证：

from scrapling.fetchers import Fetcher page = Fetcher.get('https://example.com') print(page.status, page.get_all_text())

page.status是 HTTP 状态码，此处输出 200。示例里值得注意的一点：返回的page本身就是解析器，拿到 HTML 后可以直接用 CSS 或 XPath 选元素，不必再转成 BeautifulSoup。常见的第一道坎是默认安装只带解析器——漏掉[fetchers]后缀时from scrapling.fetchers import Fetcher会直接报错，补装依赖并执行scrapling install即可解决。

🧭 按页面难度逐级升级：静态、渲染、隐身三级

升级顺序是单向的：先确认目标内容在 HTML 源码里，再决定要不要加渲染，最后才考虑反检测。

静态页面：TLS 指纹伪装请求

什么时候升上来：第一选择。多数列表页与详情页属于这一级，无需浏览器，响应在毫秒级。

关键参数：Fetcher底层基于curl_cffi，默认伪装最新版 Chrome 的 TLS 指纹与请求头，使请求在握手层就与真实浏览器一致；impersonate可切换目标浏览器，传"chrome"、"firefox"等字符串取该浏览器最新版，也支持"firefox102"这类指定版本。

from scrapling.fetchers import Fetcher page = Fetcher.get('https://quotes.toscrape.com', impersonate='chrome') print(page.css('.quote .text').get_all()[0])

注意事项：手动拼装请求头无法绕过 TLS 层检测，握手特征与真实浏览器不一致时仍会被拦截，impersonate解决的就是这一层。完整参数说明见 docs/fetching/static.md。

JS 渲染页面：无头浏览器加载

什么时候升上来：返回的 HTML 只是骨架、正文由前端脚本生成时，改用DynamicFetcher，它启动真实 Chromium，渲染完成后再返回页面。

关键参数：network_idle=True启用网络空闲阈值（默认 500ms），连接静默达标才返回；wait_selector等待指定元素出现，适合目标位置可预期的页面；real_chrome=True改用本机安装的 Chrome，指纹更接近真实用户；不传参数时以无头模式运行。

from scrapling.fetchers import DynamicFetcher page = DynamicFetcher.fetch('https://quotes.toscrape.com/js/', network_idle=True) print(page.get_all_text())

注意事项：动态页取到的文本为空，通常是 JS 尚未执行完就返回了。先加network_idle=True，仍缺失时改用wait_selector='.target'锚定关键元素。细节见 docs/fetching/dynamic.md。

Cloudflare 挑战站点：StealthyFetcher 反检测

什么时候升上来：目标站挂 Cloudflare 人机验证（Turnstile / Interstitial 挑战），或同时做 TLS 与浏览器指纹双重检测时，使用StealthyFetcher。

关键参数：这是反检测选项最多的一档，默认隐藏 Playwright 运行痕迹、对 canvas 输出加噪、封堵 WebRTC 泄漏；solve_cloudflare=True会自动识别并求解各类验证挑战，通过后才把页面交给你。

from scrapling.fetchers import StealthyFetcher page = StealthyFetcher.fetch('https://target-site.com', solve_cloudflare=True) print(page.status)

注意事项：屏蔽广告域、走代理、时区伪装等其余反检测项也集中在这个类里，配置前先查 docs/fetching/stealthy.md 的完整清单。

🏗️ 稳定性与规模化：从单次实验到批量任务

任务从单次请求变成批量抓取后，关注点从"拿得到"转为"跑得久、断了能续"：

自适应选择器抗改版：关键元素首次抓取时用auto_save=True保存内容特征，站点改版后用adaptive=True按特征重新定位，不必重建整套选择器：
```
products = page.css('.product', auto_save=True) # 首次抓取保存特征 products = page.css('.product', adaptive=True) # 改版后按特征重新找
```
存储与定位原理见 docs/development/adaptive_storage_system.md。
Session 复用浏览器：批量场景用StealthySession等 Session 版抓取器替代单次 fetch，浏览器只启动一次，后续请求全部复用同一进程。
限速与代理轮询：内置 scrapling/spiders/throttle.py 控制请求节奏，代理轮询模块把流量分散到多个出口 IP，提高并发也不易触发限频或封禁。
断点续抓：Spider 框架记录抓取进度，任务中断后从断点恢复，长任务无需从头再来，架构细节见 docs/spiders/architecture.md。