简介：小飞兔下载10.0是一款面向网页设计师、前端开发者及数据采集初学者的轻量级整站下载工具，专为快速备份、仿站与离线分析网站内容设计，解决手动抓取效率低、资源链接易失效等痛点。压缩包共25个文件，含20个核心DLL（如HtmlAgilityPack.dll用于HTML解析、RestSharp.dll支持API交互、LiteDB.dll实现本地数据存储）、3个可执行程序（含主程序与升级模块）、1个配置文件及1个使用说明HTML文档，整体仅1.19MB，即下即用，无安装依赖。已有1623人学习下载，体现其在中小规模网站克隆、教学演示及竞品页面结构研究等场景中的实用价值。用户可直接运行获取完整站点静态资源，结合配置文件灵活调整抓取策略，并通过内置模型与处理逻辑高效解析动态元素、CSS选择器及响应式结构，是兼顾易用性与扩展性的国产扒站辅助方案。
1. 小飞兔下载10.0：不是“一键仿站”的玄学玩具，而是可调试、可断点、可重放的整站抓取黑匣子
你有没有试过用某款标榜“全自动仿站”的工具，点下开始后就只能盯着进度条干等——页面结构乱套、CSS 路径全错、JS 报 404、图片漏一半，最后导出的 HTML 打开像被格式化过的废墟？小飞兔下载10.0 不是那种把用户当盲盒摇奖机的“傻瓜工具”。它本质是一个基于 HTTP 协议层深度控制的整站下载器，核心能力不是“快”，而是“可控”：支持自定义 User-Agent 池轮换、Referer 策略绑定、Cookie 注入时机、资源类型白名单过滤、URL 正则预筛、断点续传校验（非简单文件存在判断）、以及最关键的——HTML 内联资源重写逻辑可插拔。它不承诺“100% 还原”，但保证每一步请求可查、每个重写规则可改、每次失败可定位。适合需要做静态站点归档、离线教学素材打包、竞品前端结构分析、或为后续爬虫/渲染服务准备干净 HTML 基底的开发者与测试人员。如果你的任务是“把某个官网完整扒下来，且下周还要能解释清楚为什么某个按钮点击失效”，那它比所有“智能识别”类工具更值得你花 20 分钟读完配置。
2. 核心机制拆解：为什么它能绕过基础反爬，又为何必须手动调参
小飞兔下载10.0 的底层并非封装 Selenium 或 Puppeteer，而是基于Java Net.HttpClient + 自研 HTML 解析重写引擎构建。这意味着它不启动浏览器进程，无内存泄漏风险，但也不执行 JS 渲染——它只处理服务器返回的原始 HTML、CSS、JS、图片、字体等静态资源。这种设计带来两个关键结果：第一，它天然规避了基于 WebDriver 特征指纹的检测；第二，它对依赖 JS 动态注入 DOM 或异步加载内容的现代 SPA 站点完全无效。因此，它的适用边界非常清晰：目标站必须是服务端直出 HTML 的传统架构，或至少关键导航/内容区块由 SSR 输出。
2.1 请求调度层：不是并发越高越好，而是“节奏感”决定成功率
小飞兔默认启用 3 线程并发，但真正起作用的是request.delay（毫秒级请求间隔）和request.timeout（单次请求超时）。很多用户翻车的第一步，就是盲目把线程数拉到 10+，结果触发目标站的 IP 频控，返回 429 或空响应。我一般会先用--test-mode启动单线程 + 2000ms 延迟，观察日志中HTTP/1.1 200的稳定率。若低于 95%，说明目标站对请求头敏感。此时需重点调整：
# 示例：模拟真实浏览器行为（注意：User-Agent 必须与 Referer 匹配） java -jar xft-downloader-10.0.jar \ --url "https://example.com" \ --output "./site-backup" \ --user-agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" \ --referer "https://example.com/" \ --delay 1500 \ --timeout 8000提示：
--referer不是可选参数。某些站点（尤其带防盗链的 CDN 图片）会严格校验 Referer 头。若漏设，你会看到大量403 Forbidden的.jpg和.css文件，但主 HTML 仍能下载成功——这是最典型的“看似成功实则残缺”陷阱。
2.2 HTML 重写引擎：资源路径修复的四个锚点
小飞兔的核心价值，在于它不满足于“下载文件”，而是在保存 HTML 前，对<a href>、<img src>、<link href>、<script src>四类标签的href/src属性进行本地化重写。这个过程依赖三个配置文件：rewrite-rules.json（正则替换规则）、path-mapping.json（目录映射表）、ignore-patterns.txt（绝对 URL 白名单，如 CDN 域名）。例如，原始 HTML 中有：
<link rel="stylesheet" href="/static/css/main.css"> <img src="https://cdn.example.com/images/logo.png">小飞兔会将/static/css/main.css重写为./static/css/main.css（相对路径），并尝试下载该 CSS；但对https://cdn.example.com/...，若该域名未在ignore-patterns.txt中声明，则直接保留原链接（不下载，也不改写），避免因跨域资源不可控导致页面断裂。这要求你必须在下载前，用浏览器开发者工具 Network 面板确认：哪些资源是同源静态文件，哪些是第三方 CDN——前者要重写+下载，后者要列入 ignore 列表。
2.3 断点续传：不是“跳过已存在文件”，而是“校验内容一致性”
小飞兔的断点续传逻辑是：对每个待下载 URL，先计算其响应体的 SHA-256 值，再与本地已存文件的 SHA-256 比对。若一致，则跳过；若不一致（如服务器更新了文件但 URL 未变），则强制重新下载。这比简单的File.exists()可靠得多。但这也意味着：首次下载完成后，不要手动修改任何已下载的 HTML/CSS/JS 文件。否则下次续传时，工具会因哈希不匹配而重复下载整个资源树，造成冗余。我习惯在下载完成后，立即将输出目录设为只读（chmod -R a-w ./site-backup），作为物理层面的防误操作锁。
3. 配置实战：从零生成一个可复用的扒站任务模板
小飞兔不提供图形界面，所有行为由命令行参数或配置文件驱动。与其每次敲长命令，不如建立一套可版本管理的配置体系。以下是我在线上项目中验证过的最小可行模板结构：
project-root/ ├── config/ │ ├── base.json # 全局基础配置（超时、延迟、线程数） │ ├── rules/ │ │ ├── rewrite-rules.json # HTML 标签重写规则 │ │ └── ignore-patterns.txt # 第三方资源忽略列表 │ └── sites/ │ └── example-com.json # 站点专属配置（URL、输出路径、UA） ├── scripts/ │ └── run-example-com.sh # 封装好的执行脚本 └── output/ └── example-com/ # 下载目标目录（空目录即可）3.1base.json：统一管控基础行为
{ "request": { "threads": 3, "delay": 1500, "timeout": 8000, "connectTimeout": 5000 }, "download": { "maxRetry": 2, "retryDelay": 3000, "skipExisting": true }, "output": { "charset": "UTF-8", "overwrite": false } }参数说明：
maxRetry: 2表示单个 URL 最多重试 2 次（共 3 次请求）；skipExisting: true启用哈希校验式断点续传；overwrite: false是安全底线——永远不覆盖已有文件，避免意外覆盖人工修正的内容。
3.2rewrite-rules.json：精准控制 HTML 内部链接
[ { "type": "link", "pattern": "^/static/(.*)$", "replacement": "./static/$1" }, { "type": "img", "pattern": "^/uploads/(.*)$", "replacement": "./uploads/$1" }, { "type": "script", "pattern": "^/js/(.*)$", "replacement": "./js/$1" } ]注意：
type字段必须是link/img/script/a四者之一，对应 HTML 标签类型；pattern是 Java 风格正则（非 PCRE），$1表示第一个捕获组。不要写^/.*$这种贪婪匹配，否则可能误伤外部链接。
3.3sites/example-com.json：站点级定制
{ "url": "https://example.com", "outputDir": "../output/example-com", "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36", "referer": "https://example.com/", "includePatterns": ["^https?://example\\.com/.*$"], "excludePatterns": ["^https?://example\\.com/admin/.*$", "\\.(pdf|docx)$"] }关键点：
includePatterns是正则数组，定义“只抓取哪些 URL”，必须精确匹配协议+域名+路径；excludePatterns用于排除后台、文档等无关路径。这里用\\.转义点号，
3.4run-example-com.sh：一键触发，带环境检查
#!/bin/bash # 检查 Java 版本（小飞兔 10.0 要求 JDK 11+） JAVA_VERSION=$(java -version 2>&1 | head -1 | cut -d'"' -f2 | sed '/^1\.//; s/^1//; s/[^0-9]*$//') if [ "$JAVA_VERSION" -lt "11" ]; then echo "ERROR: JDK 11+ required, current: $(java -version)" exit 1 fi # 检查输出目录是否存在且可写 OUTPUT_DIR="../output/example-com" if [ ! -d "$OUTPUT_DIR" ]; then mkdir -p "$OUTPUT_DIR" fi if [ ! -w "$OUTPUT_DIR" ]; then echo "ERROR: Output directory not writable: $OUTPUT_DIR" exit 1 fi # 执行下载（合并 base.json 和 site 配置） java -jar ../lib/xft-downloader-10.0.jar \ --config ../config/base.json \ --site-config ../config/sites/example-com.json \ --rules-dir ../config/rules/逻辑说明：脚本先做 JDK 版本兜底检查（小飞兔 10.0 在 JDK 8 下会抛
UnsupportedClassVersionError），再确保输出目录就绪，最后用--config和--site-config双配置文件方式启动。这种方式比拼接超长命令行更易维护、可复用。
4. 避坑指南：五个血泪经验换来的常见问题排查清单
小飞兔下载10.0 的报错日志非常克制，不会告诉你“为什么失败”，只告诉你“哪里失败”。以下是我在多个真实扒站任务中踩出的硬核坑点，按现象→原因→解决三段式整理，每一条都对应一次线上翻车：
4.1 现象：日志中大量WARN Failed to download: https://xxx/xxx.js (403)，但浏览器能正常访问
原因：目标站启用了 Referer 防盗链，且小飞兔未设置--referer或设置值与请求 URL 不匹配（如请求/js/app.js时 Referer 设为https://example.com/home，但该 JS 只允许https://example.com/）。
解决：用浏览器 Network 面板复制真实 Referer 值，确保--referer参数与主 URL 的根路径一致（末尾带/），并在sites/*.json中固化。
4.2 现象：下载完成的 HTML 中，CSS 和 JS 路径变成./undefined或./null
原因：rewrite-rules.json中的正则pattern未匹配到原始 URL，导致$1捕获组为空；或type字段写错（如把img写成image）。
解决：开启--debug模式运行，查看日志中Rewriting [type] src='xxx' with pattern 'yyy'的匹配详情；用在线 Java 正则测试工具（如 regex101.com，选 Java 模式）验证 pattern 是否捕获正确。
4.3 现象：下载速度极慢，日志显示INFO Waiting for rate limit reset...
原因：目标站返回了Retry-After响应头，小飞兔严格遵守该头指示的等待时间（单位秒）。这不是 bug，是合规行为。
解决：检查是否触发了频控——降低--threads至 1，增大--delay至 3000ms；若仍出现，说明该站对单 IP 有严格 QPS 限制，需引入代理池（小飞兔 10.0 支持--proxy http://user:pass@host:port，但需自行准备可用代理）。
4.4 现象：<a href="/product?id=123">被重写为./product?id=123，点击后 404
原因：小飞兔只重写路径部分，不处理查询参数（query string）。而/product?id=123是动态路由，服务端需解析参数才能返回页面，静态文件系统无法响应。
解决：在excludePatterns中加入该类 URL 模式（如"^/product\\?.*$"），或改用--crawl-depth 2让工具自动发现并下载/product/123/这类语义化路径（需目标站本身支持）。
4.5 现象：下载完成后，打开首页 HTML，所有样式丢失，审查元素发现 CSS 文件 404
原因：CSS 文件内含@import url("/theme.css")，而小飞兔默认不递归解析 CSS 内部的@import。
解决：启用--parse-css-imports true参数（小飞兔 10.0 新增），该参数会解析 CSS 文件中的@import并下载被导入的资源。注意：此功能会显著增加请求量，务必配合--delay使用。
5. 进阶技巧：用 HTML 静态校验反向验证扒站完整性
下载完成只是第一步，如何确认“扒得准、没丢件、结构对”？我从不依赖肉眼点开看，而是用一套自动化校验流程，把小飞兔输出的静态文件当作“测试对象”来验证。这套方法在某高校课程网站归档项目中，帮我们提前发现了 37 处 CSS 路径重写错误和 2 处 JS 依赖缺失。
5.1 构建校验清单：从原始站提取黄金标准
首先，用 Chrome 开发者工具的Application → Frames → Top Frame → Manifest（如有）或Network → Filter: doc，手动记录原始站首页的：
- 所有
<link rel="stylesheet">的href值（去协议、去域名，只留路径） - 所有
<script src>的src值（同上） - 所有
<img src>的src值（同上） - 页面内所有
<a href>的href值（仅同源路径，过滤掉#锚点和外部链接）
保存为original-links.json：
{ "stylesheets": ["/static/css/main.css", "/theme/dark.css"], "scripts": ["/js/vendor.js", "/js/app.js"], "images": ["/logo.png", "/banner.jpg"], "links": ["/about/", "/products/", "/contact/"] }5.2 编写校验脚本：比对本地文件存在性与路径一致性
用 Python 快速实现校验逻辑（validate-site.py）：
#!/usr/bin/env python3 import json import os import sys from urllib.parse import urlparse def load_original_links(file_path): with open(file_path, 'r', encoding='utf-8') as f: return json.load(f) def normalize_path(url_path): """将 /static/css/main.css 转为 ./static/css/main.css""" if url_path.startswith('/'): return '.' + url_path return url_path def check_files_exist(base_dir, file_list): missing = [] for path in file_list: normalized = normalize_path(path) full_path = os.path.join(base_dir, normalized.lstrip('./')) if not os.path.exists(full_path): missing.append({ "original": path, "normalized": normalized, "expected_path": full_path }) return missing if __name__ == "__main__": if len(sys.argv) != 3: print("Usage: python validate-site.py <original-links.json> <output-dir>") sys.exit(1) original = load_original_links(sys.argv[1]) output_dir = sys.argv[2] all_missing = [] for key, paths in original.items(): if key in ['stylesheets', 'scripts', 'images']: missing = check_files_exist(output_dir, paths) if missing: print(f"❌ Missing {key}: {len(missing)} files") all_missing.extend(missing) elif key == 'links': # links 不校验文件存在，只校验 HTML 是否生成 for link in paths: if link.endswith('/'): html_path = os.path.join(output_dir, link.lstrip('/'), 'index.html') else: html_path = os.path.join(output_dir, link.lstrip('/')) + '.html' if not os.path.exists(html_path): all_missing.append({"type": "link", "original": link, "missing": html_path}) if all_missing: print(f"\n🔍 Total missing items: {len(all_missing)}") with open(os.path.join(output_dir, "validation-report.json"), "w", encoding="utf-8") as f: json.dump(all_missing, f, indent=2, ensure_ascii=False) print("📝 Report saved to validation-report.json") sys.exit(1) else: print("✅ All critical resources found and correctly linked!")执行方式：
python validate-site.py original-links.json ./output/example-com。脚本会生成validation-report.json，列出所有缺失项及预期路径，方便你快速定位是重写规则问题、还是下载被跳过。
5.3 修复闭环：根据报告反向修正配置
拿到validation-report.json后，不要直接手动补文件。而是回到配置层修复：
- 若缺失
./static/css/main.css：检查rewrite-rules.json中是否覆盖/static/.*，并确认includePatterns是否包含该路径； - 若缺失
./products/index.html：检查sites/example-com.json中--crawl-depth是否足够（首页链接/products/需被发现并抓取）； - 若报告中出现
type: link缺失：说明小飞兔未将该<a>链接识别为可抓取目标，需在includePatterns中显式添加该路径正则。
从那以后我每次启动小飞兔下载任务，都强制走一遍“原始链接提取 → 下载 → 自动校验 → 配置修正”闭环。哪怕多花 10 分钟，也比第二天打开页面发现样式全崩、联系人电话打不开来得强。希望帮到你。
本文还有配套的精品资源，点击获取
