3分钟跑通 pi agent 资源爬虫：awesome-pi-agent Discord 爬虫快速入门教程

• 文档
• AI Agent
• 网页爬虫

awesome-pi-agent 是一个收录 pi coding agent（pi-mono）扩展、技能与工具的精选资源列表，仓库内附带一套基于 Puppeteer 的pi agent 资源爬虫：它自动扫描 Discord 服务器中的频道与论坛帖子，提取 GitHub 链接、过滤出 pi-agent 相关项目，并与 awesome 列表自动比对，帮你快速发现值得收录的新资源。本教程将带你 3 分钟内跑通这个 Discord 爬虫。

🧭 这个 Discord 爬虫能做什么？

在 discord_scraping/ 目录中，爬虫完成了一条完整的"资源发现流水线"：

💡 新爬虫基于 Puppeteer 重写，支持抓取 Discord论坛帖子（旧版做不到），发现资源的数量是旧版的 3-4 倍。

📦 环境准备：获取仓库并安装依赖

爬虫依赖 Node.js 和 Chrome 浏览器，并需要一个已登录的 Discord 账号。获取代码并安装依赖，只需 3 条命令：

git clone https://gitcode.com/gh_mirrors/aw/awesome-pi-agent cd awesome-pi-agent/discord_scraping npm install

依赖清单非常轻量，见 package.json，核心只有puppeteer-core一个库。

🚀 一键启动：3 分钟完成首次扫描

进入爬虫目录后执行统一入口脚本 run.sh：

./run.sh

首次运行会启动一个可见的 Chrome 窗口：

• 如果浏览器里尚未登录 Discord，脚本会自动检测并保持窗口打开，让你手动登录一次；
• 登录后扫描自动继续，整个过程约3-5 分钟；
• 扫描结束后，脚本自动对比 awesome 列表，打印出"🆕 新仓库"清单。

扫描逻辑与列表比对的实现分别位于 scraper.js（单频道消息抓取）和 run.sh（新仓库检测）。

无头模式：后台静默运行

配置完成后，推荐加上--headless参数在后台运行，适合定时任务：

./run.sh --headless

无头模式下若检测到未登录，run.sh 会自动切回交互模式引导你登录一次，之后即可继续无头运行。你甚至可以用 crontab 设置每天 9 点自动扫描（示例见 discord_scraping/README.md 的 Automation 一节）。

📊 读懂扫描结果与数据文件

所有数据都保存在discord_scraping/data/目录（已被 git 忽略），结构如下：

data/ ├── state.json # 追踪状态：服务器、频道、上次运行时间 ├── all-repos.json # 累计发现的全部仓库（含提及上下文） └── runs/ └── TIMESTAMP/ ├── metadata.json # 本次运行统计 ├── all-messages.json # 全部命中消息 ├── pi-agent-messages.json # pi-agent 相关消息 └── repos.json # 本次发现的仓库

state.json还内置了默认扫描目标——一个 pi 社区 Discord 服务器及其 3 个论坛频道（extensions、share-your-pi、ask-for-help），配置示例见 scraper.js 的DEFAULT_CONFIG。

运行输出大致长这样：

📡 Server: The Shitty Coders Club Searching #pi-mono... ✅ Found 50 new matches 📊 Results: - Unique GitHub repos: 12 🆕 GitHub repositories found: - tmustier/pi-extensions https://github.com/tmustier/pi-extensions

🛠️ 常用命令速查表

常见问题排查 🔍

• 提示未登录 Discord：改用./run.sh交互模式，在打开的窗口里登录一次即可，会话会持久保存；
• 浏览器无法启动：确认本机已安装 Chrome，必要时关闭其他 Chrome 实例再试；
• 显示"没有新消息"：这是正常现象，说明上次运行后 Discord 没有新动态；
• 端口或配置冲突：清理配置锁文件后重跑，详见 discord_scraping/README.md 的 Troubleshooting 章节。

📝 下一步：把发现反哺到 awesome 列表

扫描只是第一步。按照仓库 AGENTS.md 定义的工作流，你应该对每个"新仓库"做人工筛选：

1. 确认链接有效、项目近一年仍在维护、有文档；
2. 确认不是已有条目的重复；
3. 用一行式条目- name — 简短描述添加到 README.md 对应分类（Extensions / Skills / Tools & Utilities 等），并保持字母序。

run.sh除了报告新仓库，还会检测已收录仓库下的新增子条目链接（tree/或blob/地址），同样值得留意。

恭喜！你已经跑通了这套 pi agent 资源爬虫。每天花几十秒执行一次./run.sh --headless，让 Discord 社区里散落的宝藏自动出现在你的雷达上 🎯。

• 文档
• AI Agent
• 网页爬虫