还在为网站内容整理发愁吗?Markdowner来帮你!这个强大的开源工具能够将任何网站瞬间转换为适合大型语言模型处理的Markdown格式数据,让你的AI应用更智能、更高效。
【免费下载链接】markdownerA fast tool to convert any website into LLM-ready markdown data.项目地址: https://gitcode.com/gh_mirrors/ma/markdowner
为什么要用Markdowner?
在构建AI应用时,我们常常需要处理大量的网页内容。传统的HTML格式对AI来说过于复杂,而Markdown格式则更加简洁明了。当数据以结构化、可预测的Markdown格式呈现时,LLM的响应质量会得到显著提升。
市面上虽然已有类似工具,但它们要么价格昂贵,要么功能受限,要么部署复杂。Markdowner就是为了解决这些问题而生——免费、功能强大且易于部署!
核心功能一览
- 万能转换器:支持任何网站URL到Markdown的转换
- 智能过滤:利用先进技术自动去除无关信息和广告内容
- 详细模式支持:可选择获取包含完整HTML内容的详细响应
- 自动抓取功能:无需站点地图,自动抓取最多10个子页面
- 多格式输出:支持文本和JSON两种响应格式
- 一键自部署:简单几步就能拥有自己的Markdown转换服务
快速上手指南
使用Markdowner非常简单,只需发送GET请求到服务端点:
curl 'https://md.dhr.wtf/?url=https://example.com'必需参数
url(字符串):要转换为Markdown的网站URL
可选参数
enableDetailedResponse(布尔值):启用详细响应模式,包含完整HTML内容crawlSubpages(布尔值):自动抓取子页面内容llmFilter(布尔值):启用智能过滤功能,去除无关信息
响应类型设置
- 在请求头中添加
Content-Type: text/plain获取纯文本响应 - 添加
Content-Type: application/json获取JSON格式响应
技术实现揭秘
Markdowner底层采用了先进的浏览器渲染技术和耐用对象(Durable Objects),能够在服务器端模拟真实浏览器环境,然后使用Turndown库将HTML转换为Markdown格式。
自主部署教程
想要拥有自己的Markdown转换服务?按照以下步骤操作:
克隆仓库并安装依赖:
git clone https://gitcode.com/gh_mirrors/ma/markdowner npm install创建缓存命名空间:
npx wrangler kv:namespace create md_cache打开
wrangler.toml文件,更新相应的ID配置运行部署命令:
npm run deploy
就这么简单!你的Markdown转换服务就部署完成了。
支持我们
如果你觉得Markdowner对你有帮助,请给我们的项目点个星支持一下!⭐
Markdowner不仅是一个工具,更是信息管理方式的一次革新。无论是个人博客备份、企业知识库建设,还是AI学习系统搭建,它都能成为你的得力助手。现在就试试Markdowner,让内容管理和分析变得前所未有的简单高效!
【免费下载链接】markdownerA fast tool to convert any website into LLM-ready markdown data.项目地址: https://gitcode.com/gh_mirrors/ma/markdowner
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考