Crawl4AI
github.com
开源网页爬虫与抓取工具，把任意网站转成干净的 LLM 友好 Markdown，支持自托管或云 API。
开源有 API支持 MCP免登录可自部署命令行
GitHub ★ 84,958被推荐 1 次
适合做什么
适合做 RAG 知识库、AI Agent 数据管道的开发者，需要把网页批量转 Markdown 或接入 MCP 的人。
标签与属性
同类推荐
飞桨开源 OCR 与文档解析工具包，可将 PDF/图片转为 LLM 可用的 Markdown/JSON，支持 100+ 语言。
开源可自部署多模态中文界面有 API
github.com1 处推荐
开源 RAG 与 Agent 应用开发框架，含 300+ 集成，配套 LlamaParse 文档解析平台。
开源有 API可自部署LinuxMac
github.com1 处推荐
开源网页数据 API，把任意网站抓取为 LLM 可用的 Markdown、JSON 或截图，支持搜索与页面交互。
开源有 API可自部署支持 MCP网页
github.com2 处推荐
开源文档解析工具，把 PDF、DOCX、PPTX 等转成 Markdown/JSON，为生成式 AI 准备数据
开源可自部署LinuxMacWindows
github.com1 处推荐
开源文档解析工具，把 PDF、Office 等复杂文档转成 LLM 可用的 Markdown/JSON。
可自部署LinuxMacWindows命令行
github.com1 处推荐
RAG 框架