AI Crawler Checker

mediaspearhead.com

免费检查网站 robots.txt 是否屏蔽 ChatGPT 等 18 个 AI 爬虫，并给出具体修复方法。

免费免登录网页

被推荐 1 次

适合做什么

适合网站主、SEO 人员检查 AI 爬虫可访问性，确保内容能被 AI 搜索引用。

价格

特性

平台

SEO / GEO 增长

AI 营销与品牌可见性分析平台，整合 SEO、广告、社媒等多维度数据。

免费+付费有 API网页

semrush.com1 处推荐

SEO / GEO 增长

★ 10,955

面向 Claude Code 的 GEO 优先 SEO 技能，评估网站被 AI 搜索引用的能力并生成优化报告

开源Claude命令行

github.com1 处推荐

SEO / GEO 增长

AI 营销平台，基于海量数据提供搜索、内容、社媒等全链路优化工具。

免费+付费有 API网页

ahrefs.com1 处推荐

SEO / GEO 增长

开源 SEO 平台，Ahrefs/Semrush 的替代品，支持关键词研究、外链、排名追踪与站点审计，可按量付费或自托管。

开源有 API支持 MCP可自部署网页

openseo.so1 处推荐

MCP 服务

开源 SEO 工具与 MCP 服务器，让 AI 代理基于 DataForSEO 数据做关键词研究、排名跟踪与站点审计。

开源有 API支持 MCP可自部署Claude

openfree.tools1 处推荐

SEO / GEO 增长

免费在线工具，输入网址检测 AI 助手能读取页面多少内容，含 robots.txt、llms.txt 等 14 项检查。

免费免登录网页

nicklaunches.com1 处推荐