免费 SEO 工具
AI 爬虫检测
ChatGPT、Claude、Perplexity 到底能不能读到你的站？工具会比对 robots.txt 中 17 个 AI 爬虫的策略、检查 llms.txt 发现层，并给出 0-100 的 AI 可读性评分。免费、无需注册。
# 更喜欢终端？同一套审计，开源
pip install zens-ink
zens-ink ai_crawler_audit https://yoursite.com
评分意味着什么
AI 搜索就绪
AI 搜索爬虫可以访问，llms.txt 层就位。AI 引擎可以引用和摘录你的页面。
部分可见
部分爬虫被屏蔽或 llms.txt 层缺失。通常改几行 robots.txt 就能修复。
对 AI 搜索不可见
AI 搜索爬虫被 robots.txt 屏蔽——ChatGPT、Claude、Perplexity 无法引用你。常见原因是「全站禁爬」误伤。
常见问题
怎么检查 AI 爬虫能不能读取我的网站？
在上方输入你的域名点「检测」。工具会抓取 robots.txt，比对 17 个 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Google-Extended 等）的策略，检查 llms.txt 发现层，并给出 0-100 的 AI 可读性评分。免费、无需注册。
哪些 AI 爬虫对 SEO 最重要？
AI 搜索爬虫最重要：OAI-SearchBot（ChatGPT 搜索）、Claude-SearchBot、PerplexityBot 和 Googlebot（AI Overviews 引用）。屏蔽它们意味着 AI 引擎无法引用你的页面。GPTBot、CCBot 这类训练爬虫影响的是模型数据，不是搜索可见性。
robots.txt 对 AI 爬虫怎么写比较好？
常见的平衡策略：放行 AI 搜索爬虫（OAI-SearchBot、PerplexityBot、Claude-SearchBot），放行 Googlebot，训练爬虫按你的 IP 策略决定。可以加 Content-Signals（如 ai-train=no, search=yes）实现「退出训练但不退出搜索」。
llms.txt 是什么，需要吗？
llms.txt 是放在站点根目录的 markdown 文件，向 AI 引擎列出你的关键页面。它不是排名因素，但能帮 LLM 搜索和助手更快理解你的内容结构。zens-ink 的 llms_gen 工具可以从 sitemap 免费生成。
这个 AI 爬虫检测工具真的免费吗？
是的。网页版在本页直接运行、无需注册；同一套审计逻辑也在开源的 zens-ink CLI 里（`zens-ink ai_crawler_audit 你的域名`），MIT 协议，可以在 CI 或终端里跑。