SEO/GEO · 3 分钟
你的网站可能正在屏蔽 AI：一份 AI 爬虫放行检查清单
内容写得再好，AI 爬虫进不来也没用。很多网站是在不知情的情况下屏蔽了搜索类 AI 爬虫，这可能是 GEO 里成本最低的一项修复。
先分清三类爬虫
各平台把“搜索引用”和“模型训练”拆成了不同爬虫，所以这不是一个“要不要让 AI 抓”的单选题。《海外GEO白皮书》的建议是：
| 类型 | 代表 | 建议 | 原因 |
|---|---|---|---|
| 搜索与引用 | Googlebot、OAI-SearchBot、PerplexityBot、Claude-SearchBot | 放行 | 屏蔽就等于退出对应平台的引用 |
| 用户发起的访问 | ChatGPT-User、Perplexity-User、Claude-User | 放行 | 用户让 AI 查看页面时才会触发 |
| 模型训练 | GPTBot、ClaudeBot、Google-Extended | 按内容价值决定 | 影响长期品牌认知；付费内容和独家数据可考虑屏蔽 |
robots.txt 示例
下面是“放行搜索和用户访问，屏蔽训练”的写法，仅作示例：
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: GPTBot
Disallow: /
爬虫名称会变化，上线前请对照各平台的官方文档。对多数想被 AI 推荐的品牌来说，公开的营销页和产品页不必屏蔽训练爬虫，这条要按内容资产的价值来决定。
三个容易踩的坑
坑一：Google-Extended 不是单纯的“训练开关”。
它不影响 AI Overviews 和 AI Mode，这两者只认 Googlebot。但屏蔽它之后，内容也不会用于 Gemini 应用内的落地引用。所以“屏蔽它就能退出 AI Overviews”是误区，“屏蔽它没有副作用”也是误区。
坑二：CDN 可能替你做了决定。
2025 年 7 月 1 日起，Cloudflare 对其托管的网站默认拦截 AI 爬虫。robots.txt 写得再对，也可能在 CDN 或防火墙这一层被挡住。
坑三：AI 爬虫可能看不到你的内容。
白皮书引用 Vercel 2024 年 12 月的数据：GPTBot、ClaudeBot、PerplexityBot 等主要 AI 爬虫都不执行 JavaScript。ChatGPT 和 Claude 的抓取中，约三成碰到 404。纯前端渲染的网站要特别注意。
检查清单
- ☐ 核对 robots.txt、CDN、WAF 三层设置
- ☐ 确认搜索类和用户访问类爬虫已放行
- ☐ 单独决定是否放行 Google-Extended
- ☐ 关闭 JavaScript 后查看关键页面，确认正文仍在
- ☐ 查看服务器日志，确认 AI 爬虫真的来过
- ☐ 统计 AI 爬虫的 4xx、5xx 和超时比例
- ☐ 用 sitemap 核对哪些重点页面长期没被访问
- ☐ 检查 nosnippet、max-snippet 等预览控制是否过严
日志比猜测可靠
判断“AI 有没有来过”，服务器日志是最直接的依据。如果不想自己分析，白皮书提到了 MIT 许可证开源的 GEOInflow，它可以按“训练、AI 搜索、用户触发”区分爬虫用途。
但要记住边界：抓取记录只能说明爬虫来过，不能说明内容被收录、被引用或被推荐。这些仍要靠提示词采样来验证。
另外，Google 提示预览控制的修改，重新抓取可能需要几天到几个月。改完不要急着下结论。
一句话总结
先确认门是开的，再谈内容。把 robots.txt、CDN、WAF 和渲染方式都查一遍，再去看日志。