SEO/GEO · 2 分钟
先确认 AI 爬虫能进来：外贸站的 robots.txt 检查
三句话看完
- AI 公司的爬虫分两类：一类收集训练数据，一类为实时回答抓取网页。
- 想被 AI 回答引用，重点是别挡住后一类。
- 除了 robots.txt，还要检查防火墙和 CDN 有没有拦截。
主要爬虫一览
| 公司 | 名称 | 用途 |
|---|---|---|
| OpenAI | GPTBot | 收集模型训练数据 |
| OpenAI | OAI-SearchBot | ChatGPT 搜索结果 |
| OpenAI | ChatGPT-User | 用户提问时访问页面 |
| Anthropic | ClaudeBot | 收集模型训练数据 |
| Anthropic | Claude-SearchBot | 改善搜索结果 |
| Anthropic | Claude-User | 用户提问时访问页面 |
| Perplexity | PerplexityBot | Perplexity 搜索结果 |
| Google-Extended | 控制内容是否用于 Gemini 训练，不影响 Google 搜索 |
这些名称会变，上线前请到各家官方文档核对一次。
检查步骤
- 打开
你的域名/robots.txt，看有没有Disallow: /针对全部爬虫或上面这些名称。 - 看建站平台或安全插件有没有“屏蔽 AI 爬虫”的开关，有些默认打开。
- 检查 CDN 和防火墙的机器人规则，这一层的拦截在 robots.txt 里看不出来。
- 确认产品页不依赖登录，正文不是只靠 JavaScript 才显示出来。
一份示例配置
允许回答类爬虫，不想提供训练数据时可以单独禁止训练类爬虫。是否禁止是你的取舍。
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
Sitemap: https://www.example.com/sitemap.xml我的判断
外贸站的目标是被找到，我倾向于全部放行。真有不想公开的资料，就不要放在公开页面上。
