学习 / AI 爬虫与 robots:先允许被读
AI 爬虫与 robots:先允许被读
GPTBot、ClaudeBot、PerplexityBot 等 AI 爬虫的 robots 规则、常见误挡与检查顺序。
更新:2026-11-01 · 约 4 分钟
常见 AI 爬虫
GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extended、CCBot、Bytespider、Applebot-Extended、Amazonbot。
常见误挡
- 为了“防采集”直接
Disallow: /,把搜索型 bot 也挡了。 - 只写
User-agent: *却以为能单独控制某个 bot。 - robots 挡住 CSS/JS,渲染型抓取看不到内容。
- 把 robots 当访问控制,真正的私有页应登录/鉴权。
检查顺序
- robots 200 且可读。
- 目标 bot 是否有独立组。
- 根路径是否被
Disallow: /挡住。 - sitemap 是否声明。
用 AI 爬虫检查器 做静态解析;它不是实际抓取测试。