AI 爬虫 robots 检查
粘贴 robots.txt,检查 10 个 AI bot 是否能访问根路径。
这是静态规则解析,不是实际抓取测试;robots 是建议,不是访问控制。
结果
Bot 清单
| Bot | 所有者 | 用途 | 文档 |
|---|
| GPTBot | OpenAI | 训练/索引 | 文档 |
| OAI-SearchBot | OpenAI | 搜索 | 文档 |
| ChatGPT-User | OpenAI | 用户触发访问 | 文档 |
| ClaudeBot | Anthropic | 训练 | 文档 |
| PerplexityBot | Perplexity | 搜索/引用 | 文档 |
| Google-Extended | Google | Gemini 训练/grounding | 文档 |
| CCBot | Common Crawl | 公共语料 | 文档 |
| Bytespider | ByteDance | 抓取 | 文档 |
| Applebot-Extended | Apple | AI 训练 | 文档 |
| Amazonbot | Amazon | 抓取 | 文档 |