AI Bot 数据
10 个常见 AI 爬虫/搜索 bot;以官方文档为准。
| 名称 | User-Agent | 所有者 | 用途 | 文档 |
|---|---|---|---|---|
| GPTBot | GPTBot | OpenAI | 训练/索引 | 官方文档 |
| OAI-SearchBot | OAI-SearchBot | OpenAI | 搜索 | 官方文档 |
| ChatGPT-User | ChatGPT-User | OpenAI | 用户触发访问 | 官方文档 |
| ClaudeBot | ClaudeBot | Anthropic | 训练 | 官方文档 |
| PerplexityBot | PerplexityBot | Perplexity | 搜索/引用 | 官方文档 |
| Google-Extended | Google-Extended | Gemini 训练/grounding | 官方文档 | |
| CCBot | CCBot | Common Crawl | 公共语料 | 官方文档 |
| Bytespider | Bytespider | ByteDance | 抓取 | 官方文档 |
| Applebot-Extended | Applebot-Extended | Apple | AI 训练 | 官方文档 |
| Amazonbot | Amazonbot | Amazon | 抓取 | 官方文档 |
列表不是穷尽;bot 名称和策略会变化,robots 规则需定期复核。