GEO 雷达 AI Search Radar
工具 / AI 爬虫

AI 爬虫 robots 检查

粘贴 robots.txt,检查 10 个 AI bot 是否能访问根路径。

这是静态规则解析,不是实际抓取测试;robots 是建议,不是访问控制。

结果

    Bot所有者根路径

    Bot 清单

    Bot所有者用途文档
    GPTBotOpenAI训练/索引文档
    OAI-SearchBotOpenAI搜索文档
    ChatGPT-UserOpenAI用户触发访问文档
    ClaudeBotAnthropic训练文档
    PerplexityBotPerplexity搜索/引用文档
    Google-ExtendedGoogleGemini 训练/grounding文档
    CCBotCommon Crawl公共语料文档
    BytespiderByteDance抓取文档
    Applebot-ExtendedAppleAI 训练文档
    AmazonbotAmazon抓取文档