Doormat CrawlerCheck
Kostenloser Checker für den Zugriff von KI-Crawlern über MCP. Das Tool check_ai_crawler_access meldet, welche namentlich genannten KI-Bots (GPTBot, ClaudeBot usw.) Ihre robots.txt zulässt oder blockiert. Der kostenpflichtige Aufruf /report (0.03 USDC, x402 auf Base) ergänzt eine Empfehlung in einfachem Englisch und einen direkt einfügbaren robots.txt-Ausschnitt.
Dokumentation
crawlercheck
Checks which of the ~20 named AI crawlers (GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended and more) your site's robots.txt currently allows or blocks.
Free, no signup. Paid (0.03 USDC on Base): /report?url= adds a plain-English recommendation and a ready-to-paste robots.txt snippet.
crawlercheck by Doormat Capital — free AI-crawler robots.txt checker. Submitted to Twelve Tools.
Our fortnightly notes on what we ship: doormat.sebastiaan-ba3.workers.dev