Open Crawler MCP Server

Ein Webcrawler und Textextraktor mit robots.txt-Konformität, Ratenbegrenzung und Seitengrößenschutz.