Open Crawler MCP Server

一个符合robots.txt规范、具备速率限制和页面大小保护的网络爬虫与文本提取工具。