Open Crawler MCP Server

robots.txt를 준수하고, 속도 제한 및 페이지 크기 보호 기능을 갖춘 웹 크롤러 및 텍스트 추출기입니다.