Open Crawler MCP Server

Robots.txt uyumluluğu, hız sınırlaması ve sayfa boyutu korumasına sahip bir web tarayıcı ve metin çıkarıcı.