CrawlAPI

crawlapi-js

SDK oficial em JavaScript/TypeScript para CrawlAPI — API de web scraping construída para agentes de IA.

Envie uma URL e receba markdown limpo que seu LLM consegue ler de verdade.

Instalação

npm install crawlapi-js

Início Rápido

const CrawlAPI = require('crawlapi-js');

const client = new CrawlAPI({ apiKey: 'YOUR_RAPIDAPI_KEY' });

// Scrape a URL → clean markdown
const result = await client.scrape('https://example.com');
console.log(result.data.markdown);

// Scrape multiple URLs in parallel
const batch = await client.batch([
  'https://example.com',
  'https://example.org'
]);

// Search + scrape top results in one call
const search = await client.search('LangChain web scraping 2025', { num: 5 });

Obtenha uma Chave de API

Disponível na RapidAPI. Plano gratuito: 50 chamadas/dia, sem cartão de crédito.

API

client.scrape(url, options?)

Extrai uma única URL com renderização completa de JavaScript.

const result = await client.scrape('https://example.com', {
  formats: ['markdown'],   // 'markdown' | 'html' | 'text' | 'structured'
  waitFor: 1000,           // ms to wait after page load (JS-heavy pages)
  timeout: 30000           // max ms (default 30s, max 60s)
});

console.log(result.data.markdown);
console.log(result.data.metadata.title);

client.batch(urls, options?)

Extrai até 10 URLs em paralelo. URLs com falha retornam um campo de erro em vez de falhar a requisição inteira.

const result = await client.batch([
  'https://example.com',
  'https://example.org',
  'https://example.net'
]);

result.data.forEach(item => {
  if (item.success) console.log(item.data.markdown);
  else console.error(item.url, item.error);
});

client.search(query, options?)

Pesquisa na web e extrai automaticamente os N principais resultados.

const result = await client.search('best pizza in New York', {
  num: 5,                  // 1-10 results (default 5)
  formats: ['markdown']
});

result.data.forEach(item => {
  console.log(item.title, item.url);
  if (item.success) console.log(item.data.markdown);
});

Exemplos com Frameworks de Agentes

LangChain

const { Tool } = require('langchain/tools');
const CrawlAPI = require('crawlapi-js');

const client = new CrawlAPI({ apiKey: process.env.RAPIDAPI_KEY });

const webTool = new Tool({
  name: 'WebScraper',
  description: 'Scrape any URL and return clean markdown content. Input should be a URL.',
  func: async (url) => {
    const result = await client.scrape(url);
    return result.data.markdown;
  }
});

OpenAI Function Calling

const CrawlAPI = require('crawlapi-js');
const client = new CrawlAPI({ apiKey: process.env.RAPIDAPI_KEY });

// Tool definition
const tools = [{
  type: 'function',
  function: {
    name: 'scrape_url',
    description: 'Scrape a webpage and return its content as clean markdown',
    parameters: {
      type: 'object',
      properties: {
        url: { type: 'string', description: 'The URL to scrape' }
      },
      required: ['url']
    }
  }
}];

// Handle tool call
async function handleToolCall(url) {
  const result = await client.scrape(url);
  return result.data.markdown;
}

n8n / Flowise / HTTP Personalizado

Todos os endpoints aceitam requisições JSON POST padrão:

POST https://crawlapi.net/v1/scrape
X-RapidAPI-Key: YOUR_KEY
Content-Type: application/json

{ "url": "https://example.com", "formats": ["markdown"] }

Especificação OpenAPI completa: crawlapi.net/openapi.json

TypeScript

Tipos TypeScript completos incluídos:

import { CrawlAPI, ScrapeResponse } from 'crawlapi-js';

const client = new CrawlAPI({ apiKey: process.env.RAPIDAPI_KEY! });
const result: ScrapeResponse = await client.scrape('https://example.com');

Servidor MCP (Claude Desktop, Cursor, Windsurf)

O CrawlAPI acompanha um servidor MCP integrado — conecte-o diretamente a qualquer cliente de IA compatível com MCP.

Configuração

1. Clone ou baixe mcp-server.js deste repositório.

2. Adicione à configuração do seu Claude Desktop (~/Library/Application Support/Claude/claude_desktop_config.json no Mac):

{
  "mcpServers": {
    "crawlapi": {
      "command": "node",
      "args": ["/path/to/crawlapi-js/mcp-server.js"],
      "env": {
        "CRAWLAPI_KEY": "your_rapidapi_key"
      }
    }
  }
}

3. Reinicie o Claude Desktop. Você verá três novas ferramentas:

• scrape_url — extrai qualquer página para markdown
• batch_scrape — extrai até 10 URLs em paralelo
• search_and_scrape — pesquisa + extrai os principais resultados de uma só vez

Cursor / Windsurf / Continue

Mesma configuração, local diferente. Consulte a documentação de MCP do seu editor. O arquivo mcp-server.js funciona com qualquer cliente MCP com transporte stdio.

O que o agente vê

"Use scrape_url para buscar páginas web como markdown limpo. Use search_and_scrape para pesquisar tópicos na web ao vivo. Ambos suportam páginas renderizadas com JavaScript."

Obtenha sua chave de API na RapidAPI — plano gratuito incluído.

Descoberta por Agentes de IA

O CrawlAPI publica todos os arquivos padrão de descoberta:

Arquivo	URL
llms.txt	crawlapi.net/llms.txt
Especificação OpenAPI	crawlapi.net/openapi.json
Manifesto do plugin de IA	crawlapi.net/.well-known/ai-plugin.json
Manifesto MCP	crawlapi.net/.well-known/mcp.json
APIs.json	crawlapi.net/apis.json

Links

• 🌐 crawlapi.net
• 📦 Listagem na RapidAPI
• 📄 Especificação OpenAPI
• 🤖 llms.txt
• 🔌 Servidor MCP