Apify Public Data MCP

25 raspadores de dados públicos (Google Maps, empregos, SEC EDGAR, registros) como ferramentas MCP

GitHubExperimente este MCPPatrocinado

Documentação

mcp-name: io.github.jlucasmcrell/apify-scrapers

Apify Public Data MCP: 25 Scrapers de Produção e Registros Públicos

Python 3.10+ Node.js 18+ Apify Verified Glama MCP Server License: MIT Smithery Um único servidor MCP dá a um agente de IA 25 extratores de dados públicos de produção - leads de negócios do Google Maps, vagas do LinkedIn e Glassdoor, SEC EDGAR, USAspending, FEC, EPA, ClinicalTrials.gov, openFDA, Europe PMC, GLEIF, provedores CMS, geocodificação do Census, registros estaduais de empresas, licenças de empreiteiros, Airbnb, YouTube, Twitch e Google Play - cada um rodando como um Actor na sua própria conta Apify. Instale com uvx apify-data-scrapers (Claude Desktop, Cursor, qualquer cliente MCP) ou chame os mesmos Actors diretamente de Python, Node.js ou ferramentas no-code.

Cada actor é construído com validação rigorosa de schema, mapeamento determinístico de campos, seletores DOM auto-reparáveis e preço por evento (taxas por resultado a partir de $0,00015, início de Actor a partir de $0,0005; o preço ao vivo da Apify Store é a referência oficial).

Navegação Rápida

Guias por caso de uso

Uma página por pergunta que um agente recebe, cada uma listando as ferramentas, argumentos, campos retornados e preços para aquela tarefa:

Extratores Disponíveis e Listagens na Store

Cada extrator abaixo é tanto uma listagem na Apify Store quanto uma ferramenta MCP do mesmo servidor; as seções são as perguntas com que os compradores chegam.

Inteligência de negócios e geração de leads

FerramentaLink da StoreCampos de Saída PrincipaisMelhor Para
Leads de Negócios do Google Mapscaptainhandsome/google-maps-business-searchNome, telefone, site, avaliação, comentários, endereço, coordenadas, horáriosGeração de leads B2B, prospecção de agências locais
Scanner de Stack Tecnológica e Ecommerce de Sitescaptainhandsome/tech-stack-detectortecnologias, cms, plataforma_ecommerce, pagamentos, emailsMelhor para pesquisa competitiva de tecnologia e qualificação de leads B2B em um lote de sites de empresas.
Registros de Entidades Empresariais dos EUAcaptainhandsome/us-business-entity-searchNome da entidade legal, número de arquivamento, jurisdição, statusDue diligence legal, verificações de registro corporativo
Busca de Entidades Empresariais do Alabamacaptainhandsome/al-business-entity-searchid da entidade, nome da entidade, localização, tipo de entidade, statusBuscar entidades empresariais do Alabama por nome da empresa e exportar IDs de entidade
Busca de Entidades Empresariais Florida Sunbizcaptainhandsome/fl-sos-new-filingsnome da entidade, número do documento, status, tipo de entidade, data de arquivamentoBuscar resultados de nomes de empresas no Florida Sunbiz e exportar nomes de entidades legais
Busca de Diretores e Agentes Registrados Florida Sunbizcaptainhandsome/fl-sunbiz-officer-searchnome do diretor, nome da entidade, número do documento, url de detalhes, tipo de entidadeBuscar no Florida Sunbiz por nome de diretor ou agente registrado e exportar o
Busca de Empresas Francesascaptainhandsome/french-company-searchsiren, nome, nome legal, sigla, statusBuscar o registro oficial de empresas da França por nome, atividade, código postal,
Consulta GLEIF LEIcaptainhandsome/gleif-lei-searchlei, nome_legal, registrado_como, nome_forma_legal, statusMelhor para KYC e due diligence de contrapartes: resolver o Identificador de Entidade Legal de uma empresa, status de registro e número de registro nacional próprio antes da integração.
Licenças de Empreiteiros dos EUAcaptainhandsome/us-contractor-license-searchNome do empreiteiro, número da licença, classificação, status, estadoVerificação de ofícios, due diligence de subcontratados
Busca de Licenças de Empreiteiros da Califórniacaptainhandsome/ca-contractor-license-searchnome do empreiteiro, tipo de nome, número da licença, cidade, statusBuscar registros de empreiteiros CSLB da Califórnia por nome do empreiteiro e exportar

Empregos, inteligência de mercado e do consumidor

FerramentaLink da StoreCampos de Saída PrincipaisMelhor Para
Empregos e Salários no Glassdoorcaptainhandsome/glassdoor-jobs-scraperTítulo, empresa, estimativa salarial, avaliação, localização, URL da vaga, data de publicaçãoInteligência de contratação, benchmarking de remuneração
Empregos Públicos no LinkedIncaptainhandsome/linkedin-public-jobs-searchTítulo da vaga, empregador, localização, URL de candidatura direta, idade da publicaçãoRecrutamento, monitoramento de talentos de tecnologia
Aluguéis de Temporada no Airbnbcaptainhandsome/airbnb-listings-searchTítulo, tipo de quarto, preço por noite, avaliação, número de comentários, URL da listagemPesquisa imobiliária, acompanhamento de taxas de mercado
Avaliações de Apps no Google Playcaptainhandsome/google-play-reviews-scraperTexto da avaliação, pontuação em estrelas, polegares para cima, data, nome do avaliadorSentimento na loja de apps, feedback de concorrentes
Busca de Vídeos no YouTubecaptainhandsome/youtube-search-scraperTítulo, URL do vídeo, canal, número de visualizações, duração, data de publicaçãoAcompanhamento de conteúdo, alcance de criadores
Transmissões ao Vivo na Twitchcaptainhandsome/twitch-live-streams-scraperNome de usuário do streamer, título, número de espectadores, idioma, categoriaAnálises de esports, monitoramento de transmissões ao vivo

Governo e registros públicos

FerramentaLink da StoreCampos de Saída PrincipaisMelhor Para
Arquivamentos Corporativos SEC EDGARcaptainhandsome/sec-edgar-filings-searchTicker, CIK, formulário (10-K, 10-Q, 8-K), data de arquivamento, URL do documento principalDue diligence financeira, pesquisa de ações, conformidade
Prêmios Federais USAspendingcaptainhandsome/usaspending-federal-awardsDestinatário fornecedor, valor do prêmio, agência concedente, descrição, datasContratação governamental, inteligência de compras
Busca de Financiamento de Campanhas FECcaptainhandsome/fec-campaign-finance-searchtipo de registro, id, nome, partido, cargoBuscar candidatos federais dos EUA, PACs e contribuições de campanha por estado
Conformidade e Violações de Instalações EPA ECHOcaptainhandsome/epa-echo-facility-searchid de registro, nome, rua, cidade, estadoBuscar instalações dos EUA regulamentadas pela EPA por estado, CEP, NAICS, nome, programa
Geocodificador de Endereços do Census dos EUAcaptainhandsome/us-census-geocoderendereço_correspondido, nome_condado, tract_geoid, block_geoid, congressional_district_geoidMelhor para anexar tract do censo, FIPS do condado e GEOIDs de distritos a endereços dos EUA para junções demográficas e relatórios de conformidade.

Dados de pesquisa e saúde

FerramentaLink da StoreCampos de Saída PrincipaisMelhor Para
Busca no ClinicalTrials.govcaptainhandsome/clinical-trials-searchid nct, título, título oficial, sigla, id de estudo da organizaçãoBuscar a API oficial do ClinicalTrials.gov por condição, intervenção,
Busca de Artigos no Europe PMCcaptainhandsome/europe-pmc-paper-searchtítulo, doi, pmid, resumo, contagem_de_citaçõesMelhor para revisões de literatura biomédica, acompanhamento de citações e descoberta de acesso aberto em PubMed e Europe PMC.
Rótulos, Recalls e Eventos Adversos de Medicamentos openFDAcaptainhandsome/openfda-searchconjunto de dados, id, nome da marca, nome genérico, fabricanteBuscar rótulos oficiais de medicamentos da FDA, aprovações, eventos adversos e medicamentos,
Busca de Provedores de Saúde CMScaptainhandsome/cms-healthcare-provider-searchnome, tipo_de_provedor, cidade, estado, classificação_estrelasComparar hospitais certificados pela CMS, lares de idosos e outros provedores Medicare por localização, propriedade e classificação por estrelas.

Início Rápido em Python

1. Instalar dependências

pip install apify-client pandas python-dotenv

2. Exportar 50 Leads do Google Maps para CSV

import os
from apify_client import ApifyClient
import pandas as pd

# Get your API token from https://console.apify.com/account/integrations
client = ApifyClient(os.getenv("APIFY_TOKEN"))

# Run the actor
run = client.actor("captainhandsome/google-maps-business-search").call(run_input={
    "search_query": "commercial electricians",
    "location": "Dallas, Texas",
    "max_items": 50,
    "include_details": True,
})

# Fetch dataset items and export to CSV
items = list(client.dataset(run["defaultDatasetId"]).iterate_items())
df = pd.DataFrame(items)
df.to_csv("dallas_electricians.csv", index=False)
print(f"Exported {len(df)} leads to dallas_electricians.csv")

Veja examples/google_maps_leads_to_csv.py para o script completo.

Início Rápido em Node.js

1. Instalar dependências

npm install apify-client

2. Consultar Arquivamentos SEC EDGAR

import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: process.env.APIFY_TOKEN });

const run = await client.actor('captainhandsome/sec-edgar-filings-search').call({
  companies: ['AAPL', 'NVDA', 'MSFT'],
  forms: ['10-K'],
  max_items: 15,
});

const { items } = await client.dataset(run.defaultDatasetId).listItems();
items.forEach(filing => {
  console.log(`[${filing.ticker}] ${filing.form} (${filing.filing_date}): ${filing.primary_document_url}`);
});

Veja examples/sec_filings.js para o script completo.

Fluxos de Automação No-Code

Se você automatiza com n8n, Make, Zapier ou Google Sheets, blueprints prontos para importação estão incluídos em workflows/:

Exemplos de Tarefas Pré-Configuradas (Zero Código)

Se você prefere tarefas executáveis na interface web sem escrever código, cada actor inclui tarefas pré-configuradas publicadas na Apify Store:

Leads do Google Maps

Empregos no Glassdoor

Aluguéis no Airbnb

YouTube e Google Play

Conjuntos de Dados de Amostra Gratuitos

Procurando dados limpos para benchmark, análise ou treinamento de modelos? Pacotes de amostra verificados com schemas de metadados estão disponíveis em datasets/ e hospedados publicamente no Hugging Face Datasets:

  1. Leads de Empreiteiros de HVAC em Phoenix: datasets/phoenix_hvac_leads/ | Hugging Face Hub (20 perfis verificados de empreiteiros de HVAC com avaliações, endereços e números de telefone).
  2. Empreiteiros Licenciados na Califórnia: datasets/california_solar_contractors/ | Hugging Face Hub (Instaladores solares ativos com licenças C-46 e B e números de verificação estaduais).
  3. Postagens de Engenheiro de Software em Austin: datasets/austin_software_jobs/ | Hugging Face Hub (Listagens de empregos normalizadas com datas de publicação estimadas e faixas salariais).

Integração com Agentes de IA e MCP

Todos os actors neste repositório estão em conformidade com os padrões OpenAPI e JSON Schema, tornando-os diretamente chamáveis por agentes de IA via Model Context Protocol (MCP):

Opção 1: Claude Desktop / Cursor com UVX (Recomendado)

Adicione isto ao seu claude_desktop_config.json ou às configurações MCP do Cursor:

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "uvx",
      "args": ["apify-data-scrapers"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}

Opção 2: Contêiner Docker (Glama / Cloud)

Execute via Docker:

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "APIFY_TOKEN", "glcr.b-cdn.net/jlucasmcrell/apify-scrapers:latest"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}

Opção 3: Runner Local Python Stdio

Instale via pip ou execute diretamente:

pip install apify-data-scrapers
export APIFY_TOKEN="your_token_here"
apify-data-scrapers

Ou a partir do código-fonte local:

python mcp_server.py

Prompts de Agente que Funcionam de Pronto:

  • "Busque no Google Maps 50 telhadores comerciais em Atlanta com números de telefone e sites."
  • "Recupere os arquivamentos do Formulário 10-K da Apple e Microsoft na SEC EDGAR dos últimos 2 anos."
  • "Busque no Glassdoor vagas remotas de gerente de produto com estimativas salariais."

Guias de Engenharia Aprofundados

Estudos de caso técnicos e artigos de problema-solução estão localizados em articles/:

Estrutura do Repositório

apify-scrapers/
 README.md                                # Documentation and quickstart
 LICENSE                                  # MIT License
 requirements.txt                         # Python client dependencies
 package.json                             # Node.js dependencies
 mcp.json                                 # MCP tool registry specification
 mcp_server.py                            # Native Python stdio MCP server
 articles/                                # In-depth engineering case studies
    airbnb_playwright_pagination_guide.md
    glassdoor_posting_dates_guide.md
    reddit_community_responses.md        # Reference technical answers for forums
 datasets/                                # Sample benchmark datasets
    phoenix_hvac_leads/
    california_solar_contractors/
    austin_software_jobs/
 workflows/                               # No-code automation templates
    n8n_google_maps_to_sheets.json
    n8n_sec_edgar_to_slack.json
    README.md
 examples/                                # Standalone developer scripts
     google_maps_leads_to_csv.py
     sec_edgar_filings_downloader.py
     glassdoor_jobs_tracker.py
     airbnb_market_scraper.py
     usaspending_defense_awards.py
     twitch_live_stream_monitor.py
     google_maps_leads.js
     sec_filings.js

Autor e Suporte

Mantido por Joseph McRell.

Licença

Este projeto está licenciado sob a Licença MIT - consulte o arquivo LICENSE para detalhes.