coreclaw webscraper

Recupera datos estructurados mediante conversaciones en lenguaje natural.

Documentación

El servicio MCP de CoreClaw expone los flujos de trabajo públicos de CoreClaw OpenAPI v2 a través del Model Context Protocol (MCP). Una vez conectado, el Agente de IA puede descubrir Workers de CoreClaw, ver esquemas de entrada, ejecutar Workers o tareas guardadas, consultar estados de ejecución, leer registros y exportar resultados estructurados.

Arquitectura

用户对话 -> AI Agent -> MCP 协议 -> CoreClaw MCP 服务 -> CoreClaw OpenAPI v2
                              HTTP       mcp.coreclaw.com      openapi.coreclaw.com

El punto de entrada HTTP transmisible alojado es:

https://mcp.coreclaw.com/mcp

Priorice el punto de entrada alojado. Solo se necesita ejecutar coreclaw-mcp-server localmente durante el desarrollo, la depuración o cuando el cliente solo admita stdio local.

Requisitos previos

Inicio rápido

Agregue la siguiente configuración en su cliente MCP:

{
  "mcpServers": {
    "coreclaw": {
      "url": "https://mcp.coreclaw.com/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_CORECLAW_API_KEY"
      }
    }
  }
}

Después de guardar la configuración, si el cliente solicita reiniciar o recargar, complete la acción correspondiente. Después de eso, el Agente de IA puede invocar las herramientas de CoreClaw en la conversación.

Métodos de autenticación

El servicio MCP alojado utiliza autenticación Authorization: Bearer <token> — el mismo encabezado que CoreClaw OpenAPI v2. Para compatibilidad con integraciones antiguas, los encabezados api-key y X-API-Key aún se aceptan:

  • Authorization: Bearer YOUR_CORECLAW_API_KEY (recomendado)
  • api-key: YOUR_CORECLAW_API_KEY (heredado)
  • X-API-Key: YOUR_CORECLAW_API_KEY (heredado)

El servicio MCP reenvía la información de autenticación a CoreClaw OpenAPI v2, y las solicitudes ascendentes usan Authorization: Bearer <token> de manera uniforme.

No confíe claves de API al sistema de control de versiones. Cuando el cliente admita almacenamiento seguro de credenciales, priorice esa capacidad.

Herramientas disponibles

El servicio MCP de CoreClaw expone 42 herramientas — 39 operaciones de OpenAPI v2 (1:1) más 3 asistentes de orquestación. Las interfaces de creación/actualización de versiones de Worker y las interfaces de detalles internos de Worker son internas y no se exponen a través de MCP.

Descubrimiento y verificación previa

HerramientaDescripciónAPI correspondiente
list_proxy_regionsConsultar códigos y nombres de regiones de proxyGET /api/v2/proxy/region
list_store_workersBuscar Workers públicos de StoreGET /api/v2/store
list_workersListar Workers propiedad de la cuenta actualGET /api/v2/workers
get_workerObtener metadatos, versión, README e información de parámetros del WorkerGET /api/v2/workers/{workerId}
get_worker_input_schemaObtener el esquema de entrada público del WorkerGET /api/v2/workers/{workerId}/input-schema
get_account_infoConsultar saldo de cuenta, cuota de tráfico y tiempo de expiraciónGET /api/v2/users/account

Tareas de Worker (plantillas de tareas guardadas)

HerramientaDescripciónAPI correspondiente
list_worker_tasksListar tareas de Worker guardadas de la cuenta actualGET /api/v2/worker-tasks
get_worker_taskObtener detalles de una tarea guardadaGET /api/v2/worker-tasks/{workerTaskId}
get_worker_task_inputObtener la carga útil de entrada de una tarea guardadaGET /api/v2/worker-tasks/{workerTaskId}/input
create_worker_taskCrear una tarea guardada (programación opcional)POST /api/v2/worker-tasks
update_worker_taskActualizar metadatos/programación de la tareaPUT /api/v2/worker-tasks/{workerTaskId}
update_worker_task_inputActualizar solo la carga útil de entrada de la tareaPUT /api/v2/worker-tasks/{workerTaskId}/input
delete_worker_taskEliminar una tarea guardadaDELETE /api/v2/worker-tasks/{workerTaskId}

Asistentes de orquestación

Tres herramientas convenientes que combinan múltiples llamadas de API en una sola invocación de herramienta.

HerramientaDescripciónLlamadas subyacentes
poll_runSondea la ejecución hasta el estado final (o tiempo de espera)Repetir GET /api/v2/worker-runs/{runId}
verify_runDevuelve un veredicto estructurado ( PASS / NO_DATA / FAILED / ERROR_RECORD / RUNNING / SUBMIT_FAIL ) — verifica el estado de ejecución y luego inspecciona la primera línea de resultados para distinguir datos reales de registros de solo diagnósticoget_worker_run + list_worker_run_results
run_workers_batchEjecuta hasta 50 Workers en una sola llamada, devolviendo resúmenes y veredictos individuales. Concurrencia 1–10, verify opcional por elementoPor elemento: POST /api/v2/workers/{workerId}/runs + poll_run (+ verify_run opcional)

poll_run acepta timeout_seconds (1–900, predeterminado 300) y poll_interval_seconds (1–60, predeterminado 5), y en caso de éxito puede obtener una vista previa de resultados parciales ( limit ). Úselo para Workers cuyo tiempo de ejecución exceda la ventana de una sola llamada MCP. verify_run se usa para distinguir el éxito real de los falsos positivos de "CAPTCHA/403 llenó la lista pero sin carga útil real" — marca estos últimos como ERROR_RECORD . get_worker_run_log también admite grep en proceso (separado por tubería, sin distinción de mayúsculas y minúsculas) más context_lines y max_matches .

Ejecución

HerramientaDescripciónAPI correspondiente
run_workerEjecutar un Worker con entrada JSON temporalPOST /api/v2/workers/{workerId}/runs
run_worker_taskEjecutar una tarea de Worker guardadaPOST /api/v2/worker-tasks/{workerTaskId}/runs

Cola de ejecución

HerramientaDescripciónAPI correspondiente
queue_worker_runPoner una ejecución en cola, esperando activación explícita en lugar de ejecución inmediataPOST /api/v2/workers/{workerId}/queued-runs
list_run_queue_itemsListar ejecuciones en cola esperando activaciónGET /api/v2/run-queue/items
activate_run_queue_itemsActivar una ejecución en cola para ejecutarlaPOST /api/v2/run-queue/items/activate
release_run_queue_itemsDevolver una ejecución en cola a la colaPOST /api/v2/run-queue/items/release
release_run_queue_itemLiberar una sola ejecución en colaPOST /api/v2/run-queue/items/{queueId}/release

Consulta de ejecuciones

HerramientaDescripciónAPI correspondiente
list_worker_runsConsultar historial de ejecucionesGET /api/v2/worker-runs
get_last_worker_runConsultar la ejecución más reciente de la cuenta actualGET /api/v2/worker-runs/last
get_worker_runConsultar una ejecución específica mediante run_idGET /api/v2/worker-runs/{runId}
get_worker_last_runConsultar la ejecución más reciente de un Worker específicoGET /api/v2/workers/{workerId}/runs/last

Resultados, exportación y registros

HerramientaDescripciónAPI correspondiente
list_last_worker_run_resultsVer el resultado de la ejecución más reciente de la cuenta actualGET /api/v2/worker-runs/last/result
export_last_worker_run_resultsExportar el resultado de la ejecución más reciente de la cuenta actualGET /api/v2/worker-runs/last/export
get_last_worker_run_logVer los registros de la ejecución más reciente de la cuenta actualGET /api/v2/worker-runs/last/log
list_worker_run_resultsVer el resultado de una ejecución específicaGET /api/v2/worker-runs/{runId}/result
export_worker_run_resultsExportar el resultado de una ejecución específicaGET /api/v2/worker-runs/{runId}/result/export
get_worker_run_logVer los registros de una ejecución específicaGET /api/v2/worker-runs/{runId}/log
list_worker_last_run_resultsVer el resultado de la ejecución más reciente de un Worker específicoGET /api/v2/workers/{workerId}/runs/last/result
export_worker_last_run_resultsExportar el resultado de la ejecución más reciente de un Worker específicoGET /api/v2/workers/{workerId}/runs/last/export
get_worker_last_run_logVer los registros de la ejecución más reciente de un Worker específicoGET /api/v2/workers/{workerId}/runs/last/log

Reejecución y control

HerramientaDescripciónAPI correspondiente
rerun_last_worker_runReejecutar la ejecución más reciente de la cuenta actualPOST /api/v2/worker-runs/last/rerun
rerun_worker_runReejecutar una ejecución específicaPOST /api/v2/worker-runs/{runId}/rerun
rerun_worker_last_runReejecutar la ejecución más reciente de un Worker específicoPOST /api/v2/workers/{workerId}/runs/last/rerun
abort_last_worker_runDetener la ejecución activa más reciente de la cuenta actualPOST /api/v2/worker-runs/last/abort
abort_worker_runDetener una ejecución activa específicaPOST /api/v2/worker-runs/{runId}/abort
abort_worker_last_runDetener la ejecución activa más reciente de un Worker específicoPOST /api/v2/workers/{workerId}/runs/last/abort

Flujos de trabajo típicos

Al ejecutar temporalmente un Worker, normalmente se invoca en este orden:

list_store_workers(keyword)
  -> get_worker_input_schema(worker_id)
    -> run_worker(worker_id, input_json, is_async=true)
      -> get_worker_run(run_id)
        -> list_worker_run_results(run_id) 或 export_worker_run_results(run_id)

Al ejecutar una tarea guardada, use:

list_worker_tasks(worker_id)
  -> run_worker_task(worker_task_id, is_async=true)
    -> get_worker_run(run_id)
      -> list_worker_run_results(run_id)

Si el esquema de entrada del Worker requiere una región de proxy, primero invoque list_proxy_regions . Solo use las herramientas rerun_* cuando el usuario solicite explícitamente reintentar o repetir una ejecución; solo use las herramientas abort_* cuando el usuario solicite explícitamente detener una ejecución.

Entrada del Worker

Al invocar run_worker , coloque los campos de negocio en input_json :

{
  "worker_id": "YOUR_WORKER_ID",
  "version": "latest",
  "input_json": "{\"keyword\":\"coffee\",\"limit\":10}",
  "is_async": true
}

El servicio MCP envuelve input_json como input.parameters.custom que usa CoreClaw. Los llamadores avanzados pueden pasar el objeto completo input de CoreClaw directamente a través de raw_input_json , pero no pueden pasar input_json y raw_input_json al mismo tiempo.

Plataformas compatibles

PlataformaMétodo de configuraciónGuía
Claude DesktopStreamable HTTPGuía de configuración
Claude CLIStreamable HTTPGuía de configuración
Codex DesktopStreamable HTTPGuía de configuración
CursorStreamable HTTPGuía de configuración
ChatGPTStreamable HTTPGuía de configuración
VS CodeStreamable HTTPGuía de configuración
WindsurfStreamable HTTPGuía de configuración
ClineStreamable HTTPGuía de configuración
n8nStreamable HTTPGuía de configuración
HTTP genéricoCualquier cliente MCP Streamable HTTP o llamador de herramientas de estilo RESTGuía de configuración

Puntos finales compatibles con REST

Además del punto final MCP estándar /mcp , el servicio también ofrece un punto de entrada compatible con REST /mcp/<tool_name> , adecuado para plataformas que prefieren realizar solicitudes HTTP por herramienta:

curl -X POST https://mcp.coreclaw.com/mcp/list_store_workers \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_CORECLAW_API_KEY" \
  -d '{"keyword":"amazon","offset":1,"limit":5}'

Para más ejemplos de JSON-RPC y REST, consulte Cliente HTTP genérico .

Solución de problemas

SíntomaCausa posibleSolución
Invalid API keyClave faltante, incorrecta o caducadaVerifique la clave en Consola -> Configuración -> API e integraciones
Worker does not exist (50001)Error de worker_idUse list_store_workers o list_workers para obtener el slug/ruta devuelto
Las herramientas no aparecenEl cliente no cargó la configuración MCP de Streamable HTTPReinicie el cliente y verifique la ruta de configuración de MCP
La ejecución comenzó pero no hay líneas de resultadoLa ejecución aún está en curso o fallóSondee get_worker_run ; en caso de fallo, invoque get_worker_run_log
Región de proxy rechazadaCódigo de región de proxy no válidoInvoque list_proxy_regions y use los códigos de región devueltos

Notas de limitaciones

  • El servicio alojado usa Streamable HTTP. Los clientes que solo admiten stdio local necesitan ejecutar coreclaw-mcp-server localmente.
  • La autenticación se basa en clave de API; el punto de entrada alojado no requiere OAuth.
  • Las interfaces internas no se exponen a través de MCP, incluidas la creación/actualización de versiones de Worker y los detalles internos de Worker.

Siguientes pasos