JCrawl4AI

Um servidor MCP baseado em Java para interagir com a API de web scraping Crawl4ai.

GitHub
4
Experimente este MCPPatrocinado

Documentação

jcrawl4ai-mcp-server

  • Implementação em Java do MCP Server para interagir com a API Crawl4ai.
  • Certificado por mcpreview

Visão Geral do Projeto

jcrawl4ai-mcp-server é um servidor MCP baseado em Spring Boot que interage com a API Crawl4ai para realizar web crawling. As principais funcionalidades incluem:

  • Rastrear URLs especificadas usando uma determinada estratégia, profundidade máxima e formato de saída.
  • Obter o resultado do rastreamento por um determinado ID de tarefa.

Configuração

application.properties

Configure as seguintes propriedades no arquivo src/main/resources/application.properties:

  • cawl4ai.base-url: URL base do servidor Crawl4ai.
  • cawl4ai.api-token: Token da API para o servidor Crawl4ai.

Exemplo de configuração:

cawl4ai.base-url=http://your-cral4ai-server-url:11235
cawl4ai.api-token=your-api-token

Dependências

O projeto depende das seguintes bibliotecas:

  • Spring AI MCP Server
  • Spring Boot
  • Hutool

Executando o Projeto

Compile e execute o projeto usando Maven:

mvn clean install
java -jar target/jcawl4ai-mcp-server-1.0.0.jar

Você pode baixar o arquivo jar diretamente deste link.

APIs

Crawl4aiApi

Método crawl

  • Descrição: Chama a API Crawl4ai para rastrear as URLs especificadas.
  • Parâmetros:
    • urls: Matriz de URLs dos sites de destino.
    • strategy: Estratégia de rastreamento.
    • max_depth: Profundidade máxima.
    • output_format: Formato de saída.
  • Valor de Retorno: String JSON do resultado do rastreamento.

Método task

  • Descrição: Obtém o resultado do rastreamento por um determinado ID de tarefa.
  • Parâmetros:
    • taskId: ID da tarefa.
  • Valor de Retorno: String JSON do resultado do rastreamento.

Logging

Caminho do arquivo de log: ./target/mcp-stdio-server.log.

Configuração do MCP Server

{
  "mcpServers": {
    "jcawl4ai-mcp-server": {
      "autoApprove": [
        "crawl",
        "task"
      ],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/your/jar/file/jcawl4ai-mcp-server-1.0.0.jar"
      ],
      "transportType": "stdio"
    }
  }
}

Contato

Se você tiver alguma dúvida ou sugestão, entre em contato com Ken Ye.

jcrawl4ai-mcp-server

Implementação em Java do MCP Server para interagir com a API Crawl4ai.

Visão Geral do Projeto

jcrawl4ai-mcp-server é um servidor MCP baseado em Spring Boot usado para chamar a API Crawl4ai para web crawling. As principais funcionalidades do projeto incluem:

  • Rastrear URLs fornecidas usando a estratégia, profundidade máxima e formato de saída especificados.
  • Obter o resultado do rastreamento com base no ID da tarefa fornecido.

Configuração

application.properties

Configure as seguintes propriedades no arquivo src/main/resources/application.properties:

  • cawl4ai.base-url: URL base do servidor Crawl4ai.
  • cawl4ai.api-token: Token da API do servidor Crawl4ai.

Exemplo de configuração:

cawl4ai.base-url=http://your-cral4ai-server-url:11235
cawl4ai.api-token=your-api-token

Dependências

O projeto depende das seguintes bibliotecas:

  • Spring AI MCP Server
  • Spring Boot
  • Hutool

Inicialização

Compile e execute o projeto usando Maven:

mvn clean install
java -jar target/jcawl4ai-mcp-server-1.0.0.jar

Você pode baixar o arquivo jar diretamente do seguinte link: link

APIs

Crawl4aiApi

Método crawl

  • Descrição: Chama a API Crawl4ai para rastrear as URLs especificadas.
  • Parâmetros:
    • urls: Matriz de URLs dos sites de destino.
    • strategy: Estratégia de rastreamento.
    • max_depth: Profundidade máxima.
    • output_format: Formato de saída.
  • Valor de Retorno: String JSON do resultado do rastreamento.

Método task

  • Descrição: Obtém o resultado do rastreamento com base no ID da tarefa fornecido.
  • Parâmetros:
    • taskId: ID da tarefa.
  • Valor de Retorno: String JSON do resultado do rastreamento.

Logging

O caminho do arquivo de log é ./target/mcp-stdio-server.log.

Configuração do MCP Server

{
  "mcpServers": {
    "jcawl4ai-mcp-server": {
      "autoApprove": [
        "crawl",
        "task"
      ],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/your/jar/file/jcawl4ai-mcp-server-1.0.0.jar"
      ],
      "transportType": "stdio"
    }
  }
}

Contato

Se você tiver alguma dúvida ou sugestão, entre em contato com Ken Ye.