omniparser-autogui-mcp

Um servidor MCP que analisa a tela com OmniParser para automatizar operações de GUI.

GitHub
72

Documentação

omniparser-autogui-mcp

（日本語版はこちら）

Este é um servidor MCP que analisa a tela com OmniParser e opera automaticamente a GUI.
Confirmado no Windows.

Notas de licença

Este é licenciado sob MIT, mas excluindo submódulos e subpacotes.
O repositório do OmniParser é CC-BY-4.0.
Cada modelo do OmniParser possui uma licença diferente (referência).

Instalação

  1. Por favor, faça o seguinte:
git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

(Em outros sistemas que não Windows, use export instead of set.)
(Se você quiser langchain_example.py to work, uv sync --extra langchain em vez disso.)

  1. Adicione isto ao seu claude_desktop_config.json:
{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

(Substitua D:\\CLONED_PATH\\omniparser-autogui-mcp pelo diretório que você clonou.)

env permite as seguintes configurações adicionais:

  • OMNI_PARSER_BACKEND_LOAD
    Se não funcionar com outros clientes (como LibreChat), especifique 1.

  • TARGET_WINDOW_NAME
    Se você quiser especificar a janela para operar, por favor especifique o nome da janela.
    Se não for especificado, opera na tela inteira.

  • OMNI_PARSER_SERVER
    Se você quiser que o processamento do OmniParser seja feito em outro dispositivo, especifique o endereço e a porta do servidor, como 127.0.0.1:8000.
    O servidor pode ser iniciado com uv run omniparserserver.

  • SSE_HOST, SSE_PORT
    Se especificado, a comunicação será feita via SSE em vez de stdio.

  • SOM_MODEL_PATH, CAPTION_MODEL_NAME, CAPTION_MODEL_PATH, OMNI_PARSER_DEVICE, BOX_TRESHOLD
    Estes são para configuração do OmniParser.
    Geralmente, não são necessários.

Exemplos de uso

  • Pesquise por "MCP server" no navegador na tela.

etc.