Unstructured

Unstructured API MCP-сервер

[!NOTE] Этот сервер взаимодействует с Unstructured API для управления источниками, назначениями и рабочими процессами. Он не поддерживается активно и сохранён здесь для справки.

Если вам нужно разбирать и преобразовывать файлы в структурированный вывод (markdown, JSON, HTML или обычный текст), используйте вместо этого Unstructured Transform MCP-сервер.

Unstructured Transform предоставляет вашим агентам обработку документов промышленного уровня в виде размещённого MCP-сервера. Он даёт им возможность превращать более 60 типов файлов в структурированные данные, готовые для ваших приложений, векторных баз данных и любых последующих процессов, путём разбора, обогащения, разбиения на фрагменты и встраивания файлов непосредственно в текущем сеансе.

Вы можете начать использовать его, зарегистрировавшись здесь.

Реализация MCP-сервера для взаимодействия с Unstructured API. Этот сервер предоставляет инструменты для получения списка источников и рабочих процессов.

Доступные инструменты

Ниже приведён список коннекторов, которые в настоящее время поддерживает сервер UNS-MCP. Полный список коннекторов источников, поддерживаемых платформой Unstructured, смотрите здесь, а список назначений — здесь. Мы планируем добавить больше!

Чтобы использовать инструмент, который создаёт/обновляет/удаляет коннектор, учётные данные для этого конкретного коннектора должны быть определены в вашем файле .env. Ниже приведён список credentials для поддерживаемых нами коннекторов:

Источник Firecrawl

Firecrawl — это API для веб-краулинга, который предоставляет две основные возможности в нашем MCP:

1. Получение HTML-контента: Использование invoke_firecrawl_crawlhtml для запуска заданий краулинга и check_crawlhtml_status для их мониторинга
2. Генерация текста, оптимизированного для LLM: Использование invoke_firecrawl_llmtxt для генерации текста и check_llmtxt_status для получения результатов

Как работает Firecrawl: Процесс веб-сканирования:

• Начинается с указанного URL и анализирует его для выявления ссылок
• Использует карту сайта, если она доступна; в противном случае переходит по ссылкам, найденным на веб-сайте
• Рекурсивно обходит каждую ссылку для обнаружения всех подстраниц
• Собирает контент с каждой посещенной страницы, обрабатывая рендеринг JavaScript и ограничения скорости
• Задания можно отменить с помощью cancel_crawlhtml_job, если необходимо
• Используйте это, если вам нужна вся информация, извлеченная в сырой HTML, рабочий процесс Unstructured отлично его очищает :smile:

Генерация текста для LLM:

• После сканирования извлекает чистый, осмысленный текстовый контент с просканированных страниц
• Генерирует оптимизированные текстовые форматы, специально отформатированные для больших языковых моделей
• Результаты автоматически загружаются в указанное местоположение S3
• Примечание: задания генерации текста для LLM нельзя отменить после запуска. Функция cancel_llmtxt_job предоставлена для единообразия, но в настоящее время не поддерживается API Firecrawl.

Примечание: для использования этих функций необходимо установить переменную окружения FIRECRAWL_API_KEY.

Установка и настройка

Это руководство содержит пошаговые инструкции по установке и настройке сервера UNS_MCP с использованием Python 3.12 и инструмента uv.

Предварительные требования

• Python 3.12+
• uv для управления окружением
• Ключ API от Unstructured. Вы можете зарегистрироваться и получить ключ API здесь.

Использование uv (рекомендуется)

При использовании uvx дополнительная установка не требуется, так как он сам управляет выполнением. Однако, если вы предпочитаете установить пакет напрямую:

uv pip install uns_mcp

Настройка Claude Desktop

Для интеграции с Claude Desktop добавьте следующее содержимое в ваш claude_desktop_config.json:

Примечание: Файл находится в директории ~/Library/Application Support/Claude/.

Использование команды uvx:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "uvx",
         "args": ["uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Или с использованием пакета Python:

{
   "mcpServers": {
      "UNS_MCP": {
         "command": "python",
         "args": ["-m", "uns_mcp"],
         "env": {
           "UNSTRUCTURED_API_KEY": "<your-key>"
         }
      }
   }
}

Использование исходного кода

1. Клонируйте репозиторий.

2. Установите зависимости:

   uv sync
   

3. Установите ключ API Unstructured как переменную окружения. Создайте файл .env в корневой директории со следующим содержимым:

   UNSTRUCTURED_API_KEY="YOUR_KEY"
   

   Обратитесь к .env.template для настраиваемых переменных окружения.

Теперь вы можете запустить сервер одним из следующих способов:

uvx pip install -e .

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "uvx",
      "args": ["uns_mcp"]
    }
  }
}

{
  "mcpServers": {
    "UNS_MCP": {
      "command": "ABSOLUTE/PATH/TO/.local/bin/uv",
      "args": [
        "--directory",
        "ABSOLUTE/PATH/TO/YOUR-UNS-MCP-REPO/uns_mcp",
        "run",
        "server.py"
      ]
    }
  }
}

uv run python minimal_client/client.py uns_mcp/server.py

Дополнительная настройка локального клиента

Настройте минимальный клиент с помощью переменных окружения:

• LOG_LEVEL="ERROR": Установите для подавления отладочных выводов от LLM, отображая понятные сообщения для пользователей.
• CONFIRM_TOOL_USE='false': Отключите подтверждение использования инструментов перед выполнением. Используйте с осторожностью, особенно во время разработки, так как LLM может выполнять дорогостоящие рабочие процессы или удалять данные.

Инструменты отладки

Anthropic предоставляет инструмент MCP Inspector для отладки/тестирования вашего MCP-сервера. Выполните следующую команду, чтобы запустить интерфейс отладки. Оттуда вы сможете добавить переменные окружения (указывающие на ваше локальное окружение) на левой панели. Укажите там ваш личный ключ API как переменную окружения. Перейдите в tools, чтобы протестировать возможности, которые вы добавляете на MCP-сервер.

mcp dev uns_mcp/server.py

Если вам нужно регистрировать параметры вызовов запросов в UnstructuredClient, установите переменную окружения DEBUG_API_REQUESTS=false. Логи сохраняются в файле с форматом unstructured-client-{date}.log, который можно изучить для отладки параметров вызовов запросов к функциям UnstructuredClient.

Добавление доступа к терминалу для минимального клиента

Мы собираемся использовать @wonderwhy-er/desktop-commander, чтобы добавить доступ к терминалу для минимального клиента. Он построен на основе MCP Filesystem Server. Будьте осторожны, так как клиент (а также LLM) теперь имеет доступ к личным файлам.

Выполните следующую команду для установки пакета:

npx @wonderwhy-er/desktop-commander setup

Затем запустите клиент с дополнительным параметром:

uv run python minimal_client/client.py "http://127.0.0.1:8080/sse" "@wonderwhy-er/desktop-commander@^0.2.11"
# or
make sse-client-terminal

Использование подмножества инструментов

Если ваш клиент поддерживает использование только подмножества инструментов, вот список того, о чем следует знать:

• Инструмент update_workflow должен быть загружен в контекст вместе с инструментом create_workflow, так как он содержит подробное описание того, как создать и настроить пользовательский узел.

Известные проблемы

• update_workflow - необходимо иметь в контексте конфигурацию рабочего процесса, который он обновляет, либо предоставленную пользователем, либо полученную вызовом инструмента get_workflow_info, так как этот инструмент не работает как patch-применитель, он полностью заменяет конфигурацию рабочего процесса.

CHANGELOG.md

Любые новые разработанные функции/исправления/улучшения будут добавляться в CHANGELOG.md. Формат предварительного выпуска 0.x.x-dev предпочтителен до перехода к стабильной версии.

Устранение неполадок

• Если вы столкнулись с проблемами с Error: spawn <command> ENOENT, это означает, что <command> не установлен или не виден в вашем PATH:
  • Убедитесь, что он установлен и добавлен в ваш PATH.
  • или укажите абсолютный путь к команде в поле command вашей конфигурации. Так, например, замените python на /opt/miniconda3/bin/python