DINO-X

официальный

Продвинутый MCP-сервер компьютерного зрения и обнаружения объектов на базе Dino-X, позволяющий AI-агентам анализировать изображения, обнаруживать объекты, определять ключевые точки и выполнять задачи визуального понимания.

Что можно делать с DINO X MCP?

  • Обнаружить все объекты на сцене — Попросите ассистента идентифицировать каждый объект на изображении с указанием категорий и ограничивающих рамок с помощью detect-all-objects.
  • Найти объекты по текстовому запросу — Запросите обнаружение конкретных элементов (например, «человек, машина») на изображении через detect-objects-by-text.
  • Оценить ключевые точки позы человека — Получите 17 ключевых точек тела и ограничивающие рамки для людей на изображении с помощью detect-human-pose-keypoints.
  • Создать аннотированные визуализации — Сформируйте изображение с нанесенными результатами обнаружения, используя visualize-detection-result (только в режиме STDIO).

Документация

DINO-X MCP-сервер

License npm version npm downloads PRs Welcome MCP Badge GitHub stars

English | 中文

Официальный MCP-сервер DINO-X, основанный на моделях DINO-X и Grounding DINO, обеспечивает детальное обнаружение объектов и понимание изображений для ваших мультимодальных приложений.

Ваш браузер не поддерживает видео тег.

Почему DINO-X MCP?

С DINO-X MCP вы можете:

  • Детальное понимание: Полное обнаружение объектов на изображении, обнаружение отдельных объектов и описание на уровне регионов.

  • Структурированные результаты: Получение категорий объектов, их количества, местоположения и атрибутов для задач VQA и многошаговых рассуждений.

  • Компонуемость: Бесшовная интеграция с другими MCP-серверами для создания сквозных визуальных агентов или конвейеров автоматизации.

Режимы передачи

DINO-X MCP поддерживает два режима передачи:

ФункцияSTDIO (по умолчанию)Потоковый HTTP
Среда выполненияЛокальнаяЛокальная или облачная
ПередачаСтандартный ввод/выводHTTP (потоковые ответы)
Источник вводаfile:// и https://Только https://
ВизуализацияПоддерживается (сохраняет аннотированные изображения локально)Не поддерживается (пока)

Быстрый старт

1. Подготовьте MCP-клиент

Подойдет любой MCP-совместимый клиент, например:

2. Получите API-ключ

Подайте заявку на платформе DINO-X: Запросить API-ключ (новые пользователи получают бесплатную квоту).

3. Настройка MCP

Вариант A: Официальный хостинг с потоковым HTTP (рекомендуется)

Добавьте в конфигурацию вашего MCP-клиента, заменив на ваш API-ключ:

{
  "mcpServers": {
    "dinox-mcp": {
      "url": "https://mcp.deepdataspace.com/mcp?key=your-api-key"
    }
  }
}

Вариант B: Использование NPM-пакета локально (STDIO)

Сначала установите Node.js

  • Скачайте установщик с nodejs.org

  • Или используйте команду:

# macOS / Linux
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.1/install.sh | bash
# or
wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.1/install.sh | bash

# load nvm into current shell (choose the one you use)
source ~/.bashrc || true
source ~/.zshrc  || true

# install and use LTS Node.js
nvm install --lts
nvm use --lts

# Windows (one of the following)
winget install OpenJS.NodeJS.LTS
# or with Chocolatey (in admin PowerShell)
iwr -useb https://raw.githubusercontent.com/chocolatey/chocolatey/master/chocolateyInstall/InstallChocolatey.ps1 | iex
choco install nodejs-lts -y

Настройте ваш MCP-клиент:

{
  "mcpServers": {
    "dinox-mcp": {
      "command": "npx",
      "args": ["-y", "@deepdataspace/dinox-mcp"],
      "env": {
        "DINOX_API_KEY": "your-api-key-here",
        "IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
      }
    }
  }
}

Примечание: Замените your-api-key-here на ваш реальный ключ.

Вариант C: Запуск из исходного кода локально

Убедитесь, что Node.js установлен (см. Вариант B), затем:

# clone
git clone https://github.com/IDEA-Research/DINO-X-MCP.git
cd DINO-X-MCP

# install deps
npm install

# build
npm run build

Настройте ваш MCP-клиент:

{
  "mcpServers": {
    "dinox-mcp": {
      "command": "node",
      "args": ["/path/to/DINO-X-MCP/build/index.js"],
      "env": {
        "DINOX_API_KEY": "your-api-key-here",
        "IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
      }
    }
  }
}

Флаги CLI и переменные окружения

  • Общие флаги

    • --http: запуск в режиме потокового HTTP (иначе по умолчанию STDIO)
    • --stdio: принудительный режим STDIO
    • --dinox-api-key=...: установка API-ключа
    • --enable-client-key: разрешить передачу API-ключа через URL ?key= (только для потокового HTTP)
    • --port=8080: HTTP-порт (по умолчанию 3020)
  • Переменные окружения

    • DINOX_API_KEY (обязательная/условно обязательная): API-ключ платформы DINO-X
    • IMAGE_STORAGE_DIRECTORY (необязательная, STDIO): директория для сохранения аннотированных изображений
    • AUTH_TOKEN (необязательная, HTTP): если задана, клиент должен отправлять Authorization: Bearer <token>

    Примеры:

# STDIO (local)
node build/index.js --dinox-api-key=your-api-key

# Streamable HTTP (server provides a shared API key)
node build/index.js --http --dinox-api-key=your-api-key

# Streamable HTTP (custom port)
node build/index.js --http --dinox-api-key=your-api-key --port=8080

# Streamable HTTP (require client-provided API key via URL)
node build/index.js --http --enable-client-key

Конфигурация клиента при использовании ?key=:

{
  "mcpServers": {
    "dinox-mcp": {
      "url": "http://localhost:3020/mcp?key=your-api-key"
    }
  }
}

Использование AUTH_TOKEN со шлюзом, который внедряет Authorization: Bearer <token>:

AUTH_TOKEN=my-token node build/index.js --http --enable-client-key

Пример клиента с supergateway:

{
  "mcpServers": {
    "dinox-mcp": {
      "command": "npx",
      "args": [
        "-y",
        "supergateway",
        "--streamableHttp",
        "http://localhost:3020/mcp?key=your-api-key",
        "--oauth2Bearer",
        "my-token"
      ]
    }
  }
}

Инструменты

ВозможностьID инструментаПередачаВводВывод
Обнаружение объектов на всей сценеdetect-all-objectsSTDIO / HTTPURL изображенияКатегория + bbox + (опционально) подписи
Обнаружение объектов по текстовому запросуdetect-objects-by-textSTDIO / HTTPURL изображения + английские существительные (разделенные точкой для нескольких, например, person.car)bbox целевого объекта + (опционально) подписи
Оценка позы человекаdetect-human-pose-keypointsSTDIO / HTTPURL изображения17 ключевых точек + bbox + (опционально) подписи
Визуализацияvisualize-detection-resultТолько STDIOURL изображения + массив результатов обнаруженияЛокальный путь к аннотированному изображению

🎬 Варианты использования

🎯 Сценарий📝 Ввод✨ Вывод
Обнаружение и локализация💬 Запрос:
Detect and visualize the
fire areas in the forest

🖼️ Входное изображение:
1-1
1-2
Подсчет объектов💬 Запрос:
Please analyze this
warehouse image, detect
all the cardboard boxes,
count the total number

🖼️ Входное изображение:
2-1
2-2
Обнаружение признаков💬 Запрос:
Find all red cars
in the image

🖼️ Входное изображение:
4-1
4-2
Рассуждение об атрибутах💬 Запрос:
Find the tallest person
in the image, describe
their clothing

🖼️ Входное изображение:
5-1
5-2
Обнаружение на всей сцене💬 Запрос:
Find the fruit with
the highest vitamin C
content in the image

🖼️ Входное изображение:
6-1
6-3

Ответ: Киви (93мг/100г)
Анализ позы💬 Запрос:
Please analyze what
yoga pose this is

🖼️ Входное изображение:
3-1
3-3

Часто задаваемые вопросы

  • Поддерживаемые источники изображений?
    • STDIO: file:// и https://
    • Потоковый HTTP: только https://
  • Поддерживаемые форматы изображений?
    • jpg, jpeg, webp, png

Разработка и отладка

Используйте режим наблюдения для автоматической пересборки во время разработки:

npm run watch

Используйте MCP Inspector для отладки:

npm run inspector

Лицензия

Apache License 2.0