DINO-X
официальныйПродвинутый MCP-сервер компьютерного зрения и обнаружения объектов на базе Dino-X, позволяющий AI-агентам анализировать изображения, обнаруживать объекты, определять ключевые точки и выполнять задачи визуального понимания.
Что можно делать с DINO X MCP?
- Обнаружить все объекты на сцене — Попросите ассистента идентифицировать каждый объект на изображении с указанием категорий и ограничивающих рамок с помощью
detect-all-objects. - Найти объекты по текстовому запросу — Запросите обнаружение конкретных элементов (например, «человек, машина») на изображении через
detect-objects-by-text. - Оценить ключевые точки позы человека — Получите 17 ключевых точек тела и ограничивающие рамки для людей на изображении с помощью
detect-human-pose-keypoints. - Создать аннотированные визуализации — Сформируйте изображение с нанесенными результатами обнаружения, используя
visualize-detection-result(только в режиме STDIO).
Документация
DINO-X MCP-сервер
English | 中文
Официальный MCP-сервер DINO-X, основанный на моделях DINO-X и Grounding DINO, обеспечивает детальное обнаружение объектов и понимание изображений для ваших мультимодальных приложений.
Почему DINO-X MCP?
С DINO-X MCP вы можете:
-
Детальное понимание: Полное обнаружение объектов на изображении, обнаружение отдельных объектов и описание на уровне регионов.
-
Структурированные результаты: Получение категорий объектов, их количества, местоположения и атрибутов для задач VQA и многошаговых рассуждений.
-
Компонуемость: Бесшовная интеграция с другими MCP-серверами для создания сквозных визуальных агентов или конвейеров автоматизации.
Режимы передачи
DINO-X MCP поддерживает два режима передачи:
| Функция | STDIO (по умолчанию) | Потоковый HTTP |
|---|---|---|
| Среда выполнения | Локальная | Локальная или облачная |
| Передача | Стандартный ввод/вывод | HTTP (потоковые ответы) |
| Источник ввода | file:// и https:// | Только https:// |
| Визуализация | Поддерживается (сохраняет аннотированные изображения локально) | Не поддерживается (пока) |
Быстрый старт
1. Подготовьте MCP-клиент
Подойдет любой MCP-совместимый клиент, например:
2. Получите API-ключ
Подайте заявку на платформе DINO-X: Запросить API-ключ (новые пользователи получают бесплатную квоту).
3. Настройка MCP
Вариант A: Официальный хостинг с потоковым HTTP (рекомендуется)
Добавьте в конфигурацию вашего MCP-клиента, заменив на ваш API-ключ:
{
"mcpServers": {
"dinox-mcp": {
"url": "https://mcp.deepdataspace.com/mcp?key=your-api-key"
}
}
}
Вариант B: Использование NPM-пакета локально (STDIO)
Сначала установите Node.js
-
Скачайте установщик с nodejs.org
-
Или используйте команду:
# macOS / Linux
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.1/install.sh | bash
# or
wget -qO- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.1/install.sh | bash
# load nvm into current shell (choose the one you use)
source ~/.bashrc || true
source ~/.zshrc || true
# install and use LTS Node.js
nvm install --lts
nvm use --lts
# Windows (one of the following)
winget install OpenJS.NodeJS.LTS
# or with Chocolatey (in admin PowerShell)
iwr -useb https://raw.githubusercontent.com/chocolatey/chocolatey/master/chocolateyInstall/InstallChocolatey.ps1 | iex
choco install nodejs-lts -y
Настройте ваш MCP-клиент:
{
"mcpServers": {
"dinox-mcp": {
"command": "npx",
"args": ["-y", "@deepdataspace/dinox-mcp"],
"env": {
"DINOX_API_KEY": "your-api-key-here",
"IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
}
}
}
}
Примечание: Замените your-api-key-here на ваш реальный ключ.
Вариант C: Запуск из исходного кода локально
Убедитесь, что Node.js установлен (см. Вариант B), затем:
# clone
git clone https://github.com/IDEA-Research/DINO-X-MCP.git
cd DINO-X-MCP
# install deps
npm install
# build
npm run build
Настройте ваш MCP-клиент:
{
"mcpServers": {
"dinox-mcp": {
"command": "node",
"args": ["/path/to/DINO-X-MCP/build/index.js"],
"env": {
"DINOX_API_KEY": "your-api-key-here",
"IMAGE_STORAGE_DIRECTORY": "/path/to/your/image/directory"
}
}
}
}
Флаги CLI и переменные окружения
-
Общие флаги
--http: запуск в режиме потокового HTTP (иначе по умолчанию STDIO)--stdio: принудительный режим STDIO--dinox-api-key=...: установка API-ключа--enable-client-key: разрешить передачу API-ключа через URL?key=(только для потокового HTTP)--port=8080: HTTP-порт (по умолчанию 3020)
-
Переменные окружения
DINOX_API_KEY(обязательная/условно обязательная): API-ключ платформы DINO-XIMAGE_STORAGE_DIRECTORY(необязательная, STDIO): директория для сохранения аннотированных изображенийAUTH_TOKEN(необязательная, HTTP): если задана, клиент должен отправлятьAuthorization: Bearer <token>
Примеры:
# STDIO (local)
node build/index.js --dinox-api-key=your-api-key
# Streamable HTTP (server provides a shared API key)
node build/index.js --http --dinox-api-key=your-api-key
# Streamable HTTP (custom port)
node build/index.js --http --dinox-api-key=your-api-key --port=8080
# Streamable HTTP (require client-provided API key via URL)
node build/index.js --http --enable-client-key
Конфигурация клиента при использовании ?key=:
{
"mcpServers": {
"dinox-mcp": {
"url": "http://localhost:3020/mcp?key=your-api-key"
}
}
}
Использование AUTH_TOKEN со шлюзом, который внедряет Authorization: Bearer <token>:
AUTH_TOKEN=my-token node build/index.js --http --enable-client-key
Пример клиента с supergateway:
{
"mcpServers": {
"dinox-mcp": {
"command": "npx",
"args": [
"-y",
"supergateway",
"--streamableHttp",
"http://localhost:3020/mcp?key=your-api-key",
"--oauth2Bearer",
"my-token"
]
}
}
}
Инструменты
| Возможность | ID инструмента | Передача | Ввод | Вывод |
|---|---|---|---|---|
| Обнаружение объектов на всей сцене | detect-all-objects | STDIO / HTTP | URL изображения | Категория + bbox + (опционально) подписи |
| Обнаружение объектов по текстовому запросу | detect-objects-by-text | STDIO / HTTP | URL изображения + английские существительные (разделенные точкой для нескольких, например, person.car) | bbox целевого объекта + (опционально) подписи |
| Оценка позы человека | detect-human-pose-keypoints | STDIO / HTTP | URL изображения | 17 ключевых точек + bbox + (опционально) подписи |
| Визуализация | visualize-detection-result | Только STDIO | URL изображения + массив результатов обнаружения | Локальный путь к аннотированному изображению |
🎬 Варианты использования
| 🎯 Сценарий | 📝 Ввод | ✨ Вывод |
|---|---|---|
| Обнаружение и локализация | 💬 Запрос:Detect and visualize the fire areas in the forest 🖼️ Входное изображение: | |
| Подсчет объектов | 💬 Запрос:Please analyze thiswarehouse image, detectall the cardboard boxes,count the total number🖼️ Входное изображение: | |
| Обнаружение признаков | 💬 Запрос:Find all red carsin the image🖼️ Входное изображение: | |
| Рассуждение об атрибутах | 💬 Запрос:Find the tallest personin the image, describetheir clothing🖼️ Входное изображение: | |
| Обнаружение на всей сцене | 💬 Запрос:Find the fruit withthe highest vitamin Ccontent in the image🖼️ Входное изображение: | Ответ: Киви (93мг/100г) |
| Анализ позы | 💬 Запрос:Please analyze whatyoga pose this is🖼️ Входное изображение: |
Часто задаваемые вопросы
- Поддерживаемые источники изображений?
- STDIO:
file://иhttps:// - Потоковый HTTP: только
https://
- STDIO:
- Поддерживаемые форматы изображений?
- jpg, jpeg, webp, png
Разработка и отладка
Используйте режим наблюдения для автоматической пересборки во время разработки:
npm run watch
Используйте MCP Inspector для отладки:
npm run inspector
Лицензия
Apache License 2.0