Isaac Sim MCP Server

Isaac Sim MCP Server

Controle por linguagem natural para NVIDIA Isaac Sim através do Model Context Protocol (MCP).

Conecte qualquer IDE compatível com MCP (Cursor, VS Code, Claude Code, Windsurf, JetBrains) a uma instância Isaac Sim em execução e controle-a com prompts em inglês simples -- crie robôs, construa cenas, execute simulações e depure física tudo a partir do seu editor.

Destaques

• 42 ferramentas em 9 categorias -- cena, objetos, iluminação, robôs, sensores, materiais, ativos, simulação, gráficos
• 107+ robôs descobertos automaticamente da biblioteca de ativos do Isaac Sim (Franka, UR, Unitree, Boston Dynamics, e mais)
• Depuração passo-a-passo -- avance a simulação e inspecione posições de prims, estados de juntas e física em uma única chamada
• Hot-reload -- itere em controladores Python sem reiniciar o Isaac Sim
• Multi-instância -- execute múltiplas sessões do Isaac Sim lado a lado em portas diferentes
• Construído para Isaac Sim 5.1.0 com uma camada de adaptadores modular para isolamento de versões

Instalação

Opção A: pip install (recomendado)

pip install isaacsim-mcp-server

Isso instala o servidor MCP e a CLI isaacsim-mcp-server. Você ainda precisa da extensão Isaac Sim do repositório (veja Lançando Isaac Sim abaixo).

Opção B: A partir do código-fonte

git clone https://github.com/whats2000/isaacsim-mcp-server
cd isaacsim-mcp-server
./scripts/setup_python_env.sh

Requisitos

[!IMPORTANT] Atualmente apenas Linux é suportado. O suporte para Windows está planejado. macOS não é suportado porque o NVIDIA Isaac Sim não roda em macOS.

[!NOTE] Estamos recebendo contribuições para suportar outras versões do Isaac Sim. A camada de adaptadores é projetada para fácil isolamento de versões.

Início Rápido

1. Configure o ambiente

Se você instalou a partir do código-fonte:

./scripts/setup_python_env.sh

2. Inicie o Isaac Sim com a extensão

./scripts/run_isaac_sim.sh

Você deve ver nos logs:

Registered 41 command handlers
Isaac Sim MCP server started on localhost:8766

export BEAVER3D_MODEL="<your beaver3d model name>"
export ARK_API_KEY="<your beaver3d api key>"
export NVIDIA_API_KEY="<your nvidia api key>"

3. Conecte sua IDE

Adicione o servidor MCP ao seu editor. Substitua o caminho pela localização real do seu repositório.

claude mcp add isaac-sim /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "servers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    }
  }
}

4. Comece a usar prompts

Check the connection with get_scene_info.
If the scene is empty, create a physics scene.
Add a Franka robot at the origin and a Go1 quadruped at [2, 0, 0].

Arquitetura

MCP Client (IDE)
      |
      v
isaacsim-mcp-server          (PyPI package / CLI)
      |
      v  TCP socket (localhost:8766)
      |
isaac.sim.mcp_extension      (Omniverse extension)
      |
      v
Handlers -> Adapter -> Isaac Sim 5.1.0 APIs

Ferramentas

42 ferramentas em 9 categorias:

Exemplos de Prompts

Inicialização de cena

Check the connection with get_scene_info. If the scene is empty, create a physics scene.
Add stronger lighting and place a camera that looks at the workspace.

Layout de robô

Create three Franka robots in a row at [0,0,0], [2,0,0], and [4,0,0].
Then add a Go1 robot at [1, 3, 0].

Carregamento de ambiente

List available environments, choose a warehouse-like one, and load it.
Create a camera and capture an image.

Pesquisa de ativos e geração 3D

Search for a rusty desk, load the best result near [0, 5, 0], scaled to [2, 2, 2].

Uso Avançado

Múltiplas Instâncias

Execute múltiplas sessões do Isaac Sim lado a lado. Cada uma usa uma porta diferente (atribuída automaticamente a partir de 8766).

# First instance (default port 8766)
claude mcp add isaac-sim /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

# Second instance (port 8767)
claude mcp add isaac-sim-2 -e ISAAC_MCP_PORT=8767 -- /path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh

{
  "mcpServers": {
    "isaac-sim": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh"
    },
    "isaac-sim-2": {
      "command": "/path/to/isaacsim-mcp-server/scripts/run_mcp_server.sh",
      "env": { "ISAAC_MCP_PORT": "8767" }
    }
  }
}

Lançador de Desktop (Linux)

Instale um ícone de aplicativo dedicado Isaac Sim MCP:

./scripts/install_desktop_entry.sh

Isso cria um lançador que atribui portas automaticamente, aguarda o socket da extensão e limpa ao sair.

Fluxo de Trabalho Recomendado

1. Comece com get_scene_info para verificar a conexão
2. Crie uma cena de física se o palco estiver vazio
3. Prefira ferramentas específicas antes de execute_script
4. Use list_available_robots / list_environments antes de carregar
5. Use create_action_graph para conectar controladores OnPlaybackTick → ScriptNode
6. Use step_simulation com observe_prims e observe_joints para depuração
7. Use reload_script para iterar em controladores sem reiniciar

Demonstração: Franka Pick-and-Place

Uma demonstração pronta para executar em demo/franka_pick_place.py usando RMPflow para planejamento de movimento:

Please use the Isaac MCP tool complete this:

Create a physics scene with a ground plane, then spawn a Franka FR3 robot at the origin.

Add two textured tables with a gap along Y. Place a small textured cube with physics enabled on top of the first table.

Use `create_action_graph` to wire `OnPlaybackTick` → `ScriptNode`, and write a pick-and-place controller script using RMPflow for motion planning. Save the script to the `demo/` directory.

Use `get_prim_info` to query actual positions and sizes of the tables and cube before writing the controller — do not hardcode coordinates.

Start the simulation with Play. The robot should pick the cube from table 1 and place it on table 2. Verify the process using `step_simulation` with `observe_prims` on the cube to confirm it reaches table 2.

Usa create_action_graph com script_file para configuração de Action Graph + ScriptNode em uma etapa, além das ferramentas de observabilidade: get_joint_config, step_simulation com observe_prims, get_physics_state, e edit_action_graph para hot-reload de scripts.

Desenvolvimento

# Run the MCP inspector
./.venv/bin/python -m mcp dev ./isaac_mcp/server.py

O inspetor está disponível em http://localhost:5173.

Notas de Configuração

Substitua os padrões:

PYTHON_SPEC=3.11 ./scripts/setup_python_env.sh
ISAACSIM_ROOT=/opt/isaacsim ./scripts/run_isaac_sim.sh

# Make sure you're in the repo root
pwd
test -f ./isaac.sim.mcp_extension/config/extension.toml && echo OK

Contribuindo

Pull requests são bem-vindos. Melhorias em ferramentas, documentação, adaptadores e testes são todas úteis.

Licença

Licença MIT. Copyright (c) 2023-2025 omni-mcp, Copyright (c) 2026 whats2000. Veja LICENSE.