agent-browser

Automatización del navegador para agentes de IA mediante inference.sh. Navega por páginas web, interactúa con elementos usando referencias @e, toma capturas de pantalla y graba vídeo. Capacidades: extracción de datos web, rellenado de formularios, clics, escritura, arrastrar y soltar, carga de archivos y ejecución de JavaScript. Usos: automatización web, extracción de datos, pruebas, navegación de agentes e investigación. Activadores: navegador, automatización web, extraer datos, navegar, hacer clic, rellenar formulario, captura de pantalla, navegar por la web, playwright, navegador sin interfaz gráfica, agente web, navegar por internet, grabar vídeo

npx skills add https://github.com/magentosh/superpowers --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

Más skills de magentosh

agent-tools
magentosh
Ejecuta aplicaciones de IA mediante la CLI de inference.sh: generación de imágenes, creación de videos, LLM, búsqueda, 3D y automatización de Twitter. Modelos: FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa y muchos más. Úsalo para ejecutar aplicaciones de IA, generar imágenes o videos, llamar a LLM, buscar en la web o automatizar Twitter. Activadores: inference.sh, infsh, modelo de IA, ejecutar IA, IA sin servidor, API de IA, flux, veo, API de Claude, generación de imágenes, generación de videos, tavily, búsqueda de Exa, API de Twitter, grok
apiimagevideo
ai-avatar-video
magentosh
Crea avatares de IA y videos de cabezas parlantes mediante la CLI de inference.sh. Recomendado: P-Video-Avatar (el más rápido y económico, con TTS integrado). También: OmniHuman, Fabric, PixVerse. Audio: Inworld TTS-2 (más de 100 idiomas, control de emociones para personajes), ElevenLabs, Kokoro. Capacidades: avatares controlados por audio, conversión de texto a avatar, videos con sincronización labial, generación de cabezas parlantes, presentadores virtuales, contenido UGC. Usos: presentadores de IA, videos explicativos, influencers virtuales, doblaje, videos de marketing, anuncios UGC, avatares para videojuegos,...
videoaudiomarketing
ai-image-generation
magentosh
Genera imágenes con IA con GPT-Image-2.6, FLUX, Gemini, Grok, Seedream, Reve y más de 50 modelos mediante la CLI de inference.sh. Modelos: GPT-Image-2.6 Flare, GPT-Image-2.6 Sunburst, FLUX Dev LoRA, FLUX.2 Klein LoRA, Nano Banana 2.1, Gemini 3 Pro Image, Grok Imagine 2.0, Seedream 5.5, Reve, ImagineArt. Funciones: texto a imagen, imagen a imagen, relleno, LoRA, edición de imágenes, ampliación, renderizado de texto. Usos: arte con IA, maquetas de productos, arte conceptual, gráficos para redes sociales, recursos visuales de marketing, ilustraciones....
imagecreativemedia
ai-video-generation
magentosh
Genera videos con IA con Google Veo, Seedance 2.5, Kling, HappyHorse, Wan, Grok y más de 40 modelos mediante la CLI de inference.sh. Modelos: Veo 3.1, Seedance 2.5, Kling v4, Runway Gen-4.5, FLUX 3 Video, HappyHorse 1.0, Wan 2.7, Grok Imagine Video 1.5, P-Video 2, OmniHuman, Fabric. Funciones: texto a video, imagen a video, referencia a video, edición de video, sincronización labial, animación de avatares, mejora de resolución de video y efectos de sonido. Úsalo para: videos para redes sociales, contenido de marketing, videos explicativos, demostraciones de productos, avatares con IA....
videomediacreative
infsh-cli
magentosh
Ejecuta aplicaciones de IA mediante la CLI de inference.sh: generación de imágenes, creación de videos, LLM, búsqueda, 3D y automatización de Twitter. Modelos: FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa y muchos más. Úsalo para ejecutar aplicaciones de IA, generar imágenes o videos, llamar a LLM, buscar en la web o automatizar Twitter. Activadores: inference.sh, infsh, modelo de IA, ejecutar IA, IA sin servidor, API de IA, flux, veo, API de Claude, generación de imágenes, generación de videos, tavily, búsqueda de Exa, API de Twitter, grok
apiimagevideo
python-executor
magentosh
Execute Python code in a safe sandboxed environment via [inference.sh](https://inference.sh). Pre-installed: NumPy, Pandas, Matplotlib, requests, BeautifulSoup, Selenium, Playwright, MoviePy, Pillow, OpenCV, trimesh, and 100+ more libraries. Use for: data processing, web scraping, image manipulation, video creation, 3D model processing, PDF generation, API calls, automation scripts. Triggers: python, execute code, run script, web scraping, data analysis, image processing, video editing, 3D...
developmentdata-analysisweb-scraping
remotion-render
magentosh
Renderiza videos a partir de código de componentes React/Remotion mediante inference.sh. Pasa código TSX y obtén un MP4. Compatible con todas las API de Remotion: useCurrentFrame, useVideoConfig, spring, interpolate, AbsoluteFill, Sequence. Resolución, FPS, duración y códec configurables. Úsalo para: generación programática de videos, gráficos animados, diseño de movimiento, videos basados en datos y animaciones de React a video. Activadores: remotion, renderizar video desde código, TSX a video, video de React, video programático, render de Remotion, código a video, animado...
videodevelopmentcreative
twitter-automation
magentosh
Automatiza Twitter/X con publicación, interacción y gestión de usuarios mediante la CLI de inference.sh. Aplicaciones: x/post-create (texto y contenido multimedia), x/post-like, x/post-retweet, x/dm-send, x/user-follow. Funcionalidades: publicar tuits, programar contenido, dar «me gusta» a publicaciones, retuitear, enviar mensajes directos, seguir usuarios y consultar perfiles. Úsalo para: automatización de redes sociales, programación de contenido, bots de interacción, crecimiento de audiencia y X API. Activadores: twitter api, x api, automatización de tuits, publicar en twitter, bot de twitter, automatización de redes sociales, automatización de x,...
browser-automationmarketingapi