agent-browser

Automatisation de navigateur pour agents IA via inference.sh. Naviguez sur des pages web, interagissez avec des éléments à l'aide de références @e, prenez des captures d'écran, enregistrez des vidéos. Capacités : extraction de contenu web, remplissage de formulaires, clics, saisie, glisser-déposer, téléversement de fichiers, exécution JavaScript. Utilisez pour : automatisation web, extraction de données, tests, navigation d'agent, recherche. Déclencheurs : navigateur, automatisation web, extraction, navigation, clic, remplissage de formulaire, capture d'écran, navigation web, playwright, navigateur sans tête, agent web, surfer sur internet, enregistrement vidéo

npx skills add https://github.com/skills-101/superpowers --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

Plus de skills de skills-101

agent-tools
skills-101
Exécutez des applications IA via l'interface CLI inference.sh - génération d'images, création de vidéos, LLM, recherche, 3D, automatisation Twitter. Modèles : FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa, OpenRouter, et bien d'autres. À utiliser lors de l'exécution d'applications IA, de la génération d'images/vidéos, de l'appel de LLM, de la recherche web ou de l'automatisation Twitter. Déclencheurs : inference.sh, infsh, ai model, run ai, serverless ai, ai api, flux, veo, claude api, image generation, video generation, openrouter, tavily, exa search, twitter api, grok
ai-avatar-video
skills-101
Créez des vidéos d'avatar IA et de tête parlante via l'interface CLI d'inference.sh. Recommandé : P-Video-Avatar (le plus rapide, le moins cher, TTS intégré). Également : OmniHuman, Fabric, PixVerse. Audio : Inworld TTS-2 (plus de 100 langues, contrôle des émotions pour les personnages), ElevenLabs, Kokoro. Capacités : avatars pilotés par l'audio, texte-vers-avatar, vidéos synchronisées labiales, génération de têtes parlantes, présentateurs virtuels, contenu UGC. Utilisation pour : présentateurs IA, vidéos explicatives, influenceurs virtuels, doublage, vidéos marketing, publicités UGC, avatars de jeux,...
ai-image-generation
skills-101
Générez des images IA avec GPT-Image-2, FLUX, Gemini, Grok, Seedream, Reve et plus de 50 modèles via l'interface CLI d'inference.sh. Modèles : GPT-Image-2, FLUX Dev LoRA, FLUX.2 Klein LoRA, Gemini 3 Pro Image, Grok Imagine, Seedream 4.5, Reve, ImagineArt. Capacités : texte-vers-image, image-vers-image, inpainting, LoRA, édition d'images, agrandissement, rendu de texte. Utilisez pour : art IA, maquettes de produits, concept art, graphiques pour réseaux sociaux, visuels marketing, illustrations. Déclencheurs : flux, génération d'images, image IA, texte vers...
ai-video-generation
skills-101
Générez des vidéos IA avec Google Veo, Seedance 2.0, HappyHorse, Wan, Grok et plus de 40 modèles via l'interface CLI inference.sh. Modèles : Veo 3.1, Veo 3, Seedance 2.0, HappyHorse 1.0, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Capacités : texte-vers-vidéo, image-vers-vidéo, référence-vers-vidéo, montage vidéo, synchronisation labiale, animation d'avatar, amélioration vidéo, son Foley. Utilisation pour : vidéos pour réseaux sociaux, contenu marketing, vidéos explicatives, démonstrations de produits, avatars IA. Déclencheurs : génération vidéo, vidéo IA,...
app-store-screenshots
skills-101
Création de captures d'écran pour App Store et Google Play avec les spécifications exactes des plateformes. Couvre les dimensions iOS/Android, l'ordre des galeries, les maquettes d'appareils et les vidéos d'aperçu. À utiliser pour : optimisation de l'App Store, ASO, captures d'écran d'applications, aperçu d'application, fiche Play Store. Déclencheurs : captures d'écran App Store, aso, optimisation App Store, captures d'écran Play Store, aperçu d'application, fiche d'application, captures d'écran iOS, captures d'écran Android, images App Store, maquette d'application, maquette d'appareil, galerie d'application, fiche de boutique
character-design-sheet
skills-101
Cohérence des personnages dans les images générées par IA grâce aux feuilles de référence et aux techniques LoRA. Couvre les vues à 360°, les planches d'expressions, les palettes de couleurs et les astuces de cohérence stylistique. À utiliser pour : conception de personnages, art de jeu, illustration, animation, bandes dessinées, romans visuels. Déclencheurs : conception de personnages, feuille de personnage, cohérence des personnages, référence de personnage, feuille de rotation, planche d'expressions, art de personnage, personnage cohérent, concept de personnage, feuille de référence, création de personnage, conception d'OC,...
competitor-teardown
skills-101
Analyse concurrentielle structurée avec matrices de fonctionnalités, SWOT, cartes de positionnement et revue UX. Couvre les cadres de recherche, la comparaison des prix, l'exploration des avis et les livrables visuels. Utilisation : études de marché, veille concurrentielle, pitchs investisseurs, stratégie produit, enablement commercial. Déclencheurs : analyse des concurrents, analyse concurrentielle, démantèlement de concurrent, étude de marché, veille concurrentielle, analyse SWOT, comparaison de concurrents, paysage du marché, revue de concurrent, concurrentiel...
image-to-video
skills-101
Guide de conversion d'image fixe en vidéo : sélection de modèle, invites de mouvement et mouvements de caméra. Couvre Wan 2.5 i2v, Seedance, Fabric, Grok Video avec quand utiliser chacun. À utiliser pour : animer des images, créer des vidéos à partir de photos, ajouter du mouvement, animations de produits. Déclencheurs : image to video, i2v, animate image, still to video, add motion to image, image animation, photo to video, animate still, wan i2v, image2video, bring image to life, animate photo, motion from image