agent-browser

Автоматизация браузера для ИИ-агентов через inference.sh. Навигация по веб-страницам, взаимодействие с элементами с помощью @e-ссылок, создание скриншотов, запись видео. Возможности: веб-скрапинг, заполнение форм, клики, ввод текста, перетаскивание, загрузка файлов, выполнение JavaScript. Использовать для: веб-автоматизации, извлечения данных, тестирования, просмотра страниц агентом, исследований. Триггеры: браузер, веб-автоматизация, скрапинг, навигация, клик, заполнение формы, скриншот, просмотр веб-страниц, playwright, headless-браузер, веб-агент, серфинг в интернете, запись видео

npx skills add https://github.com/skills-101/superpowers --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

Больше skills от skills-101

agent-tools
skills-101
Запускайте ИИ-приложения через CLI inference.sh — генерация изображений, создание видео, LLM, поиск, 3D, автоматизация Twitter. Модели: FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa, OpenRouter и многие другие. Используйте при запуске ИИ-приложений, генерации изображений/видео, вызове LLM, веб-поиске или автоматизации Twitter. Триггеры: inference.sh, infsh, ai model, run ai, serverless ai, ai api, flux, veo, claude api, image generation, video generation, openrouter, tavily, exa search, twitter api, grok
ai-avatar-video
skills-101
Создавайте AI-аватары и видео с говорящей головой через inference.sh CLI. Рекомендуется: P-Video-Avatar (самый быстрый, самый дешевый, встроенный TTS). Также: OmniHuman, Fabric, PixVerse. Аудио: Inworld TTS-2 (100+ языков, управление эмоциями для персонажей), ElevenLabs, Kokoro. Возможности: аватары, управляемые аудио, текст-в-аватар, видео с синхронизацией губ, генерация говорящей головы, виртуальные ведущие, UGC-контент. Используйте для: AI-ведущих, обучающих видео, виртуальных инфлюенсеров, дубляжа, маркетинговых видео, UGC-рекламы, игровых аватаров,...
ai-image-generation
skills-101
Генерируйте AI-изображения с помощью GPT-Image-2, FLUX, Gemini, Grok, Seedream, Reve и более 50 моделей через CLI inference.sh. Модели: GPT-Image-2, FLUX Dev LoRA, FLUX.2 Klein LoRA, Gemini 3 Pro Image, Grok Imagine, Seedream 4.5, Reve, ImagineArt. Возможности: текст-в-изображение, изображение-в-изображение, инпейнтинг, LoRA, редактирование изображений, апскейлинг, рендеринг текста. Используется для: AI-арт, макеты продуктов, концепт-арт, графика для соцсетей, маркетинговые визуалы, иллюстрации. Триггеры: flux, генерация изображений, ai image, текст в...
ai-video-generation
skills-101
Создавайте AI-видео с помощью Google Veo, Seedance 2.0, HappyHorse, Wan, Grok и более 40 моделей через CLI inference.sh. Модели: Veo 3.1, Veo 3, Seedance 2.0, HappyHorse 1.0, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Возможности: текст-в-видео, изображение-в-видео, референс-в-видео, редактирование видео, липсинк, анимация аватаров, апскейлинг видео, звук фоли. Использование для: видео для соцсетей, маркетинговый контент, объясняющие видео, демонстрации продуктов, AI-аватары. Триггеры: генерация видео, AI-видео,...
app-store-screenshots
skills-101
Создание скриншотов для App Store и Google Play с точными спецификациями платформ. Охватывает размеры iOS/Android, порядок в галерее, макеты устройств и превью-видео. Используется для: оптимизации магазина приложений, ASO, скриншотов приложений, превью приложений, листинга в Play Store. Триггеры: скриншоты App Store, aso, оптимизация App Store, скриншоты Play Store, превью приложения, листинг приложения, скриншоты iOS, скриншоты Android, изображения App Store, макет приложения, макет устройства, галерея приложения, листинг магазина
character-design-sheet
skills-101
Согласованность персонажей на изображениях, созданных ИИ, с использованием референс-листов и техник LoRA. Охватывает развороты, листы выражений, цветовые палитры и приёмы стилевой согласованности. Используется для: дизайна персонажей, игровой графики, иллюстрации, анимации, комиксов, визуальных новелл. Триггеры: дизайн персонажа, лист персонажа, согласованность персонажа, референс персонажа, лист разворота, лист выражений, арт персонажа, согласованный персонаж, концепт персонажа, референс-лист, создание персонажа, дизайн OC,...
competitor-teardown
skills-101
Структурированный конкурентный анализ с матрицами функций, SWOT, картами позиционирования и обзором UX. Охватывает исследовательские фреймворки, сравнение цен, анализ отзывов и визуальные материалы. Используется для: маркетинговых исследований, конкурентной разведки, питч-деков для инвесторов, продуктовой стратегии, поддержки продаж. Триггеры: анализ конкурентов, сравнительный анализ, конкурентный разбор, маркетинговые исследования, конкурентная разведка, SWOT-анализ, сравнение конкурентов, ландшафт рынка, обзор конкурентов, конкурентный...
image-to-video
skills-101
Руководство по преобразованию статичных изображений в видео: выбор модели, управление движением и движением камеры. Охватывает Wan 2.5 i2v, Seedance, Fabric, Grok Video с указанием, когда использовать каждую. Используется для: анимации изображений, создания видео из статичных кадров, добавления движения, анимации продуктов. Триггеры: изображение в видео, i2v, анимировать изображение, статичное изображение в видео, добавить движение к изображению, анимация изображения, фото в видео, анимировать статичное изображение, wan i2v, image2video, оживить изображение, анимировать фото, движение из изображения