agent-browser

作成者: halt-catch-fire

inference.sh経由でAIエージェント向けのブラウザ自動化。Webページの移動、@e参照を使った要素操作、スクリーンショット撮影、動画録画が可能。機能:Webスクレイピング、フォーム入力、クリック、タイピング、ドラッグ&ドロップ、ファイルアップロード、JavaScript実行。用途:Web自動化、データ抽出、テスト、エージェントブラウジング、リサーチ。トリガー:ブラウザ、Web自動化、スクレイプ、移動、クリック、フォーム入力、スクリーンショット、Webブラウジング、Playwright、ヘッドレスブラウザ、Webエージェント、インターネットサーフィン、動画録画

npx skills add https://github.com/halt-catch-fire/skills --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

halt-catch-fireのその他のスキル

agent-tools
halt-catch-fire
inference.sh CLI経由で250以上のAIアプリを実行 - 画像生成、動画作成、LLM、検索、3D、Twitter自動化。モデル: FLUX、Veo、Gemini、Grok、Claude、Seedance、OmniHuman、Tavily、Exa、OpenRouterなど多数。AIアプリの実行、画像/動画生成、LLM呼び出し、ウェブ検索、Twitter自動化の際に使用。トリガー: inference.sh、infsh、ai model、run ai、serverless ai、ai api、flux、veo、claude api、image generation、video generation、openrouter、tavily、exa search、twitter api、grok
developmentapicreative
ai-avatar-video
halt-catch-fire
inference.sh CLI経由でAIアバターとトーキングヘッド動画を作成。推奨:P-Video-Avatar(最速、最安、内蔵TTS)。他に:OmniHuman、Fabric、PixVerse。音声:Inworld TTS-2(100以上の言語、キャラクター向け感情制御)、ElevenLabs、Kokoro。機能:音声駆動アバター、テキストからアバター、リップシンク動画、トーキングヘッド生成、バーチャルプレゼンター、UGCコンテンツ。用途:AIプレゼンター、解説動画、バーチャルインフルエンサー、吹き替え、マーケティング動画、UGC広告、ゲームアバターなど。
videocreativemedia
ai-image-generation
halt-catch-fire
GPT-Image-2、FLUX、Gemini、Grok、Seedream、Reve、ImagineArtなど50以上のモデルを使用し、inference.sh CLI経由でAI画像を生成します。対応モデル:GPT-Image-2、FLUX Dev LoRA、FLUX.2 Klein LoRA、Gemini 3 Pro Image、Grok Imagine、Seedream 4.5、Reve、ImagineArt。機能:テキストから画像、画像から画像、インペインティング、LoRA、画像編集、アップスケーリング、テキストレンダリング。用途:AIアート、製品モックアップ、コンセプトアート、ソーシャルメディアグラフィック、マーケティングビジュアル、イラスト。トリガー:flux、image generation、ai image、text to...
creativemediaimage
ai-video-generation
halt-catch-fire
inference.sh CLIを使用して、Google Veo、Seedance 2.0、HappyHorse、Wan、Grok、および40以上のモデルでAI動画を生成します。モデル:Veo 3.1、Veo 3、Seedance 2.0、HappyHorse 1.0、Wan 2.5、Grok Imagine Video、OmniHuman、Fabric、HunyuanVideo
creativevideomedia
app-store-screenshots
halt-catch-fire
We need to translate the given English text into Japanese, preserving the name "app-store-screenshots" only if it appears in the source text. The source text does not include the name "app-store-screenshots" explicitly; it's the directory item name but not in the text. So we don't include it. The text is a description of a skill. We translate everything inside <text> tags. No extra labels. Keep technical terms like "App Store", "Google Play", "iOS", "Android", "ASO", etc. Translate the rest naturally. The text: "App Store and Google Play screenshot creation with exact platform specs. Covers iOS/Android dimensions, gallery ordering, device mockups, and preview videos. Use for: app store optimization, ASO, app screenshots, app preview, play store listing. Triggers: app store screenshots, aso, app store optimization, play store screenshots, app preview, app listing, ios screenshots, android screenshots, app store images, app mockup, device mockup, app gallery
designmarketingcreative
character-design-sheet
halt-catch-fire
AI生成画像におけるキャラクターの一貫性を、リファレンスシートとLoRA技術で実現。ターンアラウンドビュー、表情シート、カラーパレット、スタイルの一貫性を保つテクニックを網羅。用途:キャラクターデザイン、ゲームアート、イラスト、アニメーション、コミック、ビジュアルノベル。トリガー:キャラクターデザイン、キャラクターシート、キャラクターの一貫性、キャラクターリファレンス、ターンアラウンドシート、表情シート、キャラクターアート、一貫性のあるキャラクター、キャラクターコンセプト、リファレンスシート、キャラクター作成、OCデザイン、...
creativedesignmedia
competitor-teardown
halt-catch-fire
構造化された競合分析。機能マトリクス、SWOT、ポジショニングマップ、UXレビューを含む。リサーチフレームワーク、価格比較、レビューマイニング、ビジュアル成果物をカバー。用途:市場調査、競合インテリジェンス、投資家向け資料、プロダクト戦略、セールスイネーブルメント。トリガー:競合分析、競合他社分析、競合製品分解、市場調査、競合インテリジェンス、SWOT分析、競合比較、市場環境、競合レビュー、競合...
researchdata-analysismarketing
image-to-video
halt-catch-fire
静止画から動画への変換ガイド:モデル選択、モーションプロンプト、カメラワーク。Wan 2.5 i2v、Seedance、Fabric、Grok Videoの各モデルとその使用場面を解説。用途:画像のアニメーション化、静止画からの動画作成、モーション追加、商品アニメーション。トリガー:画像から動画、i2v、画像をアニメーション化、静止画から動画、画像に動きを追加、画像アニメーション、写真から動画、静止画をアニメーション化、wan i2v、image2video、画像に命を吹き込む、写真をアニメーション化、画像からモーション生成