agent-browser

โดย halt-catch-fire

การทำงานอัตโนมัติของเบราว์เซอร์สำหรับเอเจนต์ AI ผ่าน inference.sh นำทางหน้าเว็บ โต้ตอบกับองค์ประกอบโดยใช้ @e refs จับภาพหน้าจอ บันทึกวิดีโอ ความสามารถ: การขูดข้อมูลเว็บ การกรอกฟอร์ม การคลิก การพิมพ์ การลากและวาง การอัปโหลดไฟล์ การเรียกใช้ JavaScript ใช้สำหรับ: ระบบอัตโนมัติทางเว็บ การดึงข้อมูล การทดสอบ การเรียกดูของเอเจนต์ การวิจัย ทริกเกอร์: เบราว์เซอร์, ระบบอัตโนมัติทางเว็บ, ขูดข้อมูล, นำทาง, คลิก, กรอกฟอร์ม, จับภาพหน้าจอ, เรียกดูเว็บ, playwright, เบราว์เซอร์ไร้หัว, เว็บเอเจนต์, ท่องอินเทอร์เน็ต, บันทึกวิดีโอ

npx skills add https://github.com/halt-catch-fire/skills --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

Skills เพิ่มเติมจาก halt-catch-fire

agent-tools
halt-catch-fire
We need to translate the given text from English to Thai. The text describes an agent skill for running AI apps via inference.sh CLI. It lists various models and triggers. We must preserve product names, protocol names, URLs, numbers, technical terms. Do not add any extra commentary or labels. The name "agent-tools" is not in the source text, so we ignore it. Just translate the content inside <text> tags. Translation: "Run 250+ AI apps via inference.sh CLI - image generation, video creation, LLMs, search, 3D, Twitter automation. Models: FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa, OpenRouter, and many more. Use when running AI apps, generating images/videos, calling LLMs, web search, or automating Twitter. Triggers: inference.sh, infsh, ai model, run ai, serverless ai, ai api, flux, veo, claude api, image generation, video generation, openrouter, tavily
developmentapicreative
ai-avatar-video
halt-catch-fire
We need to translate the given text from English to Thai. The instruction says to preserve product names, protocol names, URLs, numbers, and technical terms. So names like "P-Video-Avatar", "OmniHuman", "Fabric", "PixVerse", "Inworld TTS-2", "ElevenLabs", "Kokoro", "inference.sh CLI" should remain as is. Also "AI avatar", "talking head", "TTS", "lipsync", "UGC" etc. are technical terms that might be kept in English or translated? The instruction says "preserve product names, protocol names, URLs, numbers, and technical terms." Technical terms could be translated if common in Thai, but to be safe, we can keep them as is or use common Thai transliterations. However, the instruction says "preserve" meaning keep original. So we should keep all those terms in English. The rest of the text should be translated naturally into Thai. We need to output only the translated text, no extra labels.
videocreativemedia
ai-image-generation
halt-catch-fire
สร้างภาพ AI ด้วย GPT-Image-2, FLUX, Gemini, Grok, Seedream, Reve และโมเดลอีก 50+ รุ่นผ่าน CLI inference.sh โมเดล: GPT-Image-2, FLUX Dev LoRA, FLUX.2 Klein LoRA, Gemini 3 Pro Image, Grok Imagine, Seedream 4.5, Reve, ImagineArt ความสามารถ: ข้อความเป็นภาพ, ภาพเป็นภาพ, การเติมแต่งภาพ, LoRA, การแก้ไขภาพ, การเพิ่มความละเอียด, การเรนเดอร์ข้อความ ใช้สำหรับ: ศิลปะ AI, ตัวอย่างผลิตภัณฑ์, คอนเซปต์อาร์ต, กราฟิกโซเชียลมีเดีย, ภาพการตลาด, ภาพประกอบ ทริกเกอร์: flux, การสร้างภาพ, ภาพ ai, ข้อความเป็น...
creativemediaimage
ai-video-generation
halt-catch-fire
สร้างวิดีโอ AI ด้วย Google Veo, Seedance 2.0, HappyHorse, Wan, Grok และโมเดลอีกกว่า 40 รุ่นผ่าน CLI ของ inference.sh โมเดล: Veo 3.1, Veo 3, Seedance 2.0, HappyHorse 1.0, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo ความสามารถ: ข้อความเป็นวิดีโอ, รูปภาพเป็นวิดีโอ, อ้างอิงเป็นวิดีโอ, ตัดต่อวิดีโอ, ลิปซิงค์, แอนิเมชันอวาตาร์, ปรับขนาดวิดีโอ, เสียงประกอบฟอลีย์ ใช้สำหรับ: วิดีโอโซเชียลมีเดีย, เนื้อหาการตลาด, วิดีโออธิบาย, การสาธิตผลิตภัณฑ์, อวาตาร์ AI ทริกเกอร์: การสร้างวิดีโอ,
creativevideomedia
app-store-screenshots
halt-catch-fire
การสร้างภาพหน้าจอสำหรับ App Store และ Google Play ตามข้อกำหนดเฉพาะของแพลตฟอร์ม ครอบคลุมขนาดสำหรับ iOS/Android การจัดลำดับแกลเลอรี ภาพจำลองอุปกรณ์ และวิดีโอตัวอย่าง ใช้สำหรับ: การปรับแต่ง App Store, ASO, ภาพหน้าจอแอป, ตัวอย่างแอป, รายการใน Play Store คำกระตุ้น: ภาพหน้าจอ App Store, aso, การปรับแต่ง App Store, ภาพหน้าจอ Play Store, ตัวอย่างแอป, รายการแอป, ภาพหน้าจอ iOS, ภาพหน้าจอ Android, รูปภาพแอป, ภาพจำลองแอป, ภาพจำลองอุปกรณ์, แกลเลอรีแอป, รายการในร้านค้า
designmarketingcreative
character-design-sheet
halt-catch-fire
ความสอดคล้องของตัวละครในภาพที่สร้างโดย AI โดยใช้ reference sheets และเทคนิค LoRA ครอบคลุมมุมมองหมุนตัว, แผ
creativedesignmedia
competitor-teardown
halt-catch-fire
การวิเคราะห์คู่แข่งแบบมีโครงสร้างพร้อมเมทริกซ์คุณสมบัติ SWOT แผนที่ตำแหน่งทางการตลาด และการตรวจสอบ UX ครอบคลุมกรอบงานวิจัย การเปรียบเทียบราคา การขุดรีวิว และผลงานที่นำเสนอด้วยภาพ ใช้สำหรับ: การวิจัยตลาด, ข่าวกรองทางการแข่งขัน, ชุดข้อมูลนักลงทุน, กลยุทธ์ผลิตภัณฑ์, การสนับสนุนการขาย ตัวกระตุ้น: การวิเคราะห์คู่แข่ง, การวิเคราะห์เชิงแข่งขัน, การแยกส่วนคู่แข่ง, การวิจัยตลาด, ข่าวกรองทางการแข่งขัน, การวิเคราะห์ SWOT, การเปรียบเทียบคู่แข่ง, ภาพรวมตลาด, การตรวจสอบคู่แข่ง, การแข่งขัน...
researchdata-analysismarketing
image-to-video
halt-catch-fire
We need to translate the given text from English to Thai. The text is a description of an agent skill for image-to-video conversion. We must preserve product names, protocol names, URLs, numbers, and technical terms. The name "image-to-video" is not in the text, so we don't include it. We translate only the text inside <text>. No extra commentary, labels, or formatting. The text: "Still-to-video conversion guide: model selection, motion prompting, and camera movement. Covers Wan 2.5 i2v, Seedance, Fabric, Grok Video with when to use each. Use for: animating images, creating video from stills, adding motion, product animations. Triggers: image to video, i2v, animate image, still to video, add motion to image, image animation, photo to video, animate still, wan i2v, image2video, bring image to life, animate photo, motion from image" We need to translate the descriptive parts, but keep terms like "Wan 2