agent-browser

Tự động hóa trình duyệt cho các tác nhân AI qua inference.sh. Điều hướng trang web, tương tác với các phần tử bằng tham chiếu @e, chụp ảnh màn hình, ghi video. Khả năng: thu thập dữ liệu web, điền biểu mẫu, nhấp chuột, gõ chữ, kéo-thả, tải tệp lên, thực thi JavaScript. Sử dụng cho: tự động hóa web, trích xuất dữ liệu, kiểm thử, duyệt web bằng tác nhân, nghiên cứu. Kích hoạt: trình duyệt, tự động hóa web, thu thập dữ liệu, điều hướng, nhấp chuột, điền biểu mẫu, chụp ảnh màn hình, duyệt web, playwright, trình duyệt không đầu, tác nhân web, lướt internet, ghi video

npx skills add https://github.com/skills-101/superpowers --skill agent-browser

Install the belt CLI skill: npx skills add belt-sh/cli

Agentic Browser

Browser automation for AI agents via inference.sh. Uses Playwright under the hood with a simple @e ref system for element interaction.

Agentic Browser

Quick Start

Requires inference.sh CLI (belt). Install instructions

belt login

# Open a page and get interactive elements
belt app run agent-browser --function open --input '{"url": "https://example.com"}' --session new

Core Workflow

Every browser automation follows this pattern:

  1. Open - Navigate to URL, get @e refs for elements
  2. Interact - Use refs to click, fill, drag, etc.
  3. Re-snapshot - After navigation/changes, get fresh refs
  4. Close - End session (returns video if recording)
# 1. Start session
RESULT=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/login"
}')
SESSION_ID=$(echo $RESULT | jq -r '.session_id')
# Elements: @e1 [input] "Email", @e2 [input] "Password", @e3 [button] "Sign In"

# 2. Fill and submit
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e1", "text": "user@example.com"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "fill", "ref": "@e2", "text": "password123"
}'
belt app run agent-browser --function interact --session $SESSION_ID --input '{
  "action": "click", "ref": "@e3"
}'

# 3. Re-snapshot after navigation
belt app run agent-browser --function snapshot --session $SESSION_ID --input '{}'

# 4. Close when done
belt app run agent-browser --function close --session $SESSION_ID --input '{}'

Functions

FunctionDescription
openNavigate to URL, configure browser (viewport, proxy, video recording)
snapshotRe-fetch page state with @e refs after DOM changes
interactPerform actions using @e refs (click, fill, drag, upload, etc.)
screenshotTake page screenshot (viewport or full page)
executeRun JavaScript code on the page
closeClose session, returns video if recording was enabled

Interact Actions

ActionDescriptionRequired Fields
clickClick elementref
dblclickDouble-click elementref
fillClear and type textref, text
typeType text (no clear)text
pressPress key (Enter, Tab, etc.)text
selectSelect dropdown optionref, text
hoverHover over elementref
checkCheck checkboxref
uncheckUncheck checkboxref
dragDrag and dropref, target_ref
uploadUpload file(s)ref, file_paths
scrollScroll pagedirection (up/down/left/right), scroll_amount
backGo back in history-
waitWait millisecondswait_ms
gotoNavigate to URLurl

Element Refs

Elements are returned with @e refs:

@e1 [a] "Home" href="/"
@e2 [input type="text"] placeholder="Search"
@e3 [button] "Submit"
@e4 [select] "Choose option"
@e5 [input type="checkbox"] name="agree"

Important: Refs are invalidated after navigation. Always re-snapshot after:

  • Clicking links/buttons that navigate
  • Form submissions
  • Dynamic content loading

Features

Video Recording

Record browser sessions for debugging or documentation:

# Start with recording enabled (optionally show cursor indicator)
SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true,
  "show_cursor": true
}' | jq -r '.session_id')

# ... perform actions ...

# Close to get the video file
belt app run agent-browser --function close --session $SESSION --input '{}'
# Returns: {"success": true, "video": <File>}

Cursor Indicator

Show a visible cursor in screenshots and video (useful for demos):

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "show_cursor": true,
  "record_video": true
}'

The cursor appears as a red dot that follows mouse movements and shows click feedback.

Proxy Support

Route traffic through a proxy server:

belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "proxy_url": "http://proxy.example.com:8080",
  "proxy_username": "user",
  "proxy_password": "pass"
}'

File Upload

Upload files to file inputs:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "upload",
  "ref": "@e5",
  "file_paths": ["/path/to/file.pdf"]
}'

Drag and Drop

Drag elements to targets:

belt app run agent-browser --function interact --session $SESSION --input '{
  "action": "drag",
  "ref": "@e1",
  "target_ref": "@e2"
}'

JavaScript Execution

Run custom JavaScript:

belt app run agent-browser --function execute --session $SESSION --input '{
  "code": "document.querySelectorAll(\"h2\").length"
}'
# Returns: {"result": "5", "screenshot": <File>}

Deep-Dive Documentation

ReferenceDescription
references/commands.mdFull function reference with all options
references/snapshot-refs.mdRef lifecycle, invalidation rules, troubleshooting
references/session-management.mdSession persistence, parallel sessions
references/authentication.mdLogin flows, OAuth, 2FA handling
references/video-recording.mdRecording workflows for debugging
references/proxy-support.mdProxy configuration, geo-testing

Ready-to-Use Templates

TemplateDescription
templates/form-automation.shForm filling with validation
templates/authenticated-session.shLogin once, reuse session
templates/capture-workflow.shContent extraction with screenshots

Examples

Form Submission

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com/contact"
}' | jq -r '.session_id')

# Get elements: @e1 [input] "Name", @e2 [input] "Email", @e3 [textarea], @e4 [button] "Send"

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "John Doe"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e2", "text": "john@example.com"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e3", "text": "Hello!"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "click", "ref": "@e4"}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Search and Extract

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://google.com"
}' | jq -r '.session_id')

belt app run agent-browser --function interact --session $SESSION --input '{"action": "fill", "ref": "@e1", "text": "weather today"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "press", "text": "Enter"}'
belt app run agent-browser --function interact --session $SESSION --input '{"action": "wait", "wait_ms": 2000}'

belt app run agent-browser --function snapshot --session $SESSION --input '{}'
belt app run agent-browser --function close --session $SESSION --input '{}'

Screenshot with Video

SESSION=$(belt app run agent-browser --function open --session new --input '{
  "url": "https://example.com",
  "record_video": true
}' | jq -r '.session_id')

# Take full page screenshot
belt app run agent-browser --function screenshot --session $SESSION --input '{
  "full_page": true
}'

# Close and get video
RESULT=$(belt app run agent-browser --function close --session $SESSION --input '{}')
echo $RESULT | jq '.video'

Sessions

Browser state persists within a session. Always:

  1. Start with --session new on first call
  2. Use returned session_id for subsequent calls
  3. Close session when done

Related Skills

# Web search (for research + browse)
npx skills add inference-sh/skills@web-search

# LLM models (analyze extracted content)
npx skills add inference-sh/skills@llm-models

Documentation

Thêm skills từ skills-101

agent-tools
skills-101
Chạy các ứng dụng AI qua CLI inference.sh - tạo hình ảnh, tạo video, LLM, tìm kiếm, 3D, tự động hóa Twitter. Các mô hình: FLUX, Veo, Gemini, Grok, Claude, Seedance, OmniHuman, Tavily, Exa, OpenRouter, và nhiều hơn nữa. Sử dụng khi chạy ứng dụng AI, tạo hình ảnh/video, gọi LLM, tìm kiếm web, hoặc tự động hóa Twitter. Kích hoạt: inference.sh, infsh, ai model, run ai, serverless ai, ai api, flux, veo, claude api, image generation, video generation, openrouter, tavily, exa search, twitter api, grok
ai-avatar-video
skills-101
Tạo video AI avatar và video người nói chuyện qua CLI inference.sh. Đề xuất: P-Video-Avatar (nhanh nhất, rẻ nhất, có TTS tích hợp). Ngoài ra: OmniHuman, Fabric, PixVerse. Âm thanh: Inworld TTS-2 (hơn 100 ngôn ngữ, điều chỉnh cảm xúc cho nhân vật), ElevenLabs, Kokoro. Tính năng: avatar điều khiển bằng âm thanh, văn bản thành avatar, video khớp môi, tạo người nói chuyện, người dẫn ảo, nội dung UGC. Dùng cho: người dẫn AI, video giải thích, người ảnh hưởng ảo, lồng tiếng, video tiếp thị, quảng cáo UGC, avatar game,...
ai-image-generation
skills-101
Tạo hình ảnh AI với GPT-Image-2, FLUX, Gemini, Grok, Seedream, Reve và 50+ mô hình qua CLI inference.sh. Mô hình: GPT-Image-2, FLUX Dev LoRA, FLUX.2 Klein LoRA, Gemini 3 Pro Image, Grok Imagine, Seedream 4.5, Reve, ImagineArt. Khả năng: text-to-image, image-to-image, inpainting, LoRA, chỉnh sửa hình ảnh, upscaling, hiển thị văn bản. Sử dụng cho: nghệ thuật AI, mô phỏng sản phẩm, concept art, đồ họa mạng xã hội, hình ảnh tiếp thị, minh họa. Kích hoạt: flux, tạo hình ảnh, hình ảnh ai, văn bản đến...
ai-video-generation
skills-101
Tạo video AI với Google Veo, Seedance 2.0, HappyHorse, Wan, Grok và hơn 40 mô hình thông qua CLI inference.sh. Các mô hình: Veo 3.1, Veo 3, Seedance 2.0, HappyHorse 1.0, Wan 2.5, Grok Imagine Video, OmniHuman, Fabric, HunyuanVideo. Khả năng: văn bản thành video, hình ảnh thành video, tham chiếu thành video, chỉnh sửa video, đồng bộ môi, hoạt ảnh đại diện, nâng cấp video, âm thanh foley. Dùng cho: video truyền thông xã hội, nội dung tiếp thị, video giải thích, demo sản phẩm, đại diện AI. Kích hoạt: tạo video, video AI,...
app-store-screenshots
skills-101
Tạo ảnh chụp màn hình App Store và Google Play với thông số nền tảng chính xác. Bao gồm kích thước iOS/Android, thứ tự thư viện ảnh, mô phỏng thiết bị và video xem trước. Dùng cho: tối ưu hóa cửa hàng ứng dụng, ASO, ảnh chụp màn hình ứng dụng, xem trước ứng dụng, danh sách Play Store. Kích hoạt: ảnh chụp màn hình cửa hàng ứng dụng, aso, tối ưu hóa cửa hàng ứng dụng, ảnh chụp màn hình Play Store, xem trước ứng dụng, danh sách ứng dụng, ảnh chụp màn hình iOS, ảnh chụp màn hình Android, hình ảnh cửa hàng ứng dụng, mô phỏng ứng dụng, mô phỏng thiết bị, thư viện ứng dụng, danh sách cửa hàng
character-design-sheet
skills-101
Duy trì tính nhất quán của nhân vật trong hình ảnh do AI tạo ra với bảng tham chiếu và kỹ thuật LoRA. Bao gồm các góc nhìn xoay vòng, bảng biểu cảm, bảng màu và mẹo nhất quán phong cách. Sử dụng cho: thiết kế nhân vật, nghệ thuật trò chơi, minh họa, hoạt hình, truyện tranh, tiểu thuyết trực quan. Kích hoạt: thiết kế nhân vật, bảng nhân vật, nhất quán nhân vật, tham chiếu nhân vật, bảng xoay vòng, bảng biểu cảm, nghệ thuật nhân vật, nhân vật nhất quán, khái niệm nhân vật, bảng tham chiếu, tạo nhân vật, thiết kế OC,...
competitor-teardown
skills-101
Phân tích cạnh tranh có cấu trúc với ma trận tính năng, SWOT, bản đồ định vị và đánh giá UX. Bao gồm khung nghiên cứu, so sánh giá, khai thác đánh giá và sản phẩm trực quan. Sử dụng cho: nghiên cứu thị trường, tình báo cạnh tranh, hồ sơ nhà đầu tư, chiến lược sản phẩm, hỗ trợ bán hàng. Kích hoạt: phân tích đối thủ, phân tích cạnh tranh, competitor teardown, nghiên cứu thị trường, tình báo cạnh tranh, phân tích SWOT, so sánh đối thủ, bối cảnh thị trường, đánh giá đối thủ, cạnh tranh...
image-to-video
skills-101
Hướng dẫn chuyển ảnh tĩnh thành video: chọn mô hình, tạo chuyển động bằng prompt và chuyển động camera. Bao gồm Wan 2.5 i2v, Seedance, Fabric, Grok Video kèm thời điểm sử dụng từng loại. Dùng để: làm chuyển động ảnh, tạo video từ ảnh tĩnh, thêm chuyển động, hoạt ảnh sản phẩm. Kích hoạt: image to video, i2v, animate image, still to video, add motion to image, image animation, photo to video, animate still, wan i2v, image2video, bring image to life, animate photo, motion from image