Oxylabs

chính thức

Scrape các trang web với Oxylabs Web API, hỗ trợ kết xuất động và phân tích để trích xuất dữ liệu có cấu trúc.

Bạn có thể làm gì với Oxylabs MCP?

  • Scrape bất kỳ URL nào — Yêu cầu trợ lý của bạn tìm nạp và trích xuất nội dung từ bất kỳ trang web nào bằng universal_scraper, với tùy chọn kết xuất JavaScript và nhắm mục tiêu theo khu vực địa lý.
  • Tìm kiếm Google và Amazon — Sử dụng google_search_scraper, amazon_search_scraper hoặc amazon_product_scraper để lấy kết quả có cấu trúc từ các nền tảng này.
  • Trích xuất hỗ trợ AI — Tận dụng ai_scraper để scrape bất kỳ URL nào và trả về dữ liệu ở định dạng JSON, CSV, Markdown hoặc TOON.
  • Thu thập và lập bản đồ trang web — Sử dụng ai_crawler để thu thập dữ liệu trên nhiều trang từ một URL bắt đầu, hoặc ai_map để liệt kê các URL của trang web được lọc theo từ khóa.
  • Tự động hóa tác vụ trình duyệt — Giao phó việc điều hướng, nhấp chuột và điền biểu mẫu cho ai_browser_agent, công cụ điều khiển trình duyệt thực dựa trên lời nhắc.
  • Tạo lược đồ trích xuất — Yêu cầu lược đồ JSON định dạng OpenAPI qua generate_schema để cấu trúc việc trích xuất dữ liệu bằng các công cụ AI.

Tài liệu

Oxylabs + MCP

Oxylabs MCP Server

Cầu nối còn thiếu giữa các mô hình AI và web thực tế: một API duy nhất cung cấp dữ liệu sạch, có cấu trúc từ bất kỳ trang web nào.


📖 Tổng quan

Máy chủ Oxylabs MCP cung cấp cầu nối giữa các mô hình AI và web. Nó cho phép chúng thu thập dữ liệu từ bất kỳ URL nào, hiển thị các trang web nặng về JavaScript, trích xuất và định dạng nội dung để sử dụng cho AI, quản lý CAPTCHA và truy cập dữ liệu web bị giới hạn địa lý từ hơn 195 quốc gia.

Nó được xây dựng trên Giao thức Ngữ cảnh Mô hình (MCP), tiêu chuẩn mở để kết nối trợ lý AI với các công cụ và dữ liệu bên ngoài.

🛠️ Công cụ MCP

Oxylabs MCP cung cấp hai bộ công cụ có thể được sử dụng cùng nhau hoặc độc lập:

Công cụ Oxylabs Web Scraper API

  1. universal_scraper: thu thập dữ liệu từ bất kỳ URL nào, với tùy chọn hiển thị JavaScript, nhắm mục tiêu địa lý và đầu ra Markdown/HTML/liên kết;
  2. google_search_scraper: trích xuất kết quả từ Google Search, với tùy chọn phân tích cú pháp thành JSON có cấu trúc;
  3. amazon_search_scraper: thu thập dữ liệu từ các trang kết quả tìm kiếm Amazon, với tùy chọn phân tích cú pháp thành JSON có cấu trúc;
  4. amazon_product_scraper: trích xuất dữ liệu từ các trang sản phẩm Amazon riêng lẻ.

Công cụ Oxylabs AI Studio

  1. ai_scraper: thu thập nội dung từ bất kỳ URL nào với trích xuất hỗ trợ AI, ở định dạng JSON, CSV, Markdown hoặc TOON;
  2. ai_crawler: thu thập dữ liệu từ một trang web bắt đầu từ một URL dựa trên lời nhắc và thu thập dữ liệu trên nhiều trang;
  3. ai_browser_agent: điều khiển một trình duyệt thực dựa trên lời nhắc — điều hướng, nhấp chuột, điền biểu mẫu — và trả về kết quả;
  4. ai_search: tìm kiếm trên web và tùy chọn trả về nội dung Markdown của từng kết quả;
  5. ai_map: lập bản đồ các URL của một trang web, được lọc theo từ khóa hoặc lời nhắc;
  6. generate_schema: tạo lược đồ JSON định dạng OpenAPI để trích xuất có cấu trúc với các công cụ AI ở trên.

✅ Điều kiện tiên quyết

Trước khi bắt đầu, hãy đảm bảo bạn có ít nhất một trong những điều sau:

  • Tài khoản Oxylabs Web Scraper API: lấy tên người dùng và mật khẩu của bạn từ Oxylabs (có bản dùng thử miễn phí 1 tuần);
  • Khóa API Oxylabs AI Studio: lấy khóa API của bạn từ Oxylabs AI Studio (1000 tín chỉ miễn phí).

Để chạy máy chủ cục bộ (Tùy chọn 2 bên dưới), bạn cũng sẽ cần trình quản lý gói uv:

# macOS and Linux
curl -LsSf https://astral.sh/uv/install.sh | sh
# Windows
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

📦 Cấu hình

Có hai cách để sử dụng máy chủ: kết nối với phiên bản lưu trữ (không cần cài đặt) hoặc chạy cục bộ với thông tin xác thực trong các biến môi trường.

Tùy chọn 1: Máy chủ lưu trữ (không cần cài đặt)

Oxylabs chạy một máy chủ MCP được lưu trữ tại:

https://mcp.oxylabs.io/mcp

Thông tin xác thực được truyền qua các tiêu đề yêu cầu:

Thông tin xác thựcTiêu đề
Web Scraper APIAuthorization: Basic <base64(username:password)>
Web Scraper API (thay thế)X-Oxylabs-Username và X-Oxylabs-Password
AI StudioX-Oxylabs-AI-Studio-Api-Key

Thiết lập với Claude Code:

claude mcp add --transport http oxylabs https://mcp.oxylabs.io/mcp \
  --header "Authorization: Basic $(echo -n 'YOUR_USERNAME:YOUR_PASSWORD' | base64)" \
  --header "X-Oxylabs-AI-Studio-Api-Key: YOUR_API_KEY"

Thiết lập với Cursor hoặc bất kỳ máy khách nào hỗ trợ máy chủ MCP từ xa với tiêu đề tùy chỉnh:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://mcp.oxylabs.io/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Máy chủ cũng được liệt kê trên Smithery.

Lưu ý: các máy khách chỉ hỗ trợ OAuth cho máy chủ từ xa (ví dụ: thêm trình kết nối tùy chỉnh trong giao diện web claude.ai) chưa thể truyền tiêu đề — đăng nhập OAuth nằm trong lộ trình của chúng tôi. Sử dụng thiết lập cục bộ bên dưới với các máy khách đó trong thời gian chờ đợi.

Tùy chọn 2: Chạy cục bộ

Biến môi trường

Máy chủ Oxylabs MCP hỗ trợ các biến môi trường sau:

TênMô tảMặc định
OXYLABS_USERNAMETên người dùng Oxylabs Web Scraper API của bạn
OXYLABS_PASSWORDMật khẩu Oxylabs Web Scraper API của bạn
OXYLABS_AI_STUDIO_API_KEYKhóa API Oxylabs AI Studio của bạn
LOG_LEVELMức độ ghi log cho các log được trả về máy kháchINFO

Dựa trên thông tin xác thực được cung cấp, máy chủ tự động hiển thị các công cụ tương ứng:

  • Nếu chỉ cung cấp OXYLABS_USERNAME và OXYLABS_PASSWORD, máy chủ hiển thị các công cụ Web Scraper API;
  • Nếu chỉ cung cấp OXYLABS_AI_STUDIO_API_KEY, máy chủ hiển thị các công cụ AI Studio;
  • Nếu cả ba đều được cung cấp, máy chủ hiển thị tất cả các công cụ.

❗ Quan trọng: chỉ đặt các biến môi trường mà bạn có thông tin xác thực thực sự. Để lại các giá trị giữ chỗ sẽ dẫn đến các công cụ được hiển thị nhưng không hoạt động.

Cấu hình với uvx

Cài đặt gói từ PyPI và chạy tự động:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uvx",
      "args": ["oxylabs-mcp"],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Cấu hình với bản sao cục bộ

Hữu ích cho phát triển — chạy máy chủ từ một bản sao cục bộ của kho lưu trữ này:

{
  "mcpServers": {
    "oxylabs": {
      "command": "uv",
      "args": [
        "--directory",
        "/<absolute-path-to-folder>/oxylabs-mcp",
        "run",
        "oxylabs-mcp"
      ],
      "env": {
        "OXYLABS_USERNAME": "YOUR_USERNAME",
        "OXYLABS_PASSWORD": "YOUR_PASSWORD",
        "OXYLABS_AI_STUDIO_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

Chạy như một máy chủ HTTP từ xa (tự lưu trữ)

Máy chủ cũng hỗ trợ giao thức truyền tải streamable-HTTP của MCP. Khởi động nó với:

MCP_TRANSPORT=streamable-http MCP_HOST=0.0.0.0 MCP_PORT=8000 uvx oxylabs-mcp

Với giao thức truyền tải HTTP, thông tin xác thực được truyền theo từng yêu cầu thay vì các biến môi trường:

Thông tin xác thựcCách truyền
Web Scraper APIAuthorization: Basic <base64(username:password)> (xác thực HTTP Basic tiêu chuẩn)
Web Scraper API (thay thế)X-Oxylabs-Username và X-Oxylabs-Password tiêu đề
AI StudioX-Oxylabs-AI-Studio-Api-Key tiêu đề

Ví dụ cấu hình máy khách:

{
  "mcpServers": {
    "oxylabs": {
      "url": "https://your-host:8000/mcp",
      "headers": {
        "Authorization": "Basic <base64 of username:password>",
        "X-Oxylabs-AI-Studio-Api-Key": "YOUR_API_KEY"
      }
    }
  }
}

Tất cả các công cụ luôn được liệt kê bất kể thông tin xác thực được cung cấp; gọi một công cụ mà không có thông tin xác thực cần thiết sẽ trả về thông báo lỗi giải thích chính xác những gì cần cấu hình.

Thiết lập với Claude Desktop

Điều hướng đến Claude → Cài đặt → Nhà phát triển → Chỉnh sửa cấu hình và thêm một trong các cấu hình ở trên vào tệp claude_desktop_config.json.

Thiết lập với Cursor AI

Điều hướng đến Cursor → Cài đặt → Cài đặt Cursor → MCP. Nhấp vào Thêm máy chủ MCP toàn cầu mới và thêm một trong các cấu hình ở trên.

📝 Ghi log

Máy chủ cung cấp thông tin bổ sung về các lệnh gọi công cụ trong các sự kiện notification/message:

{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Create job with params: {\"url\": \"https://ip.oxylabs.io\"}"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "info",
    "data": "Job info: job_id=7333113830223918081 job_status=done"
  }
}
{
  "method": "notifications/message",
  "params": {
    "level": "error",
    "data": "Error: request to Oxylabs API failed"
  }
}

✨ Tính năng chính

Thu thập nội dung từ bất kỳ trang web nào
  • Trích xuất dữ liệu từ bất kỳ URL nào, bao gồm cả các ứng dụng một trang phức tạp
  • Hiển thị đầy đủ các trang web động bằng hỗ trợ trình duyệt headless
  • Chọn hiển thị JavaScript đầy đủ, chỉ HTML hoặc không
  • Mô phỏng khung nhìn Di động và Máy tính để bàn để hiển thị thực tế
Tự động nhận dữ liệu sẵn sàng cho AI
  • Tự động làm sạch và chuyển đổi HTML sang Markdown để cải thiện khả năng đọc
  • Sử dụng trình phân tích cú pháp tự động cho các mục tiêu phổ biến như Google, Amazon và hơn thế nữa
Quản lý CAPTCHA & giới hạn địa lý
  • Điều hướng các hệ thống quản lý yêu cầu tự động tinh vi với tỷ lệ thành công cao
  • Thu thập dữ liệu đáng tin cậy ngay cả những trang web phức tạp nhất
  • Nhận IP xoay vòng tự động từ nhóm proxy bao phủ hơn 195 quốc gia
Thiết lập linh hoạt & hỗ trợ đa nền tảng
  • Đặt tùy chọn hiển thị và phân tích cú pháp nếu cần
  • Đưa dữ liệu trực tiếp vào các mô hình AI hoặc công cụ phân tích
  • Hoạt động trên macOS, Windows và Linux
Xử lý lỗi và quản lý yêu cầu tích hợp
  • Xử lý lỗi và báo cáo toàn diện
  • Giới hạn tốc độ thông minh và quản lý yêu cầu

Tại sao chọn Oxylabs MCP?  🕸️ ➜ 📦 ➜ 🤖

Hãy tưởng tượng bạn nói với LLM của mình "Tóm tắt cuộc thảo luận Hacker News mới nhất về GPT‑5" – và nó chỉ cần trả lời. Máy chủ Oxylabs MCP làm cho điều đó xảy ra bằng cách thực hiện những phần nhàm chán cho bạn:

Oxylabs MCP làm gìTại sao nó quan trọng với bạn
Quản lý các bức tường yêu cầu tự động với mạng proxy toàn cầu OxylabsCho phép truy cập trang web và ẩn danh
Hiển thị JavaScript trong Chrome headlessCác ứng dụng một trang, được sắp xếp
Làm sạch HTML → MarkdownĐưa trực tiếp vào cơ sở dữ liệu vector hoặc lời nhắc
Trình phân tích cú pháp có cấu trúc tùy chọn (Google, Amazon, v.v.)Truy cập một dòng vào các mục tiêu phổ biến

🛡️ Giấy phép

Được phân phối theo Giấy phép MIT – xem LICENSE để biết chi tiết.


Về Oxylabs

Được thành lập vào năm 2015, Oxylabs là nền tảng thu thập thông tin web hàng đầu thị trường, được thúc đẩy bởi các tiêu chuẩn kinh doanh, đạo đức và tuân thủ cao nhất, cho phép các công ty trên toàn thế giới mở khóa những hiểu biết dựa trên dữ liệu.

image

Được tạo với ☕ bởi Oxylabs. Hãy cho chúng tôi một ⭐ nếu MCP đã cứu bạn một cuối tuần.

mcp-name: io.oxylabs/oxylabs-mcp

Các giải pháp được tạo dựa trên MCP này:

Michelin Detour