Decodo
chính thứcTruy cập dữ liệu web dễ dàng. Truy xuất thông tin đơn giản từ các trang web và nguồn trực tuyến.
Bạn có thể làm gì với Decodo MCP?
- Thu thập trang dưới dạng Markdown — Yêu cầu trợ lý thu thập bất kỳ URL nào, kể cả các trang sử dụng nhiều JavaScript, và trả về nội dung dưới dạng Markdown sẵn sàng cho LLM.
- Chụp ảnh màn hình — Yêu cầu ảnh chụp màn hình PNG của một trang web, có thể chọn IP của một quốc gia cụ thể.
- Lập bản đồ và thu thập dữ liệu trang web — Liệt kê URL của một trang web, bắt đầu thu thập dữ liệu, kiểm tra tiến độ, lấy kết quả hoặc hủy.
- Công cụ tìm kiếm — Thực hiện tìm kiếm trên web, Google, Bing, Google Ads, Google Lens hoặc Google Travel Hotels và nhận kết quả đã phân tích.
- Dữ liệu thương mại điện tử — Lấy dữ liệu sản phẩm, giá cả, người bán và sản phẩm bán chạy nhất từ Amazon, Walmart, Target và TikTok Shop.
- Tra cứu mạng xã hội và AI — Lấy bài đăng TikTok, siêu dữ liệu YouTube, kênh, phụ đề và kết quả tìm kiếm, hoặc truy vấn ChatGPT và Perplexity.
Tài liệu
Decodo MCP Server
Kết nối LLM và tác nhân AI với dữ liệu web trực tiếp bằng MCP (Model Context Protocol). Decodo MCP Server cho phép bạn thu thập dữ liệu từ trang web, công cụ tìm kiếm, nền tảng thương mại điện tử và mạng xã hội trực tiếp từ các công cụ AI như Claude, Cursor và Windsurf mà không cần tự xây dựng cơ sở hạ tầng thu thập dữ liệu từ đầu.
- Đầu ra có cấu trúc ở định dạng JSON, Markdown và ảnh chụp màn hình
- Kết xuất JavaScript phía máy chủ và xử lý chống bot
- Hơn 125 triệu IP tại hơn 195 địa điểm
Decodo MCP server là gì?
Decodo MCP Server là một lớp thu thập dữ liệu web dành cho tác nhân AI. Server kết nối các ứng dụng khách tương thích với MCP với Decodo's Web Scraping API, cho phép:
- Thu thập dữ liệu web cho LLM
- Truy xuất dữ liệu theo thời gian thực cho RAG
- Tác nhân AI duyệt web và nghiên cứu
- Trích xuất dữ liệu có cấu trúc từ các trang web động
Thay vì duy trì proxy, trình phân tích cú pháp và logic thử lại, bạn chỉ cần một điểm tích hợp duy nhất để truy cập dữ liệu web đáng tin cậy.
Vì sao nên dùng MCP để thu thập dữ liệu web?
Model Context Protocol (MCP) là tiêu chuẩn mới nổi để kết nối tác nhân AI với các công cụ và nguồn dữ liệu bên ngoài. Với MCP:
- Tác nhân có thể gọi công cụ một cách linh hoạt
- Các tích hợp luôn tuân theo tiêu chuẩn
- Quy trình làm việc có thể mở rộng trên nhiều môi trường
Decodo MCP Server cung cấp cho tác nhân của bạn quyền truy cập web đáng tin cậy, sẵn sàng cho môi trường sản xuất thông qua tiêu chuẩn này.
Tính năng chính
Thu thập dữ liệu web cho tác nhân AI, không cần cơ sở hạ tầng. Thu thập dữ liệu từ mọi trang web, kể cả các trang sử dụng nhiều JavaScript, mà không cần xử lý xoay vòng proxy, giải CAPTCHA hoặc hệ thống chống bot.
Đầu ra có cấu trúc cho quy trình làm việc của LLM. Markdown (sẵn sàng cho LLM), JSON (dành cho quy trình có cấu trúc) và ảnh chụp màn hình (cung cấp ngữ cảnh trực quan), được thiết kế cho quy trình RAG, tác nhân nghiên cứu AI và luồng tự động hóa.
Tích hợp sẵn hỗ trợ các mục tiêu phổ biến. Công cụ có sẵn cho Google và Bing (SERP), Amazon, Walmart và Target (thương mại điện tử), TikTok và YouTube (mạng xã hội), cùng ChatGPT và Perplexity (tìm kiếm AI).
Cơ sở hạ tầng proxy toàn cầu. Hơn 115 triệu IP dân cư, hơn 195 vị trí địa lý và tỷ lệ thành công 99,99% ngay cả với những mục tiêu được bảo vệ nghiêm ngặt nhất.
Bộ công cụ MCP dạng mô-đun. Chỉ bật những gì bạn cần: web, search, ecommerce, social_media,
ai để lựa chọn công cụ gọn gàng hơn và cải thiện hiệu suất của tác nhân.
Nhanh chóng đạt hiệu quả. Từ API key đến lần thu thập dữ liệu đầu tiên chỉ trong vài phút, không cần thiết lập phức tạp.
Trường hợp sử dụng
Sử dụng Decodo MCP Server khi bạn cần thu thập dữ liệu web cho tác nhân AI, trích xuất dữ liệu có cấu trúc ở quy mô lớn, truy cập đáng tin cậy vào các trang web động, dữ liệu theo thời gian thực cho RAG hoặc một giải pháp thay thế cho việc tự xây dựng cơ sở hạ tầng thu thập dữ liệu từ đầu. Các tình huống phổ biến:
- Thu thập dữ liệu web bằng AI – cho phép LLM thu thập dữ liệu mới thay vì dựa vào dữ liệu huấn luyện tĩnh.
- RAG với dữ liệu trực tiếp – đưa kết quả tìm kiếm Google, Bing và AI theo thời gian thực vào các quy trình truy xuất.
- Thông tin thương mại điện tử – theo dõi giá sản phẩm, danh sách mặt hàng và người bán trên các sàn giao dịch mà không bị chặn.
- Thu thập dữ liệu mạng xã hội – thu thập bài đăng, kênh và dữ liệu tương tác từ TikTok và YouTube.
- Tổng hợp giá và du lịch – xây dựng công cụ thu thập giá và tình trạng còn chỗ trực tiếp trên các trang web.
Bắt đầu nhanh
- Tạo tài khoản miễn phí tại dashboard.decodo.com – tối đa 10K yêu cầu miễn phí, không cần thẻ tín dụng.
- Lấy API key. Sao chép Web Data API key từ gói đăng ký Web Data API trên dashboard. Các gói cũ có token xác thực cơ bản, token này cũng hoạt động (xem Xác thực).
- Tải Node.js 18+ từ https://nodejs.org.
- Lấy MCP client như Claude Desktop, Cursor, Windsurf hoặc các công cụ tương thích MCP khác.
- Cấu hình MCP server trong ứng dụng khách AI của bạn (xem các ví dụ cấu hình bên dưới).
Kết nối với MCP server của Decodo
Mở MCP client bạn muốn dùng và thêm cấu hình sau (xem ví dụ cho Claude Code, Cursor, Windsurf bên dưới):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
}
}
Xác thực
| Thông tin xác thực | Lấy ở đâu | Header của server được lưu trữ | Env của server cục bộ |
|---|---|---|---|
| API key (khuyên dùng) | Gói đăng ký Web Data API trên dashboard | Authorization: Bearer <api_key> | SCRAPER_API_TOKEN=<api_key> |
| Token xác thực cơ bản (các gói cũ) | Trang Web Scraping API trên dashboard | Authorization: Basic <basic_auth_token> | SCRAPER_API_TOKEN=<basic_auth_token> |
Server cục bộ đọc một trong hai thông tin xác thực từ SCRAPER_API_TOKEN và tự xác định loại thông tin nhận được.
Claude Desktop
- Mở Claude Desktop → Settings → Developer → Edit Config.
- Thêm vào claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>",
"TOOLSETS": "web,ai"
}
}
}
}
- Lưu và khởi động lại Claude Desktop.
Cursor
- Mở Settings → MCP.
- Nhấp vào Add a new global MCP server (mở mcp.json).
- Thêm cấu hình giống như trên.
- Lưu — tìm chỉ báo trạng thái màu xanh lá bên cạnh Decodo.
Windsurf
- Mở Settings → Windsurf Settings.
- Cuộn đến Cascade → Add custom server + (mở mcp_config.json).
- Thêm cấu hình giống như trên.
- Lưu và khởi động lại Windsurf.
eve (Vercel)
- Trong dự án tác nhân eve, chạy
eve add connection/decodo, hoặc tạoagent/connections/decodo.ts:
import { always } from 'eve/tools/approval';
import { defineMcpClientConnection } from 'eve/connections';
export default defineMcpClientConnection({
url: 'https://mcp.decodo.com/mcp',
description:
'Decodo: scrape web pages as Markdown, search the web, map and crawl sites, and read e-commerce and YouTube data.',
headers: () => ({
Authorization: `Bearer ${process.env.DECODO_API_KEY!}`,
}),
approval: always(),
});
- Đặt
DECODO_API_KEY=<api_key>trong môi trường phía máy chủ của tác nhân (.env.localcục bộ, biến môi trường dự án trên Vercel). approval: always()sẽ hỏi trước mỗi lần gọi vì các lần gọi sử dụng gói của bạn; nếu muốn, hãy nới lỏng quy tắc này bằng các quy tắc phê duyệt của eve.
Kiểm tra thiết lập
Sau khi kết nối, hãy thử câu lệnh này trong ứng dụng khách của bạn:
▎ "Thu thập tiêu đề của 5 bài viết hàng đầu từ Hacker News"
Bạn sẽ nhận được danh sách có cấu trúc chỉ trong vài giây. Nếu gặp lỗi xác thực, hãy kiểm tra lại API key trên dashboard.
Phát triển cục bộ
Chỉ cần thực hiện nếu bạn muốn thay đổi mã server.
Xây dựng và chạy server từ kho lưu trữ này
Điều kiện tiên quyết
- Node.js 18.0+
- MCP client - các lựa chọn phổ biến gồm Claude Desktop và Cursor
Hướng dẫn từng bước
- Sao chép kho lưu trữ này:
git clone https://github.com/Decodo/mcp-server
- Chạy các lệnh sau trong terminal:
cd mcp-server
npm install
npm run build
- Ghi lại vị trí bản dựng:
cd build/
pwd
Thêm index.js vào cuối thư mục này, vị trí tệp bản dựng của bạn sẽ trông giống như
sau:
/Users/your.user/projects/mcp-server/build/index.js
- Cập nhật thông tin server trong MCP client của bạn:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/mcp-server/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>"
}
}
}
}
Bộ công cụ
Các công cụ được sắp xếp thành các bộ công cụ. Bộ công cụ bạn nhận được tùy thuộc vào cách kết nối.
Claude (trình kết nối chính thức)
Trình kết nối Decodo trong thư mục trình kết nối của Claude chỉ bao gồm các công cụ Web Data API:
| Bộ công cụ | Công cụ |
|---|---|
web | scrape_as_markdown, screenshot, map, crawl_start, crawl_status, crawl_results, crawl_cancel |
search | search |
Mọi MCP client
Bạn có thể bật có chọn lọc các bộ công cụ cụ thể bằng cách truyền danh sách phân tách bằng dấu phẩy qua tham số truy vấn toolsets
:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
Khi không chỉ định bộ công cụ nào, tất cả công cụ sẽ được đăng ký.
| Bộ công cụ | Công cụ |
|---|---|
web | scrape_as_markdown, screenshot, map, crawl_start, crawl_status, crawl_results, crawl_cancel |
search | search, google_search, google_ads, google_lens, google_travel_hotels, bing_search |
ecommerce | amazon_search, amazon_product, amazon_pricing, amazon_sellers, amazon_bestsellers, walmart_search, walmart_product, target_search, target_product, tiktok_shop_search, tiktok_shop_product, tiktok_shop_url |
social_media | tiktok_post, youtube_metadata, youtube_channel, youtube_subtitles, youtube_search |
ai | chatgpt, perplexity, google_ai_mode |
Công cụ
Server cung cấp các công cụ sau:
| Công cụ | Mô tả | Prompt ví dụ |
|---|---|---|
scrape_as_markdown | Thu thập dữ liệu từ bất kỳ URL mục tiêu nào; cần cung cấp URL trong prompt. Trả về kết quả ở định dạng Markdown. | Thu thập dữ liệu từ peacock.com bằng địa chỉ IP tại Hoa Kỳ và cho tôi biết giá. |
screenshot | Chụp ảnh màn hình của bất kỳ trang web nào và trả về dưới dạng ảnh PNG. | Chụp ảnh màn hình github.com bằng địa chỉ IP tại Hoa Kỳ. |
map | Liệt kê các URL trên một trang web mà không tải nội dung của chúng. Chỉ dùng khóa API. | Lập bản đồ docs.decodo.com và liệt kê các trang trong /scraping-api. |
crawl_start | Bắt đầu thu thập dữ liệu trên một trang web và trả về ID lượt thu thập mà không chờ hoàn tất. Chỉ dùng khóa API. | Thu thập 10 trang đầu tiên của decodo.com/blog. |
crawl_status | Báo cáo tiến độ thu thập dữ liệu: số trang đã phát hiện, hoàn tất và thất bại. Chỉ dùng khóa API. | Lượt thu thập của tôi đã hoàn tất chưa? |
crawl_results | Trả về các trang đã thu thập dưới dạng Markdown, mỗi lần một vài trang cùng với con trỏ. Chỉ dùng khóa API. | Cho tôi xem các trang mà lượt thu thập của tôi tìm thấy. |
crawl_cancel | Dừng lượt thu thập đang chạy; các trang đã thu thập vẫn có thể đọc được. Chỉ dùng khóa API. | Hủy lượt thu thập của tôi. |
search | Tìm kiếm trên web và trả về kết quả được xếp hạng. Chỉ dùng khóa API. | Tìm kiếm trên web các tùy chọn lưu trữ máy chủ MCP. |
google_search | Thu thập dữ liệu Google Search cho truy vấn được cung cấp và trả về kết quả đã phân tích. | Thu thập dữ liệu Google Search cho từ khóa giày và cho tôi biết vị trí hàng đầu. |
google_ads | Thu thập dữ liệu kết quả tìm kiếm Google Ads. | Thu thập dữ liệu Google Ads cho từ khóa laptop và hiển thị các quảng cáo hàng đầu. |
google_lens | Thu thập dữ liệu kết quả tìm kiếm hình ảnh Google Lens. | Tìm kiếm hình ảnh này trên Google Lens: https://example.com/image.jpg |
google_ai_mode | Thu thập dữ liệu kết quả Google AI Mode (Tìm kiếm bằng AI). | Hỏi Google AI Mode: Ba giống chó hàng đầu là gì? |
google_travel_hotels | Thu thập dữ liệu kết quả tìm kiếm khách sạn trên Google Travel Hotels. | Tìm kiếm khách sạn ở Paris trên Google Travel Hotels. |
amazon_search | Thu thập dữ liệu Amazon Search cho truy vấn được cung cấp và trả về kết quả đã phân tích. | Thu thập dữ liệu Amazon Search cho từ khóa bàn phím không dây. |
amazon_product | Thu thập dữ liệu trang sản phẩm Amazon. | Thu thập dữ liệu sản phẩm Amazon B09H74FXNW và hiển thị thông tin chi tiết. |
amazon_pricing | Thu thập dữ liệu thông tin giá sản phẩm Amazon. | Lấy giá sản phẩm Amazon B09H74FXNW. |
amazon_sellers | Thu thập dữ liệu thông tin người bán trên Amazon. | Lấy thông tin về người bán Amazon A1R0Z7FJGTKESH. |
amazon_bestsellers | Thu thập dữ liệu danh sách sản phẩm bán chạy nhất trên Amazon. | Cho tôi xem các sản phẩm điện tử bán chạy nhất trên Amazon. |
walmart_search | Thu thập dữ liệu Walmart Search cho truy vấn được cung cấp và trả về kết quả đã phân tích. | Thu thập dữ liệu Walmart Search cho từ khóa lều cắm trại. |
walmart_product | Thu thập dữ liệu trang sản phẩm Walmart. | Thu thập dữ liệu sản phẩm Walmart 15296401808. |
target_search | Thu thập dữ liệu Target Search cho truy vấn được cung cấp và trả về kết quả đã phân tích. | Thu thập dữ liệu Target Search cho từ khóa thiết bị nhà bếp. |
target_product | Thu thập dữ liệu trang sản phẩm Target. | Thu thập dữ liệu sản phẩm Target 92186007. |
tiktok_post | Thu thập dữ liệu có cấu trúc từ URL bài đăng TikTok (ví dụ: mức độ tương tác, chú thích, hashtag). | Thu thập dữ liệu bài đăng TikTok này: https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | Thu thập dữ liệu TikTok Shop Search cho truy vấn được cung cấp và trả về kết quả đã phân tích. | Thu thập dữ liệu TikTok Shop Search cho từ khóa ốp điện thoại. |
tiktok_shop_product | Thu thập dữ liệu trang sản phẩm TikTok Shop. | Thu thập dữ liệu sản phẩm TikTok Shop 1731541214379741272. |
tiktok_shop_url | Thu thập dữ liệu trang TikTok Shop theo URL. | Thu thập dữ liệu URL TikTok Shop này: https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | Thu thập dữ liệu siêu dữ liệu video YouTube. | Lấy siêu dữ liệu cho video YouTube dFu9aKJoqGg. |
youtube_channel | Thu thập dữ liệu video trên kênh YouTube. | Thu thập dữ liệu kênh YouTube @decodo_official. |
youtube_subtitles | Thu thập dữ liệu phụ đề video YouTube. | Lấy phụ đề cho video YouTube L8zSWbQN-v8. |
youtube_search | Tìm kiếm video YouTube. | Tìm kiếm trên YouTube cụm từ "Cách chăm sóc chinchilla". |
bing_search | Thu thập dữ liệu kết quả tìm kiếm Bing. | Tìm kiếm trên Bing các bài đánh giá laptop. |
chatgpt | Gửi một prompt duy nhất đến ChatGPT và trả về câu trả lời (không có lịch sử hội thoại). | Yêu cầu ChatGPT giải thích điện toán lượng tử bằng những thuật ngữ đơn giản. |
perplexity | Gửi một prompt duy nhất đến Perplexity và trả về câu trả lời (không có lịch sử hội thoại). | Hỏi Perplexity về các xu hướng mới nhất trong phát triển web. |
Tham số
Các tham số sau được suy ra từ prompt của người dùng:
| Tham số | Mô tả |
|---|---|
jsRender | Hiển thị URL mục tiêu trong trình duyệt không giao diện. |
geo | Đặt quốc gia nơi yêu cầu được gửi đi. |
locale | Đặt ngôn ngữ và khu vực của yêu cầu. |
tokenLimit | Số ký tự tối đa cần trả về (mặc định là 45000). Hữu ích khi cửa sổ ngữ cảnh nhỏ. |
prompt | Prompt gửi đến các công cụ AI (chatgpt, perplexity). |
search | Kích hoạt chức năng tìm kiếm web của ChatGPT (chỉ chatgpt). |
xhr | Khi là true, bao gồm các phản hồi XHR hoặc fetch trong kết quả thu thập dữ liệu nếu được hỗ trợ (ví dụ: tiktok_post). |
deviceType | Loại thiết bị cần mô phỏng (desktop, mobile, tablet). Các mục tiêu đã phân tích có quy định nghiêm ngặt hơn: công cụ Amazon chỉ hỗ trợ máy tính để bàn nên không bao gồm tham số này, còn bing_search/google_ai_mode chỉ chấp nhận desktop và mobile. |
domain | Tên miền dùng cho yêu cầu (ví dụ: amazon.com, amazon.co.uk, bing.com). |
pageFrom | Số trang bắt đầu cho phân trang. |
deliveryZip | Mã ZIP của địa điểm giao hàng (Target, Walmart). |
storeId | ID cửa hàng để kiểm tra hàng tồn kho tại địa phương (Walmart). |
country | Quốc gia cho các yêu cầu TikTok Shop. |
limit | Số lượng kết quả tối đa cần trả về (ví dụ: video trên kênh YouTube). |
language_code | Mã ngôn ngữ cho phụ đề (ví dụ: en, es). |
Ví dụ
Thu thập dữ liệu nội dung bị giới hạn theo khu vực địa lý
Gửi prompt sau cho tác nhân AI của bạn:
Scrape peacock.com from a German IP address and tell me the pricing.
Prompt này sẽ cho biết peacock.com bị giới hạn theo khu vực địa lý. Để vượt qua giới hạn địa lý:
Scrape peacock.com from a US IP address and tell me the pricing.
Giới hạn số lượng token phản hồi
Nếu tác nhân của bạn có cửa sổ ngữ cảnh nhỏ, nội dung trả về từ quá trình thu thập dữ liệu sẽ tự động bị cắt bớt để tránh tràn ngữ cảnh. Bạn có thể tăng số lượng token được trả về trong prompt của mình:
Scrape hacker news, return 50k tokens.
Nếu agent của bạn có cửa sổ ngữ cảnh lớn, hãy yêu cầu agent trả về full content:
Scrape hacker news, return full content.
Sử dụng với các kỹ năng agent của Decodo
Máy chủ này cung cấp cho agent của bạn các công cụ thu thập dữ liệu.
Decodo/agent-skills hướng dẫn agent khi nào nên sử dụng chúng,
nên dùng giao diện nào và cách gọi chúng — để agent tự chọn công cụ và
tham số phù hợp thay vì đoán.
Các kỹ năng định tuyến giữa CLI decodo, máy chủ MCP được lưu trữ này và API HTTP thô, đồng thời tự động
chuyển sang máy chủ MCP khi không có shell. Kết hợp cả hai giúp agent của bạn có cả lớp thực thi (máy chủ này) và lớp ra quyết định (các kỹ năng) trong cùng một thiết lập.
Bắt đầu nhanh (Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
Xem README về agent-skills để biết cách cài đặt thủ công và các agent khác (Cursor, Codex, Gemini CLI, Windsurf).
Các kho lưu trữ liên quan
Web Scraping API, kỹ năng agent của Decodo, kỹ năng Decodo OpenClaw
Dùng thử
Chỉ với vài cú nhấp chuột, hãy tích hợp Decodo MCP Server vào quy trình làm việc AI của bạn và trang bị cho các agent AI dữ liệu thời gian thực từ mọi trang web.
Bắt đầu miễn phí | Tài liệu | Discord
Giấy phép
Toàn bộ mã được phát hành theo Giấy phép MIT.
