Decodo
官方轻松访问网页数据。简化从网站和在线来源获取信息的过程。
你可以用 Decodo MCP 做什么?
- 将网页抓取为 Markdown — 让你的助手抓取任意 URL,包括 JavaScript 密集型网页,并返回适合 LLM 使用的 Markdown。
- 截取屏幕截图 — 请求任意网页的 PNG 截图,还可指定国家/地区的 IP。
- 抓取网站 — 启动抓取任务、查看进度、分批获取已抓取的网页,或取消任务。
- 搜索引擎 — 执行网页、Google、Bing、Google Ads、Google Lens 或 Google Travel Hotels 搜索,并获取解析后的结果。
- 电商数据 — 获取 Amazon、Walmart、Target 和 TikTok Shop 的商品、定价、卖家及畅销商品数据。
- 社交媒体与 AI 问答 — 收集 TikTok 帖子和 YouTube 元数据、字幕、频道或搜索结果,也可向 ChatGPT 和 Perplexity 提问。
文档
Decodo MCP Server
使用 MCP(Model Context Protocol)将 LLM 和 AI 智能体连接到实时网络数据。Decodo MCP Server 可让你直接通过 Claude、Cursor 和 Windsurf 等 AI 工具抓取网站、搜索引擎、电商平台和社交媒体数据,无需从头构建抓取基础设施。
- 以 JSON、Markdown 和屏幕截图形式输出结构化数据
- 服务端 JavaScript 渲染和反机器人处理
- 覆盖 195+ 个地区的 1.25 亿+ IP
什么是 Decodo MCP server?
Decodo MCP Server 是面向 AI 智能体的网络抓取层。它将兼容 MCP 的客户端连接到 Decodo 的 Web Scraping API,从而支持:
- 面向 LLM 的网页抓取
- 用于 RAG 的实时数据检索
- AI 智能体浏览和研究
- 从动态网站提取结构化数据
你无需维护代理、解析器和重试逻辑,只需一个集成点,即可可靠地访问网络数据。
为什么使用 MCP 进行网页抓取?
Model Context Protocol(MCP)是连接 AI 智能体与外部工具和数据源的新兴标准。使用 MCP:
- 智能体可以动态调用工具
- 集成方式保持标准化
- 工作流可在不同环境中扩展
Decodo MCP Server 通过这一标准,为你的智能体提供可靠、可用于生产环境的网络访问能力。
主要功能
无需基础设施,即可为 AI 智能体抓取网页。 抓取任何网站,包括 JavaScript 密集型页面,无需处理代理轮换、CAPTCHA 验证或反机器人系统。
适用于 LLM 工作流的结构化输出。 提供 Markdown(适用于 LLM)、JSON(适用于结构化管道)和屏幕截图(提供视觉上下文),专为 RAG 管道、AI 研究智能体和自动化流程打造。
内置对热门目标的支持。 提供开箱即用的工具,支持 Google 和 Bing(SERP)、Amazon、Walmart 和 Target(电商)、TikTok 和 YouTube(社交媒体),以及 ChatGPT 和 Perplexity(AI 搜索)。
全球代理基础设施。 拥有 1.15 亿+住宅 IP、覆盖 195+ 个地理位置,即使面对防护最严密的目标,成功率也高达 99.99%。
模块化 MCP 工具集。 仅启用所需工具:web、search、ecommerce、social_media、
ai,让工具选择更简洁,提升智能体性能。
快速实现价值。 从 API 密钥到首次抓取只需几分钟,无需繁琐设置。
使用场景
当你需要为 AI 智能体抓取网页、大规模提取结构化数据、可靠访问动态网站、获取用于 RAG 的实时数据,或寻找从头构建抓取基础设施的替代方案时,可以使用 Decodo MCP Server。常见场景包括:
- AI 驱动的网页抓取 – 让 LLM 能够收集最新数据,而不是依赖静态训练数据。
- 使用实时数据进行 RAG – 将 Google、Bing 和 AI 搜索的实时结果引入检索管道。
- 电商情报 – 跨市场追踪商品价格、商品信息和卖家,同时避免被屏蔽。
- 社交媒体数据收集 – 收集 TikTok 和 YouTube 上的帖子、频道和互动数据。
- 旅行和价格聚合 – 构建可跨网站收集实时价格和库存情况的工具。
快速入门
- 创建免费账户,访问 dashboard.decodo.com – 可免费使用多达 10K 次请求,无需信用卡。
- 获取 API 密钥。 从 dashboard 中的 Web Data API 订阅复制 Web Data API 密钥。旧版套餐使用基本身份验证令牌,同样可用(参见身份验证)。
- 下载 Node.js 18+,访问 https://nodejs.org.
- 获取 MCP 客户端,例如 Claude Desktop、Cursor、Windsurf 或其他兼容 MCP 的工具。
- 在 AI 客户端中配置 MCP server(参见下方的配置示例)。
连接到 Decodo 的 MCP server
打开你偏好的 MCP 客户端并添加以下配置(参见 Claude Code、Cursor、Windsurf 的示例):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
}
}
身份验证
| 凭据 | 获取方式 | 托管服务器请求头 | 本地服务器环境变量 |
|---|---|---|---|
| API 密钥(推荐) | Web Data API 订阅,位于 dashboard | Authorization: Bearer <api_key> | SCRAPER_API_TOKEN=<api_key> |
| 基本身份验证令牌(旧版套餐) | dashboard 上的 Web Scraping API 页面 | Authorization: Basic <basic_auth_token> | SCRAPER_API_TOKEN=<basic_auth_token> |
本地服务器会从 SCRAPER_API_TOKEN 读取任一凭据,并自动判断收到的是哪一种。
Claude Desktop
- 打开 Claude Desktop → Settings → Developer → Edit Config。
- 添加到 claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>",
"TOOLSETS": "web,ai"
}
}
}
}
- 保存并重启 Claude Desktop。
Cursor
- 打开 Settings → MCP。
- 点击 Add a new global MCP server(打开 mcp.json)。
- 添加与上方相同的配置。
- 保存 — 查看 Decodo 旁边是否显示绿色状态指示灯。
Windsurf
- 打开 Settings → Windsurf Settings。
- 滚动到 Cascade → Add custom server +(打开 mcp_config.json)。
- 添加与上方相同的配置。
- 保存并重启 Windsurf。
测试设置
连接后,在客户端中尝试以下提示:
▎“抓取 Hacker News 上排名前 5 的文章标题”
几秒钟内,你应该会收到结构化列表。如果看到身份验证错误,请在 dashboard 上仔细检查 API 密钥。
本地开发
仅当你想修改服务器代码时才需要。
从此代码库构建并运行服务器
前提条件
- Node.js 18.0+
- MCP 客户端 - 常用选项包括 Claude Desktop 和 Cursor
分步指南
- 克隆此代码库:
git clone https://github.com/Decodo/mcp-server
- 在终端中运行以下命令:
cd mcp-server
npm install
npm run build
- 记下构建文件的位置:
cd build/
pwd
- 在此目录末尾添加
index.js后,构建文件的位置应类似于:
/Users/your.user/projects/mcp-server/build/index.js
- 使用服务器信息更新 MCP 客户端:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/mcp-server/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>"
}
}
}
}
工具集
工具按工具集组织。你能使用哪些工具集取决于连接方式。
Claude(官方连接器)
Claude 连接器目录中的 Decodo 连接器仅包含 Web Data API 工具:
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search |
任意 MCP 客户端
你可以通过 toolsets 查询参数传入逗号分隔的列表,选择性启用特定工具集:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
如果未指定工具集,则会注册所有工具。
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search、google_search、google_ads、google_lens、google_travel_hotels、bing_search |
ecommerce | amazon_search、amazon_product、amazon_pricing、amazon_sellers、amazon_bestsellers、walmart_search、walmart_product、target_search、target_product、tiktok_shop_search、tiktok_shop_product、tiktok_shop_url |
social_media | tiktok_post、youtube_metadata、youtube_channel、youtube_subtitles、youtube_search |
ai | chatgpt、perplexity、google_ai_mode |
工具
服务器提供以下工具:
| 工具 | 描述 | 示例提示 |
|---|---|---|
scrape_as_markdown | 抓取任意目标 URL,需要通过提示提供 URL。以 Markdown 格式返回结果。 | 从美国 IP 地址抓取 peacock.com,并告诉我价格。 |
screenshot | 截取任意网页的屏幕截图,并以 PNG 图片形式返回。 | 从美国 IP 地址截取 github.com 的屏幕截图。 |
map | 列出网站上的 URL,但不获取其内容。仅限 API 密钥。 | 映射 docs.decodo.com,并列出 /scraping-api 下的页面。 |
crawl_start | 开始抓取网站,并立即返回抓取 ID,不等待抓取完成。仅限 API 密钥。 | 抓取 decodo.com/blog 的前 10 个页面。 |
crawl_status | 报告抓取进度:已发现、已完成和失败的页面数。仅限 API 密钥。 | 我的抓取完成了吗? |
crawl_results | 通过游标分批返回已抓取页面的 Markdown 内容。仅限 API 密钥。 | 显示我的抓取找到的页面。 |
crawl_cancel | 停止正在运行的抓取;已抓取的页面仍可读取。仅限 API 密钥。 | 取消我的抓取。 |
search | 搜索网络并返回按排名排序的结果。仅限 API 密钥。 | 搜索网络,查找 MCP 服务器托管选项。 |
google_search | 抓取 Google 搜索的指定查询,并返回解析后的结果。 | 抓取 Google 搜索中的鞋类结果,并告诉我排名第一的结果。 |
google_ads | 抓取 Google Ads 搜索结果。 | 抓取 Google Ads 中的笔记本电脑广告,并显示排名靠前的广告。 |
google_lens | 抓取 Google Lens 图片搜索结果。 | 在 Google Lens 中搜索此图片:https://example.com/image.jpg |
google_ai_mode | 抓取 Google AI Mode(AI 搜索)结果。 | 向 Google AI Mode 提问:排名前三的犬种是什么? |
google_travel_hotels | 抓取 Google Travel Hotels 搜索结果。 | 在 Google Travel Hotels 中搜索巴黎的酒店。 |
amazon_search | 抓取 Amazon 搜索的指定查询,并返回解析后的结果。 | 抓取 Amazon 搜索中的无线键盘结果。 |
amazon_product | 抓取 Amazon 商品页面。 | 抓取 Amazon 商品 B09H74FXNW,并显示详情。 |
amazon_pricing | 抓取 Amazon 商品价格信息。 | 获取 Amazon 商品 B09H74FXNW 的价格。 |
amazon_sellers | 抓取 Amazon 卖家信息。 | 获取 Amazon 卖家 A1R0Z7FJGTKESH 的信息。 |
amazon_bestsellers | 抓取 Amazon 畅销商品列表。 | 显示 Amazon 电子产品畅销商品。 |
walmart_search | 抓取 Walmart 搜索的指定查询,并返回解析后的结果。 | 抓取 Walmart 搜索中的露营帐篷结果。 |
walmart_product | 抓取 Walmart 商品页面。 | 抓取 Walmart 商品 15296401808。 |
target_search | 抓取 Target 搜索的指定查询,并返回解析后的结果。 | 抓取 Target 搜索中的厨房电器结果。 |
target_product | 抓取 Target 商品页面。 | 抓取 Target 商品 92186007。 |
tiktok_post | 抓取 TikTok 帖子 URL 并提取结构化数据(例如互动数据、说明文字、话题标签)。 | 抓取此 TikTok 帖子:https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | 抓取 TikTok Shop 搜索的指定查询,并返回解析后的结果。 | 抓取 TikTok Shop 搜索中的手机壳结果。 |
tiktok_shop_product | 抓取 TikTok Shop 商品页面。 | 抓取 TikTok Shop 商品 1731541214379741272。 |
tiktok_shop_url | 根据 URL 抓取 TikTok Shop 页面。 | 抓取此 TikTok Shop URL:https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | 抓取 YouTube 视频元数据。 | 获取 YouTube 视频 dFu9aKJoqGg 的元数据。 |
youtube_channel | 抓取 YouTube 频道视频。 | 抓取 YouTube 频道 @decodo_official。 |
youtube_subtitles | 抓取 YouTube 视频字幕。 | 获取 YouTube 视频 L8zSWbQN-v8 的字幕。 |
youtube_search | 搜索 YouTube 视频。 | 在 YouTube 上搜索“如何照料龙猫”。 |
bing_search | 抓取 Bing 搜索结果。 | 在 Bing 上搜索笔记本电脑评测。 |
chatgpt | 向 ChatGPT 发送单条提示并返回回答(无对话历史记录)。 | 请 ChatGPT 用简单的语言解释量子计算。 |
perplexity | 向 Perplexity 发送单条提示并返回回答(无对话历史记录)。 | 询问 Perplexity Web 开发的最新趋势。 |
参数
以下参数根据用户提示推断:
| 参数 | 描述 |
|---|---|
jsRender | 在无头浏览器中渲染目标 URL。 |
geo | 设置请求的发起国家/地区。 |
locale | 设置请求的区域设置。 |
tokenLimit | 返回的最大字符数(默认值为 45000)。上下文窗口较小时很有用。 |
prompt | 发送给 AI 工具的提示(chatgpt、perplexity)。 |
search | 启用 ChatGPT 的网络搜索功能(仅限 chatgpt)。 |
xhr | 为 true 时,在支持的情况下将 XHR 或 fetch 响应包含在抓取结果中(例如 tiktok_post)。 |
deviceType | 要模拟的设备类型(desktop、mobile、tablet)。解析后的目标限制更严格:Amazon 工具仅支持桌面设备,因此会省略此参数;bing_search/google_ai_mode 仅接受 desktop 和 mobile。 |
domain | 请求使用的域名(例如 amazon.com、amazon.co.uk、bing.com)。 |
pageFrom | 分页的起始页码。 |
deliveryZip | 配送地点的 ZIP 邮政编码(Target、Walmart)。 |
storeId | 本地库存的门店 ID(Walmart)。 |
country | TikTok Shop 请求的国家/地区。 |
limit | 要返回的最大结果数(例如 YouTube 频道视频)。 |
language_code | 字幕的语言代码(例如 en、es)。 |
示例
抓取受地理位置限制的内容
向 AI 代理输入以下提示:
Scrape peacock.com from a German IP address and tell me the pricing.
此提示会说明 peacock.com 受到地理位置限制。要绕过地理限制:
Scrape peacock.com from a US IP address and tell me the pricing.
限制响应令牌数量
如果代理的上下文窗口较小,抓取返回的内容会自动截断,以避免上下文溢出。你可以在提示中增加返回的令牌数量:
Scrape hacker news, return 50k tokens.
如果你的智能体有较大的上下文窗口,请让它返回 full content:
Scrape hacker news, return full content.
与 Decodo 智能体技能搭配使用
此服务器为你的智能体提供抓取 工具。
Decodo/agent-skills 会教它何时使用这些工具、
使用哪种接口,以及如何调用它们——这样智能体就能自行选择合适的工具和
参数,而不是靠猜测。
这些技能可通过 decodo CLI、此托管 MCP 服务器和原始 HTTP API 进行调用;如果没有可用的 shell,
则会自动回退到 MCP 服务器。将两者搭配使用,可在同一套配置中为智能体提供
执行层(此服务器)和决策层(这些技能)。
快速开始(Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
有关手动安装和其他智能体(Cursor、Codex、Gemini CLI、Windsurf)的说明,请参阅 智能体技能 README。
相关仓库
Web Scraping API、 Decodo 智能体技能、 Decodo OpenClaw 技能
立即试用
只需点击几下,即可将 Decodo MCP Server 接入你的 AI 工作流,为 AI 智能体提供来自任意网站的 实时数据。
许可证
所有代码均根据 MIT License 发布。
