Decodo

官方

轻松访问网页数据。简化从网站和在线来源获取信息的过程。

你可以用 Decodo MCP 做什么?

  • 将网页抓取为 Markdown — 让你的助手抓取任意 URL,包括 JavaScript 密集型网页,并返回适合 LLM 使用的 Markdown。
  • 截取屏幕截图 — 请求任意网页的 PNG 截图,还可指定国家/地区的 IP。
  • 抓取网站 — 启动抓取任务、查看进度、分批获取已抓取的网页,或取消任务。
  • 搜索引擎 — 执行网页、Google、Bing、Google Ads、Google Lens 或 Google Travel Hotels 搜索,并获取解析后的结果。
  • 电商数据 — 获取 Amazon、Walmart、Target 和 TikTok Shop 的商品、定价、卖家及畅销商品数据。
  • 社交媒体与 AI 问答 — 收集 TikTok 帖子和 YouTube 元数据、字幕、频道或搜索结果,也可向 ChatGPT 和 Perplexity 提问。

文档

Decodo MCP Server

Install MCP Server

Decodo: one-click web access for your AI agents

使用 MCP(Model Context Protocol)将 LLM 和 AI 智能体连接到实时网络数据。Decodo MCP Server 可让你直接通过 Claude、Cursor 和 Windsurf 等 AI 工具抓取网站、搜索引擎、电商平台和社交媒体数据,无需从头构建抓取基础设施。

  • 以 JSON、Markdown 和屏幕截图形式输出结构化数据
  • 服务端 JavaScript 渲染和反机器人处理
  • 覆盖 195+ 个地区的 1.25 亿+ IP

什么是 Decodo MCP server?

Decodo MCP Server 是面向 AI 智能体的网络抓取层。它将兼容 MCP 的客户端连接到 Decodo 的 Web Scraping API,从而支持:

  • 面向 LLM 的网页抓取
  • 用于 RAG 的实时数据检索
  • AI 智能体浏览和研究
  • 从动态网站提取结构化数据

你无需维护代理、解析器和重试逻辑,只需一个集成点,即可可靠地访问网络数据。

为什么使用 MCP 进行网页抓取?

Model Context Protocol(MCP)是连接 AI 智能体与外部工具和数据源的新兴标准。使用 MCP:

  • 智能体可以动态调用工具
  • 集成方式保持标准化
  • 工作流可在不同环境中扩展

Decodo MCP Server 通过这一标准,为你的智能体提供可靠、可用于生产环境的网络访问能力。

主要功能

无需基础设施,即可为 AI 智能体抓取网页。 抓取任何网站,包括 JavaScript 密集型页面,无需处理代理轮换、CAPTCHA 验证或反机器人系统。

适用于 LLM 工作流的结构化输出。 提供 Markdown(适用于 LLM)、JSON(适用于结构化管道)和屏幕截图(提供视觉上下文),专为 RAG 管道、AI 研究智能体和自动化流程打造。

内置对热门目标的支持。 提供开箱即用的工具,支持 Google 和 Bing(SERP)、Amazon、Walmart 和 Target(电商)、TikTok 和 YouTube(社交媒体),以及 ChatGPT 和 Perplexity(AI 搜索)。

全球代理基础设施。 拥有 1.15 亿+住宅 IP、覆盖 195+ 个地理位置,即使面对防护最严密的目标,成功率也高达 99.99%。

模块化 MCP 工具集。 仅启用所需工具:web、search、ecommerce、social_media、 ai,让工具选择更简洁,提升智能体性能。

快速实现价值。 从 API 密钥到首次抓取只需几分钟,无需繁琐设置。

使用场景

当你需要为 AI 智能体抓取网页、大规模提取结构化数据、可靠访问动态网站、获取用于 RAG 的实时数据,或寻找从头构建抓取基础设施的替代方案时,可以使用 Decodo MCP Server。常见场景包括:

  • AI 驱动的网页抓取 – 让 LLM 能够收集最新数据,而不是依赖静态训练数据。
  • 使用实时数据进行 RAG – 将 Google、Bing 和 AI 搜索的实时结果引入检索管道。
  • 电商情报 – 跨市场追踪商品价格、商品信息和卖家,同时避免被屏蔽。
  • 社交媒体数据收集 – 收集 TikTok 和 YouTube 上的帖子、频道和互动数据。
  • 旅行和价格聚合 – 构建可跨网站收集实时价格和库存情况的工具。

快速入门

  1. 创建免费账户,访问 dashboard.decodo.com – 可免费使用多达 10K 次请求,无需信用卡。
  2. 获取 API 密钥。 从 dashboard 中的 Web Data API 订阅复制 Web Data API 密钥。旧版套餐使用基本身份验证令牌,同样可用(参见身份验证)。
  3. 下载 Node.js 18+,访问 https://nodejs.org.
  4. 获取 MCP 客户端,例如 Claude Desktop、Cursor、Windsurf 或其他兼容 MCP 的工具。
  5. 在 AI 客户端中配置 MCP server(参见下方的配置示例)。

连接到 Decodo 的 MCP server

打开你偏好的 MCP 客户端并添加以下配置(参见 Claude Code、Cursor、Windsurf 的示例):

{
  "mcpServers": {
    "Decodo": {
      "url": "https://mcp.decodo.com/mcp",
      "headers": {
        "Authorization": "Bearer <api_key>"
      }
    }
  }
}

身份验证

凭据获取方式托管服务器请求头本地服务器环境变量
API 密钥(推荐)Web Data API 订阅,位于 dashboardAuthorization: Bearer <api_key>SCRAPER_API_TOKEN=<api_key>
基本身份验证令牌(旧版套餐)dashboard 上的 Web Scraping API 页面Authorization: Basic <basic_auth_token>SCRAPER_API_TOKEN=<basic_auth_token>

本地服务器会从 SCRAPER_API_TOKEN 读取任一凭据,并自动判断收到的是哪一种。

Claude Desktop

  1. 打开 Claude Desktop → Settings → Developer → Edit Config。
  2. 添加到 claude_desktop_config.json:
{
  "mcpServers": {
    "Decodo": {
      "command": "npx",
      "args": ["-y", "@decodo/mcp-server"],
      "env": {
        "SCRAPER_API_TOKEN": "<api_key>",
        "TOOLSETS": "web,ai"
      }
    }
  }
}
  1. 保存并重启 Claude Desktop。

Cursor

  1. 打开 Settings → MCP。
  2. 点击 Add a new global MCP server(打开 mcp.json)。
  3. 添加与上方相同的配置。
  4. 保存 — 查看 Decodo 旁边是否显示绿色状态指示灯。

Windsurf

  1. 打开 Settings → Windsurf Settings。
  2. 滚动到 Cascade → Add custom server +(打开 mcp_config.json)。
  3. 添加与上方相同的配置。
  4. 保存并重启 Windsurf。

测试设置

连接后,在客户端中尝试以下提示:

▎“抓取 Hacker News 上排名前 5 的文章标题”

几秒钟内,你应该会收到结构化列表。如果看到身份验证错误,请在 dashboard 上仔细检查 API 密钥。

本地开发

仅当你想修改服务器代码时才需要。

从此代码库构建并运行服务器

前提条件

分步指南

  1. 克隆此代码库:
git clone https://github.com/Decodo/mcp-server
  1. 在终端中运行以下命令:
cd mcp-server
npm install
npm run build
  1. 记下构建文件的位置:
cd build/
pwd
  1. 在此目录末尾添加 index.js 后,构建文件的位置应类似于:
/Users/your.user/projects/mcp-server/build/index.js
  1. 使用服务器信息更新 MCP 客户端:
{
  "mcpServers": {
    "decodo-mcp": {
      "command": "node",
      "args": ["/Users/your.user/projects/mcp-server/build/index.js"],
      "env": {
        "SCRAPER_API_TOKEN": "<api_key>"
      }
    }
  }
}

工具集

工具按工具集组织。你能使用哪些工具集取决于连接方式。

Claude(官方连接器)

Claude 连接器目录中的 Decodo 连接器仅包含 Web Data API 工具:

工具集工具
webscrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel
searchsearch

任意 MCP 客户端

你可以通过 toolsets 查询参数传入逗号分隔的列表,选择性启用特定工具集:

    "Decodo MCP Server": {
      "url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
      "headers": {
        "Authorization": "Bearer <api_key>"
      }
    }

如果未指定工具集,则会注册所有工具。

工具集工具
webscrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel
searchsearch、google_search、google_ads、google_lens、google_travel_hotels、bing_search
ecommerceamazon_search、amazon_product、amazon_pricing、amazon_sellers、amazon_bestsellers、walmart_search、walmart_product、target_search、target_product、tiktok_shop_search、tiktok_shop_product、tiktok_shop_url
social_mediatiktok_post、youtube_metadata、youtube_channel、youtube_subtitles、youtube_search
aichatgpt、perplexity、google_ai_mode

工具

服务器提供以下工具:

工具描述示例提示
scrape_as_markdown抓取任意目标 URL,需要通过提示提供 URL。以 Markdown 格式返回结果。从美国 IP 地址抓取 peacock.com,并告诉我价格。
screenshot截取任意网页的屏幕截图,并以 PNG 图片形式返回。从美国 IP 地址截取 github.com 的屏幕截图。
map列出网站上的 URL,但不获取其内容。仅限 API 密钥。映射 docs.decodo.com,并列出 /scraping-api 下的页面。
crawl_start开始抓取网站,并立即返回抓取 ID,不等待抓取完成。仅限 API 密钥。抓取 decodo.com/blog 的前 10 个页面。
crawl_status报告抓取进度:已发现、已完成和失败的页面数。仅限 API 密钥。我的抓取完成了吗?
crawl_results通过游标分批返回已抓取页面的 Markdown 内容。仅限 API 密钥。显示我的抓取找到的页面。
crawl_cancel停止正在运行的抓取;已抓取的页面仍可读取。仅限 API 密钥。取消我的抓取。
search搜索网络并返回按排名排序的结果。仅限 API 密钥。搜索网络,查找 MCP 服务器托管选项。
google_search抓取 Google 搜索的指定查询,并返回解析后的结果。抓取 Google 搜索中的鞋类结果,并告诉我排名第一的结果。
google_ads抓取 Google Ads 搜索结果。抓取 Google Ads 中的笔记本电脑广告,并显示排名靠前的广告。
google_lens抓取 Google Lens 图片搜索结果。在 Google Lens 中搜索此图片:https://example.com/image.jpg
google_ai_mode抓取 Google AI Mode(AI 搜索)结果。向 Google AI Mode 提问:排名前三的犬种是什么?
google_travel_hotels抓取 Google Travel Hotels 搜索结果。在 Google Travel Hotels 中搜索巴黎的酒店。
amazon_search抓取 Amazon 搜索的指定查询,并返回解析后的结果。抓取 Amazon 搜索中的无线键盘结果。
amazon_product抓取 Amazon 商品页面。抓取 Amazon 商品 B09H74FXNW,并显示详情。
amazon_pricing抓取 Amazon 商品价格信息。获取 Amazon 商品 B09H74FXNW 的价格。
amazon_sellers抓取 Amazon 卖家信息。获取 Amazon 卖家 A1R0Z7FJGTKESH 的信息。
amazon_bestsellers抓取 Amazon 畅销商品列表。显示 Amazon 电子产品畅销商品。
walmart_search抓取 Walmart 搜索的指定查询,并返回解析后的结果。抓取 Walmart 搜索中的露营帐篷结果。
walmart_product抓取 Walmart 商品页面。抓取 Walmart 商品 15296401808。
target_search抓取 Target 搜索的指定查询,并返回解析后的结果。抓取 Target 搜索中的厨房电器结果。
target_product抓取 Target 商品页面。抓取 Target 商品 92186007。
tiktok_post抓取 TikTok 帖子 URL 并提取结构化数据(例如互动数据、说明文字、话题标签)。抓取此 TikTok 帖子:https://www.tiktok.com/@nba/video/7393013274725403950
tiktok_shop_search抓取 TikTok Shop 搜索的指定查询,并返回解析后的结果。抓取 TikTok Shop 搜索中的手机壳结果。
tiktok_shop_product抓取 TikTok Shop 商品页面。抓取 TikTok Shop 商品 1731541214379741272。
tiktok_shop_url根据 URL 抓取 TikTok Shop 页面。抓取此 TikTok Shop URL:https://www.tiktok.com/shop/s?q=HEADPHONES
youtube_metadata抓取 YouTube 视频元数据。获取 YouTube 视频 dFu9aKJoqGg 的元数据。
youtube_channel抓取 YouTube 频道视频。抓取 YouTube 频道 @decodo_official。
youtube_subtitles抓取 YouTube 视频字幕。获取 YouTube 视频 L8zSWbQN-v8 的字幕。
youtube_search搜索 YouTube 视频。在 YouTube 上搜索“如何照料龙猫”。
bing_search抓取 Bing 搜索结果。在 Bing 上搜索笔记本电脑评测。
chatgpt向 ChatGPT 发送单条提示并返回回答(无对话历史记录)。请 ChatGPT 用简单的语言解释量子计算。
perplexity向 Perplexity 发送单条提示并返回回答(无对话历史记录)。询问 Perplexity Web 开发的最新趋势。

参数

以下参数根据用户提示推断:

参数描述
jsRender在无头浏览器中渲染目标 URL。
geo设置请求的发起国家/地区。
locale设置请求的区域设置。
tokenLimit返回的最大字符数(默认值为 45000)。上下文窗口较小时很有用。
prompt发送给 AI 工具的提示(chatgpt、perplexity)。
search启用 ChatGPT 的网络搜索功能(仅限 chatgpt)。
xhr为 true 时,在支持的情况下将 XHR 或 fetch 响应包含在抓取结果中(例如 tiktok_post)。
deviceType要模拟的设备类型(desktop、mobile、tablet)。解析后的目标限制更严格:Amazon 工具仅支持桌面设备,因此会省略此参数;bing_search/google_ai_mode 仅接受 desktop 和 mobile。
domain请求使用的域名(例如 amazon.com、amazon.co.uk、bing.com)。
pageFrom分页的起始页码。
deliveryZip配送地点的 ZIP 邮政编码(Target、Walmart)。
storeId本地库存的门店 ID(Walmart)。
countryTikTok Shop 请求的国家/地区。
limit要返回的最大结果数(例如 YouTube 频道视频)。
language_code字幕的语言代码(例如 en、es)。

示例

抓取受地理位置限制的内容

向 AI 代理输入以下提示:

Scrape peacock.com from a German IP address and tell me the pricing.

此提示会说明 peacock.com 受到地理位置限制。要绕过地理限制:

Scrape peacock.com from a US IP address and tell me the pricing.

限制响应令牌数量

如果代理的上下文窗口较小,抓取返回的内容会自动截断,以避免上下文溢出。你可以在提示中增加返回的令牌数量:

Scrape hacker news, return 50k tokens.

如果你的智能体有较大的上下文窗口,请让它返回 full content:

Scrape hacker news, return full content.

与 Decodo 智能体技能搭配使用

此服务器为你的智能体提供抓取 工具。 Decodo/agent-skills 会教它何时使用这些工具、 使用哪种接口,以及如何调用它们——这样智能体就能自行选择合适的工具和 参数,而不是靠猜测。

这些技能可通过 decodo CLI、此托管 MCP 服务器和原始 HTTP API 进行调用;如果没有可用的 shell, 则会自动回退到 MCP 服务器。将两者搭配使用,可在同一套配置中为智能体提供 执行层(此服务器)和决策层(这些技能)。

快速开始(Claude Code):

/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills

有关手动安装和其他智能体(Cursor、Codex、Gemini CLI、Windsurf)的说明,请参阅 智能体技能 README。

相关仓库

Web Scraping API、 Decodo 智能体技能、 Decodo OpenClaw 技能

立即试用

只需点击几下,即可将 Decodo MCP Server 接入你的 AI 工作流,为 AI 智能体提供来自任意网站的 实时数据。

免费开始 | 文档 | Discord

许可证

所有代码均根据 MIT License 发布。