Scrapfly

官方

Scrapfly MCP Server 为 AI 代理提供了一种简单、统一的方式来抓取实时网页数据,并内置了反机器人处理功能。

你可以用 Scrapfly MCP 做什么?

  • 抓取实时网页 — 让你的助手实时从任意网页获取当前价格、商品列表或新闻。
  • 绕过反机器人保护 — 获取网页时,由 Scrapfly 处理 CAPTCHA、代理、JavaScript 渲染和速率限制。
  • 提取结构化数据 — 使用 AI 驱动的提取功能,将复杂网站解析为整洁的 JSON。
  • 截取屏幕截图 — 对整个页面或特定元素进行可视化截图,以供分析。
  • 查看账户用量 — 询问剩余的 Scrapfly 积分,并获取当前配额。

文档

开始使用 Scrapfly MCP Server

模型上下文协议 (MCP) 是一项开放标准,允许 AI 模型与外部工具和数据源交互。Scrapfly MCP Server 让你的 AI 不再受训练数据的限制,而是能够实时访问任意网站,让你的 AI 可以按需抓取实时网页数据。

MCP Cloud 或自托管

Scrapfly MCP server 有两种运行方式,使用相同的工具。请选择一种:

MCP Cloud(托管)自托管
运行位置由 Scrapfly 托管,地址为 https://mcp.scrapfly.io/mcp在你的机器或服务器上运行,使用开源服务器
安装无需安装:将 URL 添加到你的 AI 客户端构建 Go 二进制文件或 Docker 镜像
身份验证在客户端通过 OAuth2 登录,或使用你的 API 密钥你的 API 密钥
更新始终使用最新版本由你拉取并重新构建
适用对象大多数用户:Claude、Cursor、VS Code、ChatGPT 及其他客户端自定义工具、隔离网络或经过审计的环境

MCP Cloud

将服务器 URL 添加到你的 AI 客户端。支持 OAuth2 的客户端会在首次使用时打开 Scrapfly 登录页面;其他客户端则需要你的 API 密钥(参见身份验证)。

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

仅能启动本地进程的客户端通过 mcp-remote 连接:

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

每个客户端的操作步骤各不相同:请参阅设置指南(Claude Code、Claude Desktop、Cursor、VS Code、ChatGPT 等)。

自托管

构建以 Go 编写的开源服务器:

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

本地客户端 (stdio): 客户端会在其环境中使用你的 API 密钥启动二进制文件。

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

HTTP 服务器: 启动时不设置密钥,每个调用方都需要自行传入密钥,例如通过 http://<host>:8080/mcp 上的 Authorization: Bearer <key> 或 ?key=。

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

如果同时设置 SCRAPFLY_API_KEY 和 -http,服务器会使用该密钥为所有调用方提供服务,且不进行身份验证,因此服务器会绑定到 127.0.0.1,除非你传入 -allow-remote。所有选项都列在 README 中。

这能为你带来什么

现在,你的 AI 不必再回答“我没有最新信息”,而是可以:

抓取实时数据

实时获取当前价格、商品列表、新闻或任意网页内容

绕过反机器人系统

自动处理 CAPTCHA、代理、JavaScript 渲染和速率限制

提取结构化数据

使用 AI 驱动的提取功能,将复杂网站解析为整洁的 JSON

截取屏幕截图

截取页面或特定元素的可视快照,以供分析

为什么选择 Scrapfly MCP Server?

基于经过实战验证、已被数千名开发者使用的基础设施构建:

始终可靠

你的 AI 永远不会被拦截

快速设置

不到 60 秒即可运行

安全

OAuth2 + 企业级身份验证

MCP 连接器的强大之处

MCP 是一种通用连接器,可将任何 AI 客户端变成强大的网页抓取工具。无需为每个 AI 平台构建自定义集成,MCP 提供了一个统一的标准接口。

兼容你喜爱的 AI 工具:
  • Claude Desktop、Cursor、Cline、Windsurf
  • LangChain、LlamaIndex、CrewAI
  • OpenAI 函数调用、自定义代理
  • n8n、Make、Zapier 工作流
一次集成,无限可能:

只需配置一次,即可随处使用。同一个 MCP server 可在所有平台上运行——无需为你采用的每种 AI 工具重新构建集成。

如何使用 Scrapfly MCP

开始使用很简单——选择你的 AI 客户端并按照设置指南操作:

[###### 为你的 AI 客户端设置

15+ 种集成:Claude Desktop、Cursor、Cline、Windsurf、LangChain、n8n 等

](https://scrapfly.io/docs/mcp/integrations) [###### 可用工具

9 种工具:抓取、屏幕截图、支持动态 WebMCP 工具发现的 Cloud Browser

](https://scrapfly.io/docs/mcp/tools) [###### 身份验证选项

API 密钥、OAuth2 或基于请求头的身份验证——选择适合你的方式

](https://scrapfly.io/docs/mcp/authentication)

后续步骤

查看实际示例 - 职位聚合、价格监控、数据提取等 按客户端分类的设置指南 - Cursor、Cline、LangChain、n8n 及所有受支持的平台 工具与 API 规范 - 完整的参数文档和使用指南 设置 OAuth2 身份验证 - 适用于生产环境的安全企业级身份验证 阅读常见问题 - 常见问题与故障排除

验证设置

完成配置后,请验证一切是否正常运行:

  1. 检查工具是否可用查看 AI 客户端中的锤子图标 (🔨),或检查工具列表,确认 Scrapfly 工具已加载。

  2. 测试简单请求尝试询问:“现在 Hacker News 上最热门的帖子有哪些?”

    你的 AI 应会自动使用 Scrapfly 工具获取并显示最新结果。

  3. 检查账户用量询问:“我还剩多少 Scrapfly 积分?”

    AI 会使用 info_account 显示你当前的用量和配额。

故障排除

如果遇到问题,以下是一些常见问题及解决方法:

未检测到工具

  • 验证 JSON 配置 - 确保配置没有语法错误(缺少逗号或括号)
  • 重启 AI 客户端 - 许多客户端需要完全重启才能加载新的 MCP server
  • 检查 npx 是否可用 - 在终端中运行 npx --version,确认其已安装
  • 验证 API 密钥 - 确保 Scrapfly API 密钥正确且有可用积分

身份验证错误

  • API 密钥无效 - 在控制面板 → 项目设置中仔细检查密钥
  • 网络未授权 / 项目限制访问 - 项目仅接受特定 IP 地址,且密钥没有问题。请参阅故障排除
  • OAuth2 问题 - 确保已完成 OAuth 流程并刷新令牌
  • 凭据已过期 - 如果会话已过期,请重新进行身份验证

需要更多帮助?

请查看详细的故障排除资源: