Scrapfly
官方Scrapfly MCP Server 为 AI 代理提供了一种简单、统一的方式来抓取实时网页数据,并内置了反机器人处理功能。
你可以用 Scrapfly MCP 做什么?
- 抓取实时网页 — 让你的助手实时从任意网页获取当前价格、商品列表或新闻。
- 绕过反机器人保护 — 获取网页时,由 Scrapfly 处理 CAPTCHA、代理、JavaScript 渲染和速率限制。
- 提取结构化数据 — 使用 AI 驱动的提取功能,将复杂网站解析为整洁的 JSON。
- 截取屏幕截图 — 对整个页面或特定元素进行可视化截图,以供分析。
- 查看账户用量 — 询问剩余的 Scrapfly 积分,并获取当前配额。
文档
开始使用 Scrapfly MCP Server
模型上下文协议 (MCP) 是一项开放标准,允许 AI 模型与外部工具和数据源交互。Scrapfly MCP Server 让你的 AI 不再受训练数据的限制,而是能够实时访问任意网站,让你的 AI 可以按需抓取实时网页数据。
MCP Cloud 或自托管
Scrapfly MCP server 有两种运行方式,使用相同的工具。请选择一种:
| MCP Cloud(托管) | 自托管 | |
|---|---|---|
| 运行位置 | 由 Scrapfly 托管,地址为 https://mcp.scrapfly.io/mcp | 在你的机器或服务器上运行,使用开源服务器 |
| 安装 | 无需安装:将 URL 添加到你的 AI 客户端 | 构建 Go 二进制文件或 Docker 镜像 |
| 身份验证 | 在客户端通过 OAuth2 登录,或使用你的 API 密钥 | 你的 API 密钥 |
| 更新 | 始终使用最新版本 | 由你拉取并重新构建 |
| 适用对象 | 大多数用户:Claude、Cursor、VS Code、ChatGPT 及其他客户端 | 自定义工具、隔离网络或经过审计的环境 |
MCP Cloud
将服务器 URL 添加到你的 AI 客户端。支持 OAuth2 的客户端会在首次使用时打开 Scrapfly 登录页面;其他客户端则需要你的 API 密钥(参见身份验证)。
{
"mcpServers": {
"scrapfly-cloud-mcp": {
"type": "http",
"url": "https://mcp.scrapfly.io/mcp"
}
}
}
仅能启动本地进程的客户端通过 mcp-remote 连接:
{
"mcpServers": {
"scrapfly": {
"command": "npx",
"args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
}
}
}
每个客户端的操作步骤各不相同:请参阅设置指南(Claude Code、Claude Desktop、Cursor、VS Code、ChatGPT 等)。
自托管
构建以 Go 编写的开源服务器:
git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp
本地客户端 (stdio): 客户端会在其环境中使用你的 API 密钥启动二进制文件。
{
"mcpServers": {
"scrapfly": {
"command": "/path/to/scrapfly-mcp",
"env": { "SCRAPFLY_API_KEY": "" }
}
}
}
HTTP 服务器: 启动时不设置密钥,每个调用方都需要自行传入密钥,例如通过 http://<host>:8080/mcp 上的 Authorization: Bearer <key> 或 ?key=。
./scrapfly-mcp -http :8080
# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp
如果同时设置 SCRAPFLY_API_KEY 和 -http,服务器会使用该密钥为所有调用方提供服务,且不进行身份验证,因此服务器会绑定到 127.0.0.1,除非你传入 -allow-remote。所有选项都列在 README 中。
这能为你带来什么
现在,你的 AI 不必再回答“我没有最新信息”,而是可以:
抓取实时数据
实时获取当前价格、商品列表、新闻或任意网页内容
绕过反机器人系统
自动处理 CAPTCHA、代理、JavaScript 渲染和速率限制
提取结构化数据
使用 AI 驱动的提取功能,将复杂网站解析为整洁的 JSON
截取屏幕截图
截取页面或特定元素的可视快照,以供分析
为什么选择 Scrapfly MCP Server?
基于经过实战验证、已被数千名开发者使用的基础设施构建:
始终可靠
你的 AI 永远不会被拦截
快速设置
不到 60 秒即可运行
安全
OAuth2 + 企业级身份验证
MCP 连接器的强大之处
MCP 是一种通用连接器,可将任何 AI 客户端变成强大的网页抓取工具。无需为每个 AI 平台构建自定义集成,MCP 提供了一个统一的标准接口。
兼容你喜爱的 AI 工具:
- Claude Desktop、Cursor、Cline、Windsurf
- LangChain、LlamaIndex、CrewAI
- OpenAI 函数调用、自定义代理
- n8n、Make、Zapier 工作流
一次集成,无限可能:
只需配置一次,即可随处使用。同一个 MCP server 可在所有平台上运行——无需为你采用的每种 AI 工具重新构建集成。
如何使用 Scrapfly MCP
开始使用很简单——选择你的 AI 客户端并按照设置指南操作:
[###### 为你的 AI 客户端设置
15+ 种集成:Claude Desktop、Cursor、Cline、Windsurf、LangChain、n8n 等
](https://scrapfly.io/docs/mcp/integrations) [###### 可用工具
9 种工具:抓取、屏幕截图、支持动态 WebMCP 工具发现的 Cloud Browser
](https://scrapfly.io/docs/mcp/tools) [###### 身份验证选项
API 密钥、OAuth2 或基于请求头的身份验证——选择适合你的方式
](https://scrapfly.io/docs/mcp/authentication)
后续步骤
查看实际示例 - 职位聚合、价格监控、数据提取等 按客户端分类的设置指南 - Cursor、Cline、LangChain、n8n 及所有受支持的平台 工具与 API 规范 - 完整的参数文档和使用指南 设置 OAuth2 身份验证 - 适用于生产环境的安全企业级身份验证 阅读常见问题 - 常见问题与故障排除
验证设置
完成配置后,请验证一切是否正常运行:
-
检查工具是否可用查看 AI 客户端中的锤子图标 (🔨),或检查工具列表,确认 Scrapfly 工具已加载。
-
测试简单请求尝试询问:“现在 Hacker News 上最热门的帖子有哪些?”
你的 AI 应会自动使用 Scrapfly 工具获取并显示最新结果。
-
检查账户用量询问:“我还剩多少 Scrapfly 积分?”
AI 会使用
info_account显示你当前的用量和配额。
故障排除
如果遇到问题,以下是一些常见问题及解决方法:
未检测到工具
- 验证 JSON 配置 - 确保配置没有语法错误(缺少逗号或括号)
- 重启 AI 客户端 - 许多客户端需要完全重启才能加载新的 MCP server
- 检查
npx是否可用 - 在终端中运行npx --version,确认其已安装 - 验证 API 密钥 - 确保 Scrapfly API 密钥正确且有可用积分
身份验证错误
- API 密钥无效 - 在控制面板 → 项目设置中仔细检查密钥
- 网络未授权 / 项目限制访问 - 项目仅接受特定 IP 地址,且密钥没有问题。请参阅故障排除
- OAuth2 问题 - 确保已完成 OAuth 流程并刷新令牌
- 凭据已过期 - 如果会话已过期,请重新进行身份验证
需要更多帮助?
请查看详细的故障排除资源:
- MCP 常见问题 - 常见问题及详细解答
- Discord 社区 - 向社区寻求帮助
- 联系支持团队 - 直接联系我们的团队