Scrapfly
官方Scrapfly MCP Server 为 AI 代理提供了一种简单、统一的方式来抓取实时网页数据,并内置了反机器人处理功能。
你可以用 Scrapfly MCP 做什么?
- 抓取实时网页数据 — 让您的 AI 实时获取当前价格、列表、新闻或任何网页内容。
- 绕过反机器人保护 — 让您的 AI 自动处理验证码、代理、JavaScript 渲染和速率限制。
- 提取结构化数据 — 使用 AI 驱动的提取功能,从复杂网站请求干净的 JSON 输出。
- 捕获页面截图 — 请求整页或特定元素的视觉快照以进行分析。
- 检查账户使用情况 — 询问“我还剩多少 Scrapfly 积分?”您的 AI 将使用
info_account显示配额。
文档
Scrapfly MCP 服务器入门
模型上下文协议(MCP) 是一种开放标准,允许 AI 模型与外部工具和数据源交互。Scrapfly MCP 服务器将您的 AI 从受限于训练数据的状态,转变为能够实时访问任何网站——赋予您的 AI 按需抓取实时网页数据的能力。
这将解锁什么能力
您的 AI 不再回答“我没有最新信息”,而是可以:
抓取实时数据
实时获取当前价格、列表、新闻或任何网页内容
绕过反机器人系统
自动处理验证码、代理、JavaScript 渲染和速率限制
提取结构化数据
使用 AI 驱动的提取功能将复杂网站解析为干净的 JSON
捕获截图
为页面或特定元素拍摄视觉快照以供分析
为什么选择 Scrapfly MCP 服务器?
基于数千名开发者使用的久经考验的基础设施构建:
始终可靠
您的 AI 永远不会被阻止
快速设置
60 秒内即可运行
安全
OAuth2 + 企业级认证
MCP 连接器的强大之处
MCP 是一种通用连接器,可将任何 AI 客户端转变为网页抓取利器。无需为每个 AI 平台构建自定义集成,MCP 提供了单一的标准接口。
与您喜爱的 AI 工具配合使用:
- Claude Desktop、Cursor、Cline、Windsurf
- LangChain、LlamaIndex、CrewAI
- OpenAI 函数调用、自定义代理
- n8n、Make、Zapier 工作流
一次集成,无限可能:
配置一次,随处使用。同一个 MCP 服务器可在所有平台上运行——无需为您采用的每个 AI 工具重新构建集成。
如何使用 Scrapfly MCP
入门很简单——选择您的 AI 客户端并按照设置指南操作:
[###### 为您的 AI 客户端进行设置
15+ 集成:Claude Desktop、Cursor、Cline、Windsurf、LangChain、n8n 等
](https://scrapfly.io/docs/mcp/integrations) [###### 可用工具
9 个工具:抓取、截图、支持动态 WebMCP 工具发现的 Cloud Browser
](https://scrapfly.io/docs/mcp/tools) [###### 认证选项
API 密钥、OAuth2 或基于请求头的认证——选择适合您需求的方式
](https://scrapfly.io/docs/mcp/authentication)
后续步骤
查看真实世界示例 - 职位聚合、价格监控、数据提取等 客户端特定设置指南 - Cursor、Cline、LangChain、n8n 及所有支持的平台 工具与 API 规范 - 完整的参数文档和使用指南 设置 OAuth2 认证 - 适用于生产环境的安全企业级认证 阅读常见问题解答 - 常见问题和故障排除
验证您的设置
配置完成后,请验证一切是否正常工作:
-
检查工具可用性在您的 AI 客户端中查找锤子图标(🔨)或检查工具列表,以确认 Scrapfly 工具已加载。
-
测试简单请求尝试询问:“Hacker News 上目前的热门帖子有哪些?”
您的 AI 应自动使用 Scrapfly 工具获取并显示当前结果。
-
检查账户使用情况询问:“我还剩多少 Scrapfly 积分?”
AI 将使用
info_account显示您当前的使用量和配额。
故障排除
如果您遇到问题,以下是常见问题及解决方案:
未检测到工具
- 验证 JSON 配置 - 确保您的配置没有语法错误(缺少逗号、括号)
- 重启您的 AI 客户端 - 许多客户端需要完全重启才能加载新的 MCP 服务器
- 检查
npx是否可用 - 在终端中运行npx --version以验证其已安装 - 验证 API 密钥 - 确保您的 Scrapfly API 密钥正确且具有可用积分
认证错误
- API 密钥无效 - 在 仪表板 → 项目设置 中仔细检查您的密钥
- OAuth2 问题 - 确保您已完成 OAuth 流程且令牌已刷新
- 凭据过期 - 如果您的会话已过期,请重新认证
需要更多帮助?
查看我们详细的故障排除资源:
- MCP 常见问题解答 - 常见问题和详细解答
- Discord 社区 - 从社区获取帮助
- 联系支持 - 直接联系我们的团队