Scrapfly

公式

Scrapfly MCPサーバーは、AIエージェントに、組み込みのアンチボット対策を備えたライブウェブデータをスクレイピングするためのシンプルで統一された方法を提供します。

Scrapfly MCPで何ができますか?

  • ライブページをスクレイピング — アシスタントに依頼して、あらゆるウェブページから最新の価格、掲載情報、ニュースをリアルタイムで取得できます。
  • ボット対策を回避 — ScrapflyがCAPTCHA、プロキシ、JavaScriptのレンダリング、レート制限に対応しながら、ページを取得します。
  • 構造化データを抽出 — AIを活用した抽出機能で、複雑なサイトを解析し、整ったJSONに変換できます。
  • スクリーンショットを撮影 — 分析用に、ページ全体または特定の要素を視覚的にキャプチャできます。
  • アカウントの使用状況を確認 — Scrapflyの残りクレジット数を尋ねて、現在の利用枠を確認できます。

ドキュメント

Scrapfly MCP Server を始める

Model Context Protocol (MCP) は、AI モデルが外部のツールやデータソースとやり取りできるようにするオープン標準です。Scrapfly MCP Server を使うと、AI は学習データの範囲に制限されず、あらゆる Web サイトにリアルタイムでアクセスできるようになります。必要なときにライブの Web データをスクレイピングできます。

MCP Cloud またはセルフホスト

Scrapfly MCP server は、同じツールを使って 2 通りの方法で実行できます。どちらかを選んでください。

MCP Cloud(マネージド)セルフホスト
実行場所Scrapfly がホストする https://mcp.scrapfly.io/mcpお使いのマシンまたはサーバーで、オープンソースサーバーを実行
インストール不要:AI クライアントに URL を追加Go バイナリまたは Docker イメージをビルド
認証クライアントから OAuth2 でサインイン、または API キーAPI キー
更新常に最新バージョン自分でプルして再ビルド
おすすめの対象Claude、Cursor、VS Code、ChatGPT などのクライアントを使うほとんどのユーザーカスタムツール、エアギャップ環境、監査対象の環境

MCP Cloud

サーバー URL を AI クライアントに追加します。OAuth2 に対応したクライアントでは、初回使用時に Scrapfly のサインイン画面が開きます。それ以外のクライアントでは API キーを使用します(認証を参照)。

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

ローカルプロセスのみを起動するクライアントは、mcp-remote 経由で接続します。

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

クライアントごとに手順が異なります。セットアップガイド(Claude Code、Claude Desktop、Cursor、VS Code、ChatGPT など)を参照してください。

セルフホスト

Go で書かれたオープンソースサーバーをビルドします。

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

ローカルクライアント(stdio): クライアントは、環境変数に API キーを設定してバイナリを起動します。

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

HTTP サーバー: キーを設定せずに起動し、各呼び出し元が http://<host>:8080/mcp 上で Authorization: Bearer <key> または ?key= として自身のキーを渡します。

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

SCRAPFLY_API_KEY と -http の両方にキーを設定すると、認証なしで、すべての呼び出し元がそのキーを使います。そのため、-allow-remote を渡さない限り、サーバーは 127.0.0.1 にバインドされます。すべてのオプションはREADMEに記載されています。

できること

AI が「最新情報はありません」と答える代わりに、次のことができるようになります。

ライブデータをスクレイピング

最新の価格、掲載情報、ニュース、その他あらゆる Web ページのコンテンツをリアルタイムで取得

アンチボットシステムを回避

CAPTCHA、プロキシ、JavaScript のレンダリング、レート制限に自動で対応

構造化データを抽出

AI を活用した抽出機能で、複雑な Web サイトを解析して整った JSON に変換

スクリーンショットを取得

ページ全体または特定の要素を視覚的にキャプチャして分析

Scrapfly MCP Server を選ぶ理由

何千人もの開発者が利用する、実績あるインフラストラクチャを基盤としています。

常に安定

AI がブロックされることはありません

すばやくセットアップ

60 秒以内に実行可能

セキュア

OAuth2 + エンタープライズ認証

MCP コネクタの力

MCP は、あらゆる AI クライアントを強力な Web スクレイピングツールに変える汎用コネクタです。AI プラットフォームごとにカスタム連携を構築する代わりに、MCP で単一の標準インターフェースを利用できます。

お気に入りの AI ツールで利用可能:
  • Claude Desktop、Cursor、Cline、Windsurf
  • LangChain、LlamaIndex、CrewAI
  • OpenAI function calling、カスタムエージェント
  • n8n、Make、Zapier のワークフロー
1 つの連携で、無限の可能性:

一度設定すれば、どこでも使えます。同じ MCP server をすべてのプラットフォームで利用できるため、新たに導入する AI ツールごとに連携を作り直す必要はありません。

Scrapfly MCP の使い方

使い始めるのは簡単です。AI クライアントを選び、セットアップガイドに従ってください。

[###### AI クライアントのセットアップ

15 以上の連携:Claude Desktop、Cursor、Cline、Windsurf、LangChain、n8n など

](https://scrapfly.io/docs/mcp/integrations) [###### 利用可能なツール

9 つのツール:スクレイピング、スクリーンショット、動的な WebMCP ツール検出に対応した Cloud Browser

](https://scrapfly.io/docs/mcp/tools) [###### 認証オプション

API キー、OAuth2、またはヘッダーベースの認証。ニーズに合った方法を選択

](https://scrapfly.io/docs/mcp/authentication)

次のステップ

実際の使用例を見る - 求人情報の集約、価格のモニタリング、データ抽出など クライアント別セットアップガイド - Cursor、Cline、LangChain、n8n、およびすべての対応プラットフォーム ツールと API 仕様 - パラメーターの完全なドキュメントと使用ガイド OAuth2 認証を設定 - 本番環境向けのセキュアなエンタープライズグレード認証 FAQ を読む - よくある質問とトラブルシューティング

セットアップを確認

設定後、すべてが正しく動作することを確認してください。

  1. ツールが利用可能か確認AI クライアントにハンマーアイコン(🔨)が表示されているか、またはツール一覧に Scrapfly のツールが読み込まれているかを確認します。

  2. 簡単なリクエストをテスト「今の Hacker News のトップ投稿は何ですか?」と尋ねてみます。

    AI が Scrapfly のツールを自動的に使って、最新の結果を取得して表示するはずです。

  3. アカウントの使用状況を確認「Scrapfly のクレジットはあといくつありますか?」と尋ねます。

    AI は info_account を使って、現在の使用状況とクォータを表示します。

トラブルシューティング

問題が発生した場合は、よくある問題と解決方法を確認してください。

ツールが検出されない

  • JSON 設定を確認 - 設定に構文エラー(カンマや括弧の不足など)がないことを確認します
  • AI クライアントを再起動 - 新しい MCP サーバーを読み込むため、クライアントの完全な再起動が必要な場合があります
  • npx が利用可能か確認 - ターミナルで npx --version を実行し、インストールされていることを確認します
  • API キーを検証 - Scrapfly API キーが正しく、利用可能なクレジットがあることを確認します

認証エラー

  • API キーが無効 - Dashboard → Project Settingsでキーを再確認します
  • ネットワークで認証されない / プロジェクトによってアクセスが制限されている - プロジェクトが特定の IP アドレスのみを許可しています。キーに問題はありません。トラブルシューティングを参照してください
  • OAuth2 の問題 - OAuth フローを完了し、トークンが更新されていることを確認します
  • 認証情報の期限切れ - セッションの有効期限が切れている場合は、再認証します

さらにサポートが必要ですか?

詳しいトラブルシューティング情報はこちらをご覧ください。