Agenty

公式

AIによるウェブスクレイピング、クローリング、変更検出

Agenty MCPで何ができますか?

  • Convert any web page to clean Markdown — 使用 markdown 从 URL 中去除导航、广告和样板内容,获取适合 LLM 处理的干净内容。
  • Capture screenshots with device emulation — 通过 screenshot 截取全页或裁剪后的 PNG/JPEG 截图,并可模拟 iPhone 14 等设备。
  • Scrape JavaScript-rendered HTML — 使用 scrape 获取所有脚本执行后的最终 DOM,适用于单页应用(SPA)。
  • Extract structured data with selectors — 利用 CSS 或 XPath 通过 extract 从页面中提取特定字段,如价格或标题。
  • Generate PDFs with custom formatting — 通过 pdf 将页面导出为 A4 或 Letter 尺寸的 PDF,并可控制边距、页眉和打印背景。
  • Trace HTTP redirect chains — 使用 redirects 跟踪 URL 的每次重定向,以调试链接或验证规范目标。

ドキュメント

Agenty AI は、Claude や Cursor などの AI アシスタント、および MCP 対応クライアントがブラウザ自動化ツールに直接アクセスできるようにする Model Context Protocol (MCP) サーバーを公開しています。スクリーンショットの取得、PDF の生成、Web ページのスクレイピング、構造化データの抽出、ページの Markdown への変換などを、LLM モデルを使用して行えます。

この記事では、Agenty の MCP サーバーへの接続方法と、利用可能な各ツールの使用方法について説明します。

前提条件

接続する前に、以下が必要です。

  • Agenty AI アカウントと API キー
  • Claude Desktop、Cursor、Windsurf など、Model Context Protocol をサポートする MCP 対応クライアント
  • CLI またはローカル設定ファイルを使用する場合は、Node.js 18 以降

接続方法

以下の設定を MCP クライアントに追加します。Claude Desktop の場合は claude_desktop_config.json に、Cursor の場合は .cursor/mcp.json ファイルに追加します。

{
  "mcpServers": {
    "agenty": {
      "url": "https://api.agenty.ai/mcp",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY"
      }
    }
  }
}

YOUR_API_KEY を、Agenty AI > Settings > API Key から取得したキーに置き換えます。追加したら、クライアントを再起動すると、ツールリストに Agenty ツールが表示されます。

Agenty API Key1069×482 32.4 KB

OAuth またはトークンベースのログインをサポートするクライアントの場合は、キーを手動で貼り付けることなく、Agenty AI サインインフローを通じて直接認証できます。

利用可能なツール

Agenty MCP サーバーは、最も一般的なブラウザ自動化のニーズをカバーする 11 個のツールを提供します。各ツールは、URL または生の HTML を入力として受け取り、ブラウザの動作を制御するためのオプションのパラメータも受け付けます。

Available Tools in Agenty MCP1265×795 60.9 KB

Markdown MCP

Markdown ツールは、ページを読み込み、ナビゲーション、フッター、スクリプト、広告、その他の定型部分を除去し、残りの読み取り可能なコンテンツをクリーンな Markdown に変換します。相対リンクを絶対 URL に解決し、データ画像を削除することもできます。

これは、Web コンテンツを LLM にフィードしたり、RAG パイプラインを構築したり、記事の読み取り可能なバージョンを保存したりする場合に特に役立ちます。

プロンプトの例:

「Web scraping - Wikipedia を Markdown に変換して」

「このブログ投稿の Markdown コンテンツを取得して: https://example.com/article”」

Website scraping preview using Claude desktop1272×844 67.2 KB

Screenshot MCP

スクリーンショットツールは、実際のブラウザを起動し、ページを読み込み、PNG または JPEG 画像としてキャプチャします。フルページスクリーンショット、切り抜き領域、カスタムビューポート、デバイスエミュレーション、サイズ変更や回転などの画像操作をサポートしています。

これは、ページの視覚的なスナップショットが必要な場合、UI を文書化する必要がある場合、または特定の画面サイズでサイトがどのように表示されるかを確認したい場合に役立ちます。

プロンプトの例:

https://example.com のフルページスクリーンショットを撮って、PNG で返して」

「iPhone 14 のビューポートを使用して https://agenty.ai のモバイルスクリーンショットをキャプチャして」

Web Scraping MCP

Web スクレイピングツールは、実際のブラウザで URL を読み込み、完全な JavaScript 実行を行い、レンダリングされた HTML を返します。単純な HTTP リクエストとは異なり、動的コンテンツの読み込みを待機するため、シングルページアプリケーションや JavaScript を多用するページに対して信頼性があります。

すべてのスクリプトが実行された後、ユーザーが実際に見るのと同じ生の HTML が必要な場合に使用します。

プロンプトの例:

https://news.ycombinator.com の HTML をスクレイピングして、完全なレンダリングコンテンツを返して」

「このページをスクレイピングして、動的コンテンツが読み込まれるまで 3 秒待って: https://example.com/dashboard”」

Web Crawling MCP

リンククローリングツールは、ページをレンダリングし、DOM で見つかったすべてのハイパーリンクを抽出します。すべてのアンカー href のフラットリストを返すため、クロールキューの構築、内部リンクの監査、コンテンツの発見に使用できます。

プロンプトの例:

https://agenty.ai” のすべてのリンクを見つけて」

https://example.com/blog からすべてのリンクを抽出して、記事 URL のリストを教えて」

PDF MCP

PDF ツールは、実際のブラウザでページをレンダリングし、PDF としてエクスポートします。ページ形式 (A4、Letter など) の設定、横向きモードの有効化、余白の設定、背景の表示/非表示、カスタムヘッダーとフッターの指定が可能です。

プロンプトの例:

https://agenty.ai の PDF を A4 形式で生成し、印刷背景を有効にして」

https://example.com/report” の横向き PDF を作成して」

Data Extraction MCP

抽出ツールは、ページをレンダリングし、CSS セレクターまたは XPath を使用して構造化データを抽出します。製品価格、レビュー数、役職など、特定のフィールドや、レンダリングされたページから繰り返し要素を取得するのに適しています。

プロンプトの例:

https://example.com/products” から製品名と価格を抽出して」

https://news.ycombinator.com” からすべての見出しを取得して」

Sitemap MCP

サイトマップクローラーツールは、Web サイトの sitemap.xml を読み取り、サイトマップインデックスファイルをたどり、検出されたすべての URL の完全なリストを返します。特定のパスを除外するための除外パターンをサポートしています。

これを使用して、Web サイトの完全な構造をすばやく把握したり、大規模なサイトのクロールリストを作成したりします。

プロンプトの例:

https://agenty.ai” のサイトマップ内のすべての URL を見つけて」

https://example.com のサイトマップを取得し、/blog/ を含む URL を除外して」

Redirect Tracing MCP

リダイレクトキャプチャツールは、指定された URL のすべての HTTP リダイレクトを追跡し、各中間 URL、ステータスコード、最終的な宛先を含む完全なチェーンを返します。

これは、壊れたリンクのデバッグ、正規 URL の確認、アフィリエイトリンクや短縮リンクの監査に役立ちます。

プロンプトの例:

https://bit.ly/some-link” のすべてのリダイレクトをトレースして」

https://example.com/old-page” のリダイレクトチェーンを表示して」

Email Scraper MCP

メールスクレイパーツールは、1 つ以上の URL (一度に最大 10 個) を読み込み、レンダリングされたページで見つかったすべてのメールアドレスを抽出します。難読化されたアドレスや動的に読み込まれる連絡先セクションも処理します。

プロンプトの例:

https://example.com/contact” のすべてのメールアドレスを見つけて」

「これらの 3 つのページからメールをスクレイピングして: https://site1.com, https://site2.com, https://site3.com”」

Content MCP

コンテンツツールは、JavaScript 実行後のページの完全なレンダリング HTML を返します。スクレイプと似ていますが、スクレイプパイプラインではなく、最終的な DOM 状態が必要なユースケースに最適化されています。

プロンプトの例:

https://example.com/app” のレンダリングされた HTML コンテンツを取得して」

Snapshot MCP

スナップショットツールは、ページのアクセシビリティツリー (ボタン、リンク、入力、見出しなど、すべてのインタラクティブで読み取り可能な要素の構造化リスト) をキャプチャします。これは、生の HTML を処理せずにページをナビゲートまたは推論する必要がある AI エージェント向けに設計されています。

プロンプトの例:

https://example.com のアクセシビリティスナップショットを取得して、ページ構造を理解できるようにして」

プロンプトの例

ツールを組み合わせたマルチステップの例をいくつか紹介します。

Web サイトのコンテンツを監査する: 「https://example.com, のサイトマップを取得し、上位 5 ページを Markdown に変換して、それぞれを要約して」

ビジュアルレポートを生成する: 「https://agenty.ai のスクリーンショットをモバイルとデスクトップのビューポートで撮って、両方を見せて」

連絡先リストを作成する: 「https://example.com/team, のすべてのリンクを見つけ、各チームメンバーページからメールアドレスをスクレイピングして」

リンクの健全性を確認する: 「https://example.com/blog からすべてのリンクを抽出し、200 を返さないもののリダイレクトチェーンをトレースして」

ページをアーカイブする: 「https://example.com/article を Markdown に変換し、PDF バージョンを生成して、両方とも絶対リンクで」

サポートされているパラメータ

すべてのナビゲーションベースのツール (screenshot、pdf、scrape、content、markdown、links、extract、redirects) は、共通のブラウザ設定オプションを共有します。

パラメータ説明
urlstring読み込むページの URL。html が提供されない場合は必須。
htmlstringURL を読み込む代わりにレンダリングする生の HTML 文字列。
waitForstring または numberキャプチャ前に、CSS セレクター、ミリ秒数、またはネットワークイベントを待機します。
viewportobjectwidth、height、deviceScaleFactor、isMobile、hasTouch、isLandscape を設定します。
devicestringiPhone 14 や iPad Pro などの名前付きデバイスをエミュレートします。
userAgentstringブラウザのユーザーエージェント文字列を上書きします。
cookiesarrayページが読み込まれる前に Cookie を挿入します。
blockAdsboolean広告ネットワークリクエストをブロックします。スクレイピングツールではデフォルトで有効です。
blockTrackersbooleanトラッキングおよび分析スクリプトをブロックします。
goToOptionsobjectナビゲーションタイムアウト (ms) と waitUntil 戦略 (load、domcontentloaded、networkidle0、networkidle2) を制御します。
setExtraHTTPHeadersobjectカスタムリクエストヘッダーをキーと値のペアとして追加します。
rejectRequestPatternarrayこれらの URL パターンに一致するリクエストをブロックします。
requestInterceptorsarrayパターンに一致するリクエストをインターセプトし、カスタムレスポンスを返します。
authenticateobject基本認証で保護されたページの HTTP ユーザー名とパスワードを設定します。
anonymousobject匿名ブラウジングのためにプロキシ経由でルーティングし、リソースタイプをスキップします。

スクリーンショット固有のパラメータ:

パラメータ説明
options.fullPagebooleanスクロール可能なページ全体をキャプチャします。デフォルトは true です。
options.typestring画像形式: png または jpeg。デフォルトは png です。
options.qualitynumberJPEG 品質 (0 ~ 100)。
options.clipobjectx、y、width、height で特定の領域をキャプチャします。
options.omitBackgroundboolean背景を透明にします (PNG のみ)。
manipulateobjectサイズ変更、回転、反転、ミラーリングで画像を後処理します。
responseTypestring画像をバッファ (デフォルト) またはホストされた URL として返します。

MCP 経由でスクリーンショットツールを使用する場合、結果はデフォルトでホストされた URL として返されます。API を直接呼び出す場合、responseType のデフォルトは buffer です。ホストされたリンクを受け取るには、responseType: 'url' を設定します。

PDF 固有のパラメータ:

パラメータ説明
options.formatstringページサイズ: A4, Letter, Legal, Tabloid, Ledger, A0–A6。
options.landscapeboolean横向きでレンダリングします。
options.marginobject上、下、左、右の余白を設定します。
options.printBackgroundboolean出力にCSS背景を含めます。
options.displayHeaderFooterboolean各ページにヘッダーとフッターを表示します。
options.headerTemplatestringページヘッダーのHTMLテンプレート。
options.footerTemplatestringページフッターのHTMLテンプレート。
options.pageRangesstring印刷する特定のページを指定します(例: 1-5)。
options.scalenumberページコンテンツを拡大縮小します。
emulateMediastringscreenまたはprintメディアタイプとしてレンダリングします。
responseTypestringPDFをバッファ(デフォルト)またはホストされたURLとして返します。

MCP経由でPDFツールを使用する場合、結果はデフォルトでホストされたURLとして返されます。APIを直接呼び出す場合、responseType のデフォルトは buffer です。ホストされたリンクを受け取るには responseType: 'url' を設定してください。

レート制限とフェアユース

各APIキーには、プランに基づいた月間リクエスト制限があります。重いJavaScriptや大きなPDFを含む長時間実行されるページは、より多くのリソースを消費します。スクレイピングワークロードでリクエストを高速化し、帯域幅の使用量を削減するには、blockAdsblockTrackers を使用してください。

Agenty AIのリクエストおよびレスポンススキーマは、Browserless、Firecrawl、Cloudflare Browser Rendering、および類似のサービスを含む、最も広く使用されているブラウザ自動化APIとの互換性を意図的に維持しています。すでにこれらのプロバイダーのいずれかを使用している場合、既存のリクエストを書き換えることなく、ベースURLとAPIキーを更新するだけでAgenty AIに切り替えることができます。

プロバイダー移行方法
BrowserlessベースURLとAPIキーを変更します。すべてのパラメータに互換性があります。
FirecrawlベースURLとAPIキーを変更します。スクレイプ、マークダウン、クロールのエンドポイントが直接マッピングされます。
Cloudflare Browser RenderingベースURLと認証ヘッダーを変更します。スクリーンショットとコンテンツのパラメータに互換性があります。
Puppeteer HTTP APIsほとんどのgoToOptionsとページオプションが1:1でマッピングされます。