AgentQL

官方

使用AgentQL让AI代理从非结构化网页中获取结构化数据。

你可以用 Agent QL MCP 做什么?

  • 从任何URL提取结构化数据 — 描述你想要的字段,让AI通过自然语言提示使用 extract-web-data 自动获取。
  • 将网页转换为表格或列表 — 从URL中请求如产品、视频或文章等项目,并指定要捕获的每个属性。
  • 在提取过程中过滤掉不需要的内容 — 在提示中包含排除项(例如,跳过广告或赞助内容),使结果仅包含相关数据。

文档

AgentQL MCP 服务器

这是一个模型上下文协议(MCP)服务器,集成了 AgentQL 的数据提取能力。

功能特性

工具

  • extract-web-data - 从给定的 'url' 中提取结构化数据,使用 'prompt' 作为实际数据及其提取字段的描述。

安装

要使用 AgentQL MCP 服务器从网页中提取数据,你需要通过 npm 安装它,从我们的 开发者门户 获取 API 密钥,并在你喜欢的支持 MCP 的应用中进行配置。

安装软件包

npm install -g agentql-mcp

配置 Claude

  • 通过 +, 打开 Claude Desktop 设置(不要与 Claude 账户设置混淆)
  • 转到 开发者 侧边栏部分
  • 点击 编辑配置 并打开 claude_desktop_config.json 文件
  • 在配置文件的 mcpServers 字典中添加 agentql 服务器
  • 重启应用
{
  "mcpServers": {
    "agentql": {
      "command": "npx",
      "args": ["-y", "agentql-mcp"],
      "env": {
        "AGENTQL_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

此处 阅读更多关于 Claude 中 MCP 配置的信息。

配置 VS Code

如需一键安装,请点击下方的安装按钮之一:

Install with NPX in VS Code Install with NPX in VS Code Insiders

手动安装

点击本部分顶部的安装按钮可获取最快捷的安装方式。如需手动安装,请按照以下步骤操作:

将以下 JSON 代码块添加到 VS Code 的用户设置(JSON)文件中。你可以通过按 Ctrl + Shift + P 并输入 Preferences: Open User Settings (JSON) 来完成此操作。

{
  "mcp": {
    "inputs": [
      {
        "type": "promptString",
        "id": "apiKey",
        "description": "AgentQL API Key",
        "password": true
      }
    ],
    "servers": {
      "agentql": {
        "command": "npx",
        "args": ["-y", "agentql-mcp"],
        "env": {
          "AGENTQL_API_KEY": "${input:apiKey}"
        }
      }
    }
  }
}

或者,你也可以将其添加到工作区中名为 .vscode/mcp.json 的文件中。这样你就可以与他人共享该配置。

{
  "inputs": [
    {
      "type": "promptString",
      "id": "apiKey",
      "description": "AgentQL API Key",
      "password": true
    }
  ],
  "servers": {
    "agentql": {
      "command": "npx",
      "args": ["-y", "agentql-mcp"],
      "env": {
        "AGENTQL_API_KEY": "${input:apiKey}"
      }
    }
  }
}

配置 Cursor

  • 打开 Cursor 设置
  • 转到 MCP > MCP 服务器
  • 点击 + 添加新的 MCP 服务器
  • 输入以下内容:
    • 名称:"agentql"(或你喜欢的名称)
    • 类型:"command"
    • 命令:env AGENTQL_API_KEY=YOUR_API_KEY npx -y agentql-mcp

此处 阅读更多关于 Cursor 中 MCP 配置的信息。

配置 Windsurf

  • 打开 Windsurf: MCP 配置面板
  • 点击 添加自定义服务器+
  • 或者,你也可以直接打开 ~/.codeium/windsurf/mcp_config.json
  • 在配置文件的 mcpServers 字典中添加 agentql 服务器
{
  "mcpServers": {
    "agentql": {
      "command": "npx",
      "args": ["-y", "agentql-mcp"],
      "env": {
        "AGENTQL_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

此处 阅读更多关于 Windsurf 中 MCP 配置的信息。

验证 MCP 集成

给你的代理一个需要从网页提取数据的任务。例如:

Extract the list of videos from the page https://www.youtube.com/results?search_query=agentql, every video should have a title, an author name, a number of views and a url to the video. Make sure to exclude ads items. Format this as a markdown table.

[!TIP] 如果你的代理提示无法打开 URL 或从网页加载内容,而不是使用 AgentQL,请尝试添加“使用工具”或“使用 agentql 工具”的提示。

开发

安装依赖:

npm install

构建服务器:

npm run build

用于自动重新构建的开发模式:

npm run watch

如果你想试用开发版本,可以使用以下配置替代默认配置:

{
  "mcpServers": {
    "agentql": {
      "command": "/path/to/agentql-mcp/dist/index.js",
      "env": {
        "AGENTQL_API_KEY": "YOUR_API_KEY"
      }
    }
  }
}

[!NOTE] 不要忘记移除默认的 AgentQL MCP 服务器配置,以免 Claude 混淆两个相似的服务器。

调试

由于 MCP 服务器通过标准输入输出进行通信,调试可能具有挑战性。我们推荐使用 MCP Inspector,它作为一个包脚本提供:

npm run inspector

Inspector 将提供一个 URL,用于在浏览器中访问调试工具。