AgentQL
官方使用AgentQL让AI代理从非结构化网页中获取结构化数据。
你可以用 Agent QL MCP 做什么?
- 从任何URL提取结构化数据 — 描述你想要的字段,让AI通过自然语言提示使用
extract-web-data自动获取。 - 将网页转换为表格或列表 — 从URL中请求如产品、视频或文章等项目,并指定要捕获的每个属性。
- 在提取过程中过滤掉不需要的内容 — 在提示中包含排除项(例如,跳过广告或赞助内容),使结果仅包含相关数据。
文档
AgentQL MCP 服务器
这是一个模型上下文协议(MCP)服务器,集成了 AgentQL 的数据提取能力。
功能特性
工具
extract-web-data- 从给定的 'url' 中提取结构化数据,使用 'prompt' 作为实际数据及其提取字段的描述。
安装
要使用 AgentQL MCP 服务器从网页中提取数据,你需要通过 npm 安装它,从我们的 开发者门户 获取 API 密钥,并在你喜欢的支持 MCP 的应用中进行配置。
安装软件包
npm install -g agentql-mcp
配置 Claude
- 通过
⌘+,打开 Claude Desktop 设置(不要与 Claude 账户设置混淆) - 转到 开发者 侧边栏部分
- 点击 编辑配置 并打开
claude_desktop_config.json文件 - 在配置文件的
mcpServers字典中添加agentql服务器 - 重启应用
{
"mcpServers": {
"agentql": {
"command": "npx",
"args": ["-y", "agentql-mcp"],
"env": {
"AGENTQL_API_KEY": "YOUR_API_KEY"
}
}
}
}
在 此处 阅读更多关于 Claude 中 MCP 配置的信息。
配置 VS Code
如需一键安装,请点击下方的安装按钮之一:
手动安装
点击本部分顶部的安装按钮可获取最快捷的安装方式。如需手动安装,请按照以下步骤操作:
将以下 JSON 代码块添加到 VS Code 的用户设置(JSON)文件中。你可以通过按 Ctrl + Shift + P 并输入 Preferences: Open User Settings (JSON) 来完成此操作。
{
"mcp": {
"inputs": [
{
"type": "promptString",
"id": "apiKey",
"description": "AgentQL API Key",
"password": true
}
],
"servers": {
"agentql": {
"command": "npx",
"args": ["-y", "agentql-mcp"],
"env": {
"AGENTQL_API_KEY": "${input:apiKey}"
}
}
}
}
}
或者,你也可以将其添加到工作区中名为 .vscode/mcp.json 的文件中。这样你就可以与他人共享该配置。
{
"inputs": [
{
"type": "promptString",
"id": "apiKey",
"description": "AgentQL API Key",
"password": true
}
],
"servers": {
"agentql": {
"command": "npx",
"args": ["-y", "agentql-mcp"],
"env": {
"AGENTQL_API_KEY": "${input:apiKey}"
}
}
}
}
配置 Cursor
- 打开 Cursor 设置
- 转到 MCP > MCP 服务器
- 点击 + 添加新的 MCP 服务器
- 输入以下内容:
- 名称:"agentql"(或你喜欢的名称)
- 类型:"command"
- 命令:
env AGENTQL_API_KEY=YOUR_API_KEY npx -y agentql-mcp
在 此处 阅读更多关于 Cursor 中 MCP 配置的信息。
配置 Windsurf
- 打开 Windsurf: MCP 配置面板
- 点击 添加自定义服务器+
- 或者,你也可以直接打开
~/.codeium/windsurf/mcp_config.json - 在配置文件的
mcpServers字典中添加agentql服务器
{
"mcpServers": {
"agentql": {
"command": "npx",
"args": ["-y", "agentql-mcp"],
"env": {
"AGENTQL_API_KEY": "YOUR_API_KEY"
}
}
}
}
在 此处 阅读更多关于 Windsurf 中 MCP 配置的信息。
验证 MCP 集成
给你的代理一个需要从网页提取数据的任务。例如:
Extract the list of videos from the page https://www.youtube.com/results?search_query=agentql, every video should have a title, an author name, a number of views and a url to the video. Make sure to exclude ads items. Format this as a markdown table.
[!TIP] 如果你的代理提示无法打开 URL 或从网页加载内容,而不是使用 AgentQL,请尝试添加“使用工具”或“使用 agentql 工具”的提示。
开发
安装依赖:
npm install
构建服务器:
npm run build
用于自动重新构建的开发模式:
npm run watch
如果你想试用开发版本,可以使用以下配置替代默认配置:
{
"mcpServers": {
"agentql": {
"command": "/path/to/agentql-mcp/dist/index.js",
"env": {
"AGENTQL_API_KEY": "YOUR_API_KEY"
}
}
}
}
[!NOTE] 不要忘记移除默认的 AgentQL MCP 服务器配置,以免 Claude 混淆两个相似的服务器。
调试
由于 MCP 服务器通过标准输入输出进行通信,调试可能具有挑战性。我们推荐使用 MCP Inspector,它作为一个包脚本提供:
npm run inspector
Inspector 将提供一个 URL,用于在浏览器中访问调试工具。