Scrapfly

공식

Scrapfly MCP 서버는 AI 에이전트가 내장된 안티봇 처리를 통해 라이브 웹 데이터를 간단하고 통일된 방식으로 스크래핑할 수 있게 해줍니다.

Scrapfly MCP(으)로 무엇을 할 수 있나요?

  • 실시간 페이지 스크래핑 — 어시스턴트에게 요청해 웹페이지에서 최신 가격, 매물 또는 뉴스를 실시간으로 가져오세요.
  • 봇 방지 보호 우회 — Scrapfly가 CAPTCHA, 프록시, JavaScript 렌더링, 요청 속도 제한을 처리하는 동안 페이지를 가져오세요.
  • 구조화된 데이터 추출 — AI 기반 추출을 사용해 복잡한 사이트를 깔끔한 JSON으로 파싱하세요.
  • 스크린샷 캡처 — 분석을 위해 전체 페이지나 특정 요소의 시각적 스냅샷을 찍으세요.
  • 계정 사용량 확인 — Scrapfly 크레딧이 얼마나 남았는지 물어보고 현재 할당량을 확인하세요.

문서

Scrapfly MCP 서버 시작하기

**모델 컨텍스트 프로토콜(MCP)**은 AI 모델이 외부 도구 및 데이터 소스와 상호작용할 수 있도록 하는 개방형 표준입니다. Scrapfly MCP 서버를 사용하면 AI가 학습 데이터에만 의존하지 않고 실시간으로 모든 웹사이트에 접근할 수 있어, 필요할 때마다 실시간 웹 데이터를 스크래핑할 수 있습니다.

MCP Cloud 또는 자체 호스팅

Scrapfly MCP 서버는 동일한 도구를 사용해 두 가지 방식으로 실행할 수 있습니다. 하나를 선택하세요.

MCP Cloud(관리형)자체 호스팅
실행 위치Scrapfly에서 호스팅: https://mcp.scrapfly.io/mcp사용자의 컴퓨터 또는 서버에서 오픈 소스 서버 실행
설치필요 없음: AI 클라이언트에 URL 추가Go 바이너리 또는 Docker 이미지 빌드
인증클라이언트에서 OAuth2 로그인 또는 API 키API 키
업데이트항상 최신 버전직접 가져와서 다시 빌드
추천 대상대부분의 사용자: Claude, Cursor, VS Code, ChatGPT 및 기타 클라이언트사용자 지정 도구, 에어갭 또는 감사 대상 환경

MCP Cloud

서버 URL을 AI 클라이언트에 추가하세요. OAuth2를 지원하는 클라이언트는 처음 사용할 때 Scrapfly 로그인 화면을 엽니다. 그 외 클라이언트에서는 API 키를 사용합니다(인증 참고).

{
  "mcpServers": {
    "scrapfly-cloud-mcp": {
      "type": "http",
      "url": "https://mcp.scrapfly.io/mcp"
    }
  }
}

로컬 프로세스만 시작하는 클라이언트는 mcp-remote을 통해 연결합니다.

{
  "mcpServers": {
    "scrapfly": {
      "command": "npx",
      "args": ["mcp-remote", "https://mcp.scrapfly.io/mcp"]
    }
  }
}

클라이언트마다 설정 방법이 다릅니다. 설정 가이드에서 확인하세요(Claude Code, Claude Desktop, Cursor, VS Code, ChatGPT 등).

자체 호스팅

Go로 작성된 오픈 소스 서버를 빌드하세요.

git clone https://github.com/scrapfly/scrapfly-mcp
cd scrapfly-mcp
go build -o scrapfly-mcp ./cmd/scrapfly-mcp

로컬 클라이언트(stdio): 클라이언트가 환경 변수에 API 키를 설정한 상태로 바이너리를 시작합니다.

{
  "mcpServers": {
    "scrapfly": {
      "command": "/path/to/scrapfly-mcp",
      "env": { "SCRAPFLY_API_KEY": "" }
    }
  }
}

HTTP 서버: 키 없이 시작하며, 각 호출자가 http://<host>:8080/mcp에서 Authorization: Bearer <key> 또는 ?key=로 자신의 키를 전달합니다.

./scrapfly-mcp -http :8080

# or with Docker
docker build -t scrapfly-mcp .
docker run -p 8080:8080 scrapfly-mcp

SCRAPFLY_API_KEY와 함께 -http에 키를 설정하면 모든 호출자가 인증 없이 해당 키를 사용하게 됩니다. 따라서 -allow-remote을 전달하지 않으면 서버는 127.0.0.1에 바인딩됩니다. 모든 옵션은 README에 나와 있습니다.

새롭게 가능한 작업

이제 AI가 "최신 정보가 없습니다"라고 답하는 대신 다음 작업을 수행할 수 있습니다.

실시간 데이터 스크래핑

최신 가격, 매물, 뉴스 또는 모든 웹페이지 콘텐츠를 실시간으로 가져옵니다.

안티봇 시스템 우회

CAPTCHA, 프록시, JavaScript 렌더링 및 요청 제한을 자동으로 처리합니다.

구조화된 데이터 추출

AI 기반 추출을 사용해 복잡한 웹사이트를 깔끔한 JSON으로 파싱합니다.

스크린샷 캡처

분석을 위해 페이지 또는 특정 요소의 시각적 스냅샷을 촬영합니다.

Scrapfly MCP 서버를 선택해야 하는 이유

수천 명의 개발자가 사용하는 검증된 인프라를 기반으로 합니다.

항상 안정적

AI가 차단되는 일이 없습니다.

빠른 설정

60초 이내에 실행할 수 있습니다.

안전성

OAuth2 및 엔터프라이즈 인증을 지원합니다.

MCP 커넥터의 강력한 기능

MCP는 모든 AI 클라이언트를 강력한 웹 스크래핑 도구로 바꿔 주는 범용 커넥터입니다. 각 AI 플랫폼에 맞는 사용자 지정 통합을 구축하는 대신, MCP는 단일 표준 인터페이스를 제공합니다.

즐겨 사용하는 AI 도구와 함께 사용:
  • Claude Desktop, Cursor, Cline, Windsurf
  • LangChain, LlamaIndex, CrewAI
  • OpenAI 함수 호출, 사용자 지정 에이전트
  • n8n, Make, Zapier 워크플로
한 번의 통합으로 무한한 가능성:

한 번 설정하면 어디서나 사용할 수 있습니다. 동일한 MCP 서버가 모든 플랫폼에서 작동하므로 새로 사용하는 AI 도구마다 통합을 다시 구축할 필요가 없습니다.

Scrapfly MCP 사용 방법

시작은 간단합니다. AI 클라이언트를 선택하고 설정 가이드를 따르세요.

[###### AI 클라이언트 설정

15개 이상의 통합: Claude Desktop, Cursor, Cline, Windsurf, LangChain, n8n 등

](https://scrapfly.io/docs/mcp/integrations) [###### 사용 가능한 도구

9개 도구: 스크래핑, 스크린샷, 동적 WebMCP 도구 검색 기능이 있는 Cloud Browser

](https://scrapfly.io/docs/mcp/tools) [###### 인증 옵션

API 키, OAuth2 또는 헤더 기반 인증 중 필요에 맞는 방식을 선택하세요.

](https://scrapfly.io/docs/mcp/authentication)

다음 단계

실제 사용 사례 보기 - 채용 정보 통합, 가격 모니터링, 데이터 추출 등 클라이언트별 설정 가이드 - Cursor, Cline, LangChain, n8n 및 지원되는 모든 플랫폼 도구 및 API 사양 - 전체 매개변수 문서와 사용 가이드 OAuth2 인증 설정 - 프로덕션 환경을 위한 안전한 엔터프라이즈급 인증 FAQ 읽기 - 자주 묻는 질문과 문제 해결 방법

설정 확인

구성을 마친 후 모든 항목이 올바르게 작동하는지 확인하세요.

  1. 도구 사용 가능 여부 확인AI 클라이언트에서 망치 아이콘(🔨)을 찾거나 도구 목록을 확인해 Scrapfly 도구가 로드되었는지 확인하세요.

  2. 간단한 요청 테스트다음과 같이 질문해 보세요. "지금 Hacker News의 인기 게시물은 무엇인가요?"

    AI가 Scrapfly 도구를 자동으로 사용해 최신 결과를 가져와 표시해야 합니다.

  3. 계정 사용량 확인다음과 같이 질문해 보세요. "남은 Scrapfly 크레딧은 몇 개인가요?"

    AI가 info_account을 사용해 현재 사용량과 할당량을 표시합니다.

문제 해결

문제가 발생하면 다음의 일반적인 문제와 해결 방법을 확인하세요.

도구가 감지되지 않음

  • JSON 구성 확인 - 구성에 구문 오류(쉼표 또는 대괄호 누락)가 없는지 확인하세요.
  • AI 클라이언트 다시 시작 - 새 MCP 서버를 불러오려면 클라이언트를 완전히 다시 시작해야 하는 경우가 많습니다.
  • npx 사용 가능 여부 확인 - 터미널에서 npx --version을 실행해 설치 여부를 확인하세요.
  • API 키 확인 - Scrapfly API 키가 올바르고 사용 가능한 크레딧이 있는지 확인하세요.

인증 오류

  • 잘못된 API 키 - 대시보드 → 프로젝트 설정에서 키를 다시 확인하세요.
  • 네트워크 인증 실패 / 프로젝트에서 액세스가 제한됨 - 프로젝트가 특정 IP 주소만 허용하는 경우입니다. 키에는 문제가 없습니다. 문제 해결을 참고하세요.
  • OAuth2 문제 - OAuth 흐름을 완료했고 토큰이 갱신되었는지 확인하세요.
  • 자격 증명 만료 - 세션이 만료된 경우 다시 인증하세요.

도움이 더 필요하신가요?

자세한 문제 해결 자료를 확인하세요.