Astronomer 스킬

Apache Airflow DAG, 실행, 작업 및 시스템 구성을 쿼리, 관리 및 문제 해결합니다. DAG 검사, 실행 관리, 작업 로깅, 구성 쿼리 및 직접 REST API 액세스에 걸쳐 30개 이상의 명령을 지원합니다. 지속적인 구성으로 여러 Airflow 인스턴스를 관리하고 로컬 및 Astro 배포를 자동으로 검색합니다. DAG 실행을 동기식(완료 대기) 또는 비동기식으로 트리거하고, 실패를 진단하고, 재시도를 위해 실행을 지우고, 재시도/맵 인덱스 필터링을 통해 작업 로그에 액세스합니다. 출력...

인간 승인 게이트, 폼 입력, 그리고 지연 가능 연산자를 사용한 Airflow DAG 내 분기 처리. 네 가지 연산자 유형: 승인/거부 결정을 위한 ApprovalOperator, 폼을 통한 다중 옵션 선택을 위한 HITLOperator, 인간 주도 작업 라우팅을 위한 HITLBranchOperator, 폼 데이터 수집을 위한 HITLEntryOperator. 모든 연산자는 지연 가능하며, Airflow UI의 Required Actions 탭 또는 REST API를 통해 인간 응답을 기다리는 동안 작업자 슬롯을 해제합니다. 선택적 기능 지원 포함: 사용자 정의...

Airflow 3.1+ 플러그인을 빌드하여 FastAPI 앱, 커스텀 UI 페이지, React 컴포넌트, 미들웨어, 매크로 및 연산자 링크를 Airflow UI에 직접 임베드합니다. 사용…

데이터 웨어하우스에 질의하여 캐시된 패턴과 개념 매핑을 통해 비즈니스 질문에 답변합니다. 반복되는 질문 유형에 대한 패턴 조회 및 캐싱을 지원하며, 결과 기록을 통해 향후 질의를 개선합니다. 개념-테이블 매핑 캐시와 INFORMATION_SCHEMA 또는 코드베이스 grep을 통한 테이블 스키마 탐색을 포함합니다. 분석을 위해 Polars 또는 Pandas DataFrame을 반환하는 run_sql() 및 run_sql_pandas() 커널 함수를 제공합니다. 개념, 패턴 및 테이블 캐시를 관리하기 위한 CLI 명령어와 추가 기능을 포함합니다.

Airflow 태스크에 인렛과 아웃렛을 사용하여 데이터 계보를 주석 처리합니다. 입력 및 출력을 데이터베이스, 데이터 웨어하우스, 클라우드 스토리지 전반에 걸쳐 정의하기 위해 OpenLineage Dataset 객체, Airflow Assets 및 Airflow Datasets를 지원합니다. 운영자에 내장된 OpenLineage 추출기가 없는 경우 대체 수단으로 사용되며, 사용자 정의 추출기와 OpenLineage 메서드가 우선 적용되는 4단계 우선순위 시스템을 따릅니다. Snowflake, BigQuery, S3 및 PostgreSQL에 대한 일관된 명명을 보장하는 데이터셋 명명 헬퍼를 포함합니다.

Apache Airflow DAG 생성을 위한 안내 워크플로우로, 검증 및 테스트 통합을 포함합니다. 구조화된 6단계 접근 방식: 환경 및 기존 패턴 발견, DAG 구조 계획, 모범 사례에 따른 구현, af CLI 명령어로 검증, 사용자 동의 하에 테스트, 수정 반복. 발견을 위한 CLI 명령어(af config connections, af config providers, af dags list)와 검증을 위한 명령어(af dags errors, af dags get, af dags explore)는 DAG에 대한 즉각적인 피드백을 제공합니다...

Pydantic 검증을 통해 재사용 가능한 Airflow 태스크 그룹 템플릿을 정의하고 YAML로 DAG를 구성합니다. blueprint 템플릿을 생성하거나 DAG를 구성할 때 사용합니다.

테이블 타임스탬프와 업데이트 패턴을 확인하여 데이터 신선도를 검증하고, 부패 정도를 평가합니다. 일반적인 ETL 명명 패턴(_loaded_at, _updated_at, created_at 등)을 사용하여 타임스탬프 열을 식별하고, 최대값을 조회하여 데이터의 기간을 파악합니다. 데이터 신선도를 네 가지 상태로 분류합니다: 신선(4시간 미만), 부패(4~24시간), 매우 부패(24시간 초과), 또는 알 수 없음(타임스탬프 없음). 최근 며칠간의 마지막 업데이트 시간과 행 수 추세를 확인하기 위한 SQL 템플릿을 제공합니다.

dbt Core 프로젝트를 Astronomer Cosmos를 사용하여 Airflow DAG 또는 TaskGroup으로 변환합니다. 세 가지 어셈블리 패턴을 지원합니다: 독립형 DbtDag, 기존 DAG 내 DbtTaskGroup, 세밀한 제어를 위한 개별 Cosmos 연산자. 격리 및 성능 요구 사항에 따라 8가지 실행 모드(WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC 등) 중에서 선택할 수 있습니다. 속도와 선택기 복잡성의 균형을 맞추기 위해 세 가지 파싱 전략(dbt_manifest, dbt_ls, dbt_ls_file, automatic)을 제공합니다...

Astronomer Cosmos를 Snowflake, Databricks, BigQuery 또는 Redshift에서 dbt Fusion 프로젝트에 맞게 로컬 실행으로 구성합니다. Cosmos 1.11.0+ 필요, dbt Fusion 바이너리를 Airflow 런타임에 별도 설치, ExecutionMode.LOCAL 및 서브프로세스 호출 사용. 세 가지 파싱 전략 지원: dbt_manifest(대규모 프로젝트에 가장 빠름), dbt_ls(복잡한 선택기용), 또는 자동(간단한 설정). ProfileConfig를 통한 웨어하우스 연결 설정, ProjectConfig를 통한 dbt 프로젝트 경로 설정 등을 다룹니다.

지원되지 않는 Airflow 연산자와 복잡한 계보 시나리오를 위한 맞춤형 OpenLineage 추출기. 두 가지 접근 방식: 소유한 연산자에 직접 OpenLineage 메서드를 추가(권장)하거나, 수정할 수 없는 타사 연산자를 위한 맞춤형 추출기를 생성합니다. 추출기는 세 지점에서 연산자 실행을 가로챕니다: 정적 계보를 위한 실행 전, 런타임에 결정된 출력을 위한 성공 후, 그리고 선택적으로 부분 계보를 위한 실패 후. airflow.cfg 또는 환경을 통해 추출기를 등록합니다...

Apache Airflow DAG를 dag-factory YAML 설정으로 선언적으로 작성합니다. dag-factory 템플릿을 생성하거나, dag-factory용 YAML로 DAG를 구성할 때 사용합니다.

체계적인 근본 원인 분석 및 구조화된 조사 워크플로를 통한 실패한 Airflow DAG의 문제 해결. 4단계 진단 프로세스를 안내합니다: 실패 식별, 오류 세부 정보 추출, 컨텍스트 정보 수집, 실행 가능한 수정 단계 제공. 실패를 네 가지 유형(데이터, 코드, 인프라, 종속성)으로 분류하여 조사에 집중하고 적절한 수정을 제안합니다. 로그 검색, 실행 비교, 작업 정리, DAG...을 위한 즉시 사용 가능한 CLI 명령을 제공합니다.

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Airflow DAG 및 프로젝트를 배포합니다. 사용자가 코드를 배포하거나, DAG를 푸시하거나, CI/CD를 설정하거나, 프로덕션에 배포하거나, 배포 전략에 대해 질문할 때 사용하세요.

개념이나 도메인에 대한 데이터를 발견하고 탐색합니다. 사용자가 특정 주제(예: "ARR", "고객", "주문")에 어떤 데이터가 있는지 묻거나 찾고자 할 때 사용합니다.

창고 스키마 탐색을 초기화합니다. 모든 테이블 메타데이터를 포함한 .astro/warehouse.md를 생성하여 즉시 조회가 가능합니다. 프로젝트당 한 번 실행하며, 스키마가 변경될 때 새로고침합니다.

창고 스키마 탐색을 초기화합니다. 모든 테이블 메타데이터를 포함한 .astro/warehouse.md를 생성하여 즉시 조회가 가능합니다. 프로젝트당 한 번 실행하며, 스키마가 변경될 때 새로고침합니다…

Astro CLI 명령어로 로컬 Airflow 개발 환경을 관리합니다. 로컬 Airflow 컨테이너를 시작, 중지, 재시작 및 종료하며, 기본 자격 증명은 admin/admin이고 웹서버는 http://localhost:8080에서 접속 가능합니다. 모든 구성 요소 또는 특정 서비스(스케줄러, 웹서버)의 로그를 실시간 추적 옵션과 함께 확인할 수 있습니다. astro dev bash 및 astro dev run을 통해 컨테이너 셸에 접근하고 Airflow CLI 명령어를 직접 실행할 수 있습니다. 포트 충돌, 시작 실패, 패키지 오류 등 일반적인 문제를 해결합니다.

Airflow 프로젝트를 airflow-ai-sdk에서 apache-airflow-providers-common-ai 0.1.0+로 마이그레이션합니다. 사용자가 airflow-ai-sdk를…로 교체하려는 경우 이 스킬을 사용하세요.

Apache Airflow 2.x DAG를 Airflow 3.x로 업그레이드하기 위한 자동 감지 및 코드 마이그레이션. Ruff 기반 자동 수정 규칙(AIR30/AIR301/AIR302/AIR31/AIR311/AIR312)을 제공하여 임포트, 연산자, 훅 및 컨텍스트 변수의 주요 변경 사항을 감지하고 해결합니다. 작업자가 더 이상 메타데이터 DB에 직접 접근하지 않는 등 중요한 아키텍처 변경 사항을 다룹니다. Airflow Python 클라이언트 또는 REST API를 ORM 세션 쿼리 대신 사용합니다. Ruff가 자동 수정할 수 없는 문제에 대한 수동 마이그레이션 체크리스트 포함: cron...

데이터베이스 테이블에 대한 포괄적인 통계 및 품질 분석을 수행하여 구조화된 프로파일링 결과를 제공합니다. 데이터 유형에 맞춰 컬럼 수준 통계를 생성합니다: 숫자형 컬럼의 최소/최대/백분위수, 문자열의 길이 측정값, 타임스탬프의 날짜 범위. 범주형 컬럼과 고유값이 많은 컬럼을 식별하고 편향된 분포를 감지하기 위해 카디널리티 분석을 수행합니다. 완전성(NULL 비율), 고유성(중복), 신선도(업데이트 타임스탬프) 등 다섯 가지 차원에서 데이터 품질을 평가합니다.

Astro/Airflow 프로젝트를 초기화하고 구성하여 종속성, 연결 및 환경 설정을 처리합니다. astro dev init으로 DAG, 플러그인, 테스트, 설정 파일 디렉토리를 포함한 완전한 프로젝트 구조를 스캐폴딩합니다. requirements.txt와 packages.txt를 통해 Python 및 OS 수준 종속성을 관리하고, 복잡한 설정을 위한 사용자 정의 Dockerfile을 지원합니다. airflow_settings.yaml에서 연결, 변수, 풀을 선언적으로 구성하며, 환경을 위한 내보내기/가져오기 명령을 제공합니다...

Iterative test-debug-fix cycles for Airflow DAGs with comprehensive failure diagnosis. Start with af runs trigger-wait <dag_id> to run a DAG and wait for completion; no pre-flight checks needed On failure, use af runs diagnose for comprehensive failure summary and af tasks logs to inspect error details from specific tasks Supports custom configuration, timeouts, and retry attempts; handles success, failure, and timeout scenarios with clear response interpretation Quick validation available...

테이블이나 DAG를 수정하기 전에 다운스트림 데이터 계보를 추적하여 변경 영향을 평가합니다. 소스 코드 검색, 뷰 종속성, BI 도구 연결을 통해 대상 테이블 또는 DAG의 직접적인 소비자를 식별합니다. 테이블에서 대시보드, ML 모델에 이르기까지 모든 다운스트림 영향을 매핑하는 전체 종속성 트리를 구축합니다. 종속성을 중요도(심각, 높음, 중간, 낮음)별로 분류하여 이해관계자 커뮤니케이션 및 테스트의 우선순위를 지정합니다. 위험 평가, 영향을 받는 항목이 포함된 영향 보고서를 생성합니다...

업스트림 데이터 계보를 추적하여 테이블이나 컬럼을 공급하는 소스, DAG 및 종속성을 식별합니다. 테이블, 컬럼, DAG의 세 가지 대상 유형 추적을 지원하며, Airflow DAG 소스 코드와 태스크 검사를 통해 파이프라인을 생성하는 프로듀서를 찾습니다. SQL 소스(FROM 절), 외부 시스템(S3, Postgres, Salesforce, HTTP API) 및 파일 기반 소스를 처리하며, 업스트림 체인을 재귀적으로 추적합니다. DAG 코드에서 직접 매핑, 변환 및 집계를 통한 컬럼 수준 추적을 포함합니다...

창고 스키마 검색을 초기화합니다. 모든 테이블 메타데이터를 포함한 .astro/warehouse.md를 생성하여 즉시 조회가 가능합니다. 프로젝트당 한 번 실행하며, 스키마가 변경될 때 새로고침합니다.