Skills Astronomer

Kueri, kelola, dan pecahkan masalah DAG, proses, tugas, serta konfigurasi sistem Apache Airflow. Mendukung 30+ perintah untuk inspeksi DAG, manajemen proses, pencatatan tugas, kueri konfigurasi, dan akses langsung REST API. Kelola beberapa instance Airflow dengan konfigurasi persisten; temukan secara otomatis deployment lokal dan Astro. Jalankan proses DAG secara sinkron (tunggu hingga selesai) atau asinkron, diagnosis kegagalan, hapus proses untuk percobaan ulang, dan akses log tugas dengan filter percobaan ulang/indeks peta. Keluaran...

Gerbang persetujuan manusia, input formulir, dan percabangan dalam DAG Airflow menggunakan operator yang dapat ditunda. Empat jenis operator: ApprovalOperator untuk keputusan setuju/tolak, HITLOperator untuk pemilihan multi-opsi dengan formulir, HITLBranchOperator untuk perutean tugas yang digerakkan manusia, dan HITLEntryOperator untuk pengumpulan data formulir. Semua operator dapat ditunda, membebaskan slot pekerja sambil menunggu respons manusia melalui tab Required Actions di UI Airflow atau REST API. Mendukung fitur opsional termasuk kustom...

Bangun plugin Airflow 3.1+ yang menyematkan aplikasi FastAPI, halaman UI kustom, komponen React, middleware, makro, dan tautan operator langsung ke dalam UI Airflow. Gunakan…

Kueri gudang data Anda untuk menjawab pertanyaan bisnis dengan pola yang di-cache dan pemetaan konsep. Mendukung pencarian pola dan caching untuk jenis pertanyaan berulang, dengan pencatatan hasil untuk meningkatkan kueri di masa mendatang. Menyertakan cache pemetaan konsep-ke-tabel dan penemuan skema tabel melalui INFORMATION_SCHEMA atau grep basis kode. Menyediakan fungsi kernel run_sql() dan run_sql_pandas() yang mengembalikan DataFrame Polars atau Pandas untuk analisis. Perintah CLI untuk mengelola cache konsep, pola, dan tabel, plus...

Anotasi tugas Airflow dengan lineage data menggunakan inlet dan outlet. Mendukung objek Dataset OpenLineage, Aset Airflow, dan Dataset Airflow untuk mendefinisikan input dan output di seluruh basis data, gudang data, dan penyimpanan cloud. Digunakan sebagai cadangan ketika operator tidak memiliki ekstraktor OpenLineage bawaan; mengikuti sistem prioritas empat tingkat di mana ekstraktor kustom dan metode OpenLineage diutamakan. Menyertakan pembantu penamaan dataset untuk Snowflake, BigQuery, S3, dan PostgreSQL guna memastikan konsistensi...

Panduan kerja untuk membuat DAG Apache Airflow dengan integrasi validasi dan pengujian. Pendekatan enam fase terstruktur: temukan lingkungan dan pola yang ada, rencanakan struktur DAG, implementasikan sesuai praktik terbaik, validasi dengan perintah CLI af, uji dengan persetujuan pengguna, dan lakukan iterasi perbaikan. Perintah CLI untuk penemuan (af config connections, af config providers, af dags list) dan validasi (af dags errors, af dags get, af dags explore) memberikan umpan balik langsung pada DAG...

Definisikan templat grup tugas Airflow yang dapat digunakan kembali dengan validasi Pydantic dan susun DAG dari YAML. Gunakan saat membuat templat blueprint, menyusun DAG dari…

Verifikasi kesegaran data dengan memeriksa timestamp tabel dan pola pembaruan terhadap skala ketidaksegaran. Mengidentifikasi kolom timestamp menggunakan pola penamaan ETL umum (_loaded_at, _updated_at, created_at, dll.) dan menanyakan nilai maksimumnya untuk menentukan usia. Mengklasifikasikan data ke dalam empat status kesegaran: Segar (< 4 jam), Agak Basi (4–24 jam), Sangat Basi (> 24 jam), atau Tidak Diketahui (tidak ada timestamp ditemukan). Menyediakan template SQL untuk memeriksa waktu pembaruan terakhir dan tren jumlah baris selama beberapa hari terakhir hingga...

Konversi proyek dbt Core menjadi DAG atau TaskGroup Airflow menggunakan Astronomer Cosmos. Mendukung tiga pola perakitan: DbtDag mandiri, DbtTaskGroup dalam DAG yang sudah ada, dan operator Cosmos individual untuk kontrol yang lebih terperinci. Pilih dari delapan mode eksekusi (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC, dan lainnya) berdasarkan kebutuhan isolasi dan kinerja. Menawarkan tiga strategi parsing (dbt_manifest, dbt_ls, dbt_ls_file, otomatis) untuk menyeimbangkan kecepatan dan kompleksitas pemilih...

Konfigurasikan Astronomer Cosmos untuk proyek dbt Fusion di Snowflake, Databricks, BigQuery, atau Redshift dengan eksekusi lokal. Membutuhkan Cosmos 1.11.0+, biner dbt Fusion yang diinstal secara terpisah di runtime Airflow, dan ExecutionMode.LOCAL dengan pemanggilan subproses. Mendukung tiga strategi penguraian: dbt_manifest (tercepat untuk proyek besar), dbt_ls (untuk pemilih kompleks), atau otomatis (pengaturan sederhana). Mencakup pengaturan ProfileConfig untuk koneksi warehouse, ProjectConfig untuk jalur proyek dbt, dan...

Ekstraktor OpenLineage kustom untuk operator Airflow yang tidak didukung dan skenario lineage yang kompleks. Dua pendekatan: tambahkan metode OpenLineage langsung ke operator yang Anda miliki (direkomendasikan), atau buat ekstraktor kustom untuk operator pihak ketiga yang tidak dapat Anda modifikasi. Ekstraktor mencegat eksekusi operator di tiga titik: sebelum eksekusi untuk lineage statis, setelah sukses untuk output yang ditentukan saat runtime, dan opsional setelah kegagalan untuk lineage parsial. Daftarkan ekstraktor melalui airflow.cfg atau lingkungan...

Buat DAG Apache Airflow secara deklaratif dengan konfigurasi YAML dag-factory. Gunakan saat membuat template dag-factory, menyusun DAG dari YAML untuk dag-factory,…

Analisis akar penyebab sistematis dan perbaikan untuk DAG Airflow yang gagal dengan alur investigasi terstruktur. Memandu melalui proses diagnosis empat langkah: mengidentifikasi kegagalan, mengekstrak detail kesalahan, mengumpulkan informasi kontekstual, dan memberikan langkah perbaikan yang dapat ditindaklanjuti. Mengkategorikan kegagalan ke dalam empat jenis (data, kode, infrastruktur, ketergantungan) untuk memfokuskan investigasi dan menyarankan perbaikan yang sesuai. Menyediakan perintah CLI siap pakai untuk pengambilan log, perbandingan proses, pembersihan tugas, dan DAG...

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Menyebarkan DAG dan proyek Airflow. Gunakan saat pengguna ingin menyebarkan kode, mendorong DAG, menyiapkan CI/CD, menyebarkan ke produksi, atau bertanya tentang strategi penyebaran…

Temukan dan jelajahi data untuk suatu konsep atau domain. Gunakan saat pengguna menanyakan data apa yang ada untuk suatu topik (misalnya, "ARR", "pelanggan", "pesanan"), ingin menemukan…

Inisialisasi penemuan skema gudang data. Menghasilkan .astro/warehouse.md dengan semua metadata tabel untuk pencarian instan. Jalankan sekali per proyek, segarkan saat skema…

Inisialisasi penemuan skema gudang. Menghasilkan .astro/warehouse.md dengan semua metadata tabel untuk pencarian instan. Jalankan sekali per proyek, segarkan saat skema…

Kelola lingkungan pengembangan Airflow lokal dengan perintah Astro CLI. Mulai, hentikan, mulai ulang, dan matikan kontainer Airflow lokal; kredensial bawaan adalah admin/admin dengan server web di http://localhost:8080. Lihat log untuk semua komponen atau layanan tertentu (penjadwal, server web) dengan opsi ikuti waktu nyata. Akses shell kontainer dan jalankan perintah CLI Airflow secara langsung melalui astro dev bash dan astro dev run. Atasi masalah umum termasuk konflik port, kegagalan startup, kesalahan paket, dan...

Memigrasikan proyek Airflow dari airflow-ai-sdk ke apache-airflow-providers-common-ai 0.1.0+. Gunakan skill ini ketika pengguna ingin mengganti airflow-ai-sdk dengan…

Deteksi otomatis dan migrasi kode untuk meningkatkan DAG Apache Airflow 2.x ke Airflow 3.x. Menyediakan aturan perbaikan otomatis berbasis Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) untuk mendeteksi dan menyelesaikan perubahan yang memutuskan kompatibilitas pada impor, operator, hook, dan variabel konteks. Mencakup perubahan arsitektur kritis: pekerja tidak lagi mengakses basis data metadata secara langsung; gunakan klien Python Airflow atau REST API sebagai pengganti kueri sesi ORM. Menyertakan daftar periksa migrasi manual untuk masalah yang tidak dapat diperbaiki otomatis oleh Ruff: cron...

Analisis statistik dan kualitas komprehensif pada tabel database dengan output profiling terstruktur. Menghasilkan statistik tingkat kolom yang disesuaikan dengan tipe data: min/maks/persentil untuk kolom numerik, metrik panjang untuk string, rentang tanggal untuk timestamp. Melakukan analisis kardinalitas untuk mengidentifikasi kolom kategorikal vs. kardinalitas tinggi serta mendeteksi distribusi yang miring. Menilai kualitas data di lima dimensi: kelengkapan (tingkat NULL), keunikan (duplikat), kesegaran (timestamp pembaruan),...

Inisialisasi dan konfigurasi proyek Astro/Airflow dengan dependensi, koneksi, dan pengaturan lingkungan. Membangun struktur proyek lengkap dengan astro dev init, termasuk direktori untuk DAG, plugin, tes, dan file konfigurasi. Mengelola dependensi tingkat Python dan OS melalui requirements.txt dan packages.txt, dengan dukungan Dockerfile kustom untuk pengaturan kompleks. Mengonfigurasi koneksi, variabel, dan pool secara deklaratif di airflow_settings.yaml, dengan perintah ekspor/impor untuk lingkungan...

Siklus uji-debug-perbaikan iteratif untuk DAG Airflow dengan diagnosis kegagalan yang komprehensif. Mulai dengan af runs trigger-wait <dag_id> untuk menjalankan DAG dan menunggu hingga selesai; tidak diperlukan pemeriksaan awal. Jika gagal, gunakan af runs diagnose untuk ringkasan kegagalan yang komprehensif dan af tasks logs untuk memeriksa detail kesalahan dari tugas tertentu. Mendukung konfigurasi kustom, batas waktu, dan percobaan ulang; menangani skenario sukses, gagal, dan batas waktu dengan interpretasi respons yang jelas. Validasi cepat tersedia...

Lacak lineage data hilir untuk menilai dampak perubahan sebelum memodifikasi tabel atau DAG. Mengidentifikasi konsumen langsung dari tabel atau DAG target melalui pencarian kode sumber, dependensi tampilan, dan koneksi alat BI. Membangun pohon dependensi lengkap yang memetakan semua dampak hilir, dari tabel hingga dasbor hingga model ML. Mengkategorikan dependensi berdasarkan tingkat kepentingan (kritis, tinggi, sedang, rendah) untuk memprioritaskan komunikasi pemangku kepentingan dan pengujian. Menghasilkan laporan dampak dengan penilaian risiko, yang terpengaruh...

Lacak lineage data hulu untuk mengidentifikasi sumber, DAG, dan dependensi yang memberi makan tabel atau kolom. Mendukung pelacakan tiga jenis target: tabel, kolom, dan DAG; menggunakan kode sumber DAG Airflow dan inspeksi tugas untuk menemukan pipeline yang memproduksi. Menangani sumber SQL (klausa FROM), sistem eksternal (S3, Postgres, Salesforce, HTTP API), dan sumber berbasis file; secara rekursif melacak rantai hulu. Mencakup pelacakan tingkat kolom melalui pemetaan langsung, transformasi, dan agregasi dalam kode DAG...

Inisialisasi penemuan skema gudang. Menghasilkan .astro/warehouse.md dengan semua metadata tabel untuk pencarian instan. Jalankan sekali per proyek, segarkan saat skema…