initializing-warehouse

Persists task and asset state across retries and DAG runs using Airflow 3.3's AIP-103 key/value stores (`task_state_store`, `asset_state_store`) and the…

Ekstraktor OpenLineage kustom untuk operator Airflow yang tidak didukung dan skenario lineage yang kompleks. Dua pendekatan: tambahkan metode OpenLineage langsung ke operator yang Anda miliki (direkomendasikan), atau buat ekstraktor kustom untuk operator pihak ketiga yang tidak dapat Anda modifikasi. Ekstraktor mencegat eksekusi operator di tiga titik: sebelum eksekusi untuk lineage statis, setelah sukses untuk output yang ditentukan saat runtime, dan opsional setelah kegagalan untuk lineage parsial. Daftarkan ekstraktor melalui airflow.cfg atau lingkungan...

Analisis akar penyebab sistematis dan perbaikan untuk DAG Airflow yang gagal dengan alur investigasi terstruktur. Memandu melalui proses diagnosis empat langkah: mengidentifikasi kegagalan, mengekstrak detail kesalahan, mengumpulkan informasi kontekstual, dan memberikan langkah perbaikan yang dapat ditindaklanjuti. Mengkategorikan kegagalan ke dalam empat jenis (data, kode, infrastruktur, ketergantungan) untuk memfokuskan investigasi dan menyarankan perbaikan yang sesuai. Menyediakan perintah CLI siap pakai untuk pengambilan log, perbandingan proses, pembersihan tugas, dan DAG...

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Menyebarkan DAG dan proyek Airflow. Gunakan saat pengguna ingin menyebarkan kode, mendorong DAG, menyiapkan CI/CD, menyebarkan ke produksi, atau bertanya tentang strategi penyebaran…

Membangun, mengemas, dan menyebarkan bundel Airflow Go SDK yang telah dikompilasi agar ExecutableCoordinator dapat menjalankannya. Gunakan ketika pengguna ingin mengompilasi bundel tugas Go, meminta…

Siklus uji-debug-perbaikan iteratif untuk DAG Airflow dengan diagnosis kegagalan yang komprehensif. Mulai dengan af runs trigger-wait <dag_id> untuk menjalankan DAG dan menunggu hingga selesai; tidak diperlukan pemeriksaan awal. Jika gagal, gunakan af runs diagnose untuk ringkasan kegagalan yang komprehensif dan af tasks logs untuk memeriksa detail kesalahan dari tugas tertentu. Mendukung konfigurasi kustom, batas waktu, dan percobaan ulang; menangani skenario sukses, gagal, dan batas waktu dengan interpretasi respons yang jelas. Validasi cepat tersedia...

Lacak lineage data hilir untuk menilai dampak perubahan sebelum memodifikasi tabel atau DAG. Mengidentifikasi konsumen langsung dari tabel atau DAG target melalui pencarian kode sumber, dependensi tampilan, dan koneksi alat BI. Membangun pohon dependensi lengkap yang memetakan semua dampak hilir, dari tabel hingga dasbor hingga model ML. Mengkategorikan dependensi berdasarkan tingkat kepentingan (kritis, tinggi, sedang, rendah) untuk memprioritaskan komunikasi pemangku kepentingan dan pengujian. Menghasilkan laporan dampak dengan penilaian risiko, yang terpengaruh...