Astronomer Skills

Apache Airflow DAG'larını, çalıştırmalarını, görevlerini ve sistem yapılandırmasını sorgulayın, yönetin ve sorun giderin. DAG inceleme, çalıştırma yönetimi, görev günlüğü, yapılandırma sorguları ve doğrudan REST API erişimi dahil olmak üzere 30'dan fazla komutu destekler. Kalıcı yapılandırma ile birden çok Airflow örneğini yönetin; yerel ve Astro dağıtımlarını otomatik olarak keşfedin. DAG çalıştırmalarını eşzamanlı (tamamlanmayı bekleme) veya eşzamansız olarak tetikleyin, hataları teşhis edin, yeniden deneme için çalıştırm

İnsan onay kapıları, form girdileri ve ertelenebilir operatörler kullanarak Airflow DAG'lerinde dallanma. Dört operatör türü: onay/red kararları için ApprovalOperator, formlarla çok seçenekli seçim için HITLOperator, insan odaklı görev yönlendirmesi için HITLBranchOperator ve form verisi toplama için HITLEntryOperator. Tüm operatörler ertelenebilir olup, Airflow UI'nin Gerekli İşlemler sekmesi veya REST API aracılığıyla insan yanıtı beklenirken işçi slotlarını serbest bırakır. Özel... dahil isteğe bağlı özellikleri destekler.

Airflow 3.1+ eklentileri oluşturun; FastAPI uygulamaları, özel UI sayfaları, React bileşenleri, middleware, makrolar ve operatör bağlantılarını doğrudan Airflow arayüzüne yerleştirin. Kullanın…

Veri ambarınıza sorgu yaparak, önbelleğe alınmış desenler ve kavram eşlemeleriyle iş sorularını yanıtlayın. Tekrarlanan soru türleri için desen arama ve önbelleğe alma desteği sunar, gelecekteki sorguları iyileştirmek için sonuç kaydı yapar. Kavram-tablo eşleme önbelleği ve INFORMATION_SCHEMA veya kod tabanı grep aracılığıyla tablo şeması keşfi içerir. Analiz için Polars veya Pandas DataFrame'leri döndüren run_sql() ve run_sql_pandas() çekirdek fonksiyonlarını sağlar. Kavram, desen ve tablo önbelleklerini yönetmek için CLI komutları ve ayrıca...

Airflow görevlerini, giriş ve çıkış noktalarını kullanarak veri soy ağacı ile açıklayın. Veritabanları, veri ambarları ve bulut depolama arasında girdi ve çıktıları tanımlamak için OpenLineage Dataset nesnelerini, Airflow Varlıklarını ve Airflow Veri Kümelerini destekler. Operatörlerde yerleşik OpenLineage çıkarıcılar bulunmadığında yedek olarak kullanın; özel çıkarıcıların ve OpenLineage yöntemlerinin öncelikli olduğu dört katmanlı bir öncelik sistemini izler. Snowflake, BigQuery, S3 ve PostgreSQL için tutarlı veri kümesi adlandırma yardımcıları içerir...

Apache Airflow DAG'ları oluşturmak için doğrulama ve test entegrasyonu içeren rehberli iş akışı. Yapılandırılmış altı aşamalı yaklaşım: ortamı ve mevcut kalıpları keşfetme, DAG yapısını planlama, en iyi uygulamaları takip ederek uygulama, af CLI komutlarıyla doğrulama, kullanıcı onayıyla test etme ve düzeltmeler üzerinde yineleme. Keşif (af config connections, af config providers, af dags list) ve doğrulama (af dags errors, af dags get, af dags explore) için CLI komutları, DAG hakkında anında geri bildirim sağlar...

Pydantic doğrulaması ile yeniden kullanılabilir Airflow görev grubu şablonları tanımlayın ve YAML’dan DAG’ler oluşturun. Blueprint şablonları oluştururken, YAML’dan DAG’ler oluştururken kullanın…

Tablo zaman damgalarını ve güncelleme desenlerini bir bayatlık ölçeğine göre kontrol ederek veri tazeliğini doğrular. Yaygın ETL adlandırma desenlerini (_loaded_at, _updated_at, created_at vb.) kullanarak zaman damgası sütunlarını tanımlar ve yaşı belirlemek için maksimum değerlerini sorgular. Verileri dört tazelik durumuna ayırır: Taze (< 4 saat), Bayat (4–24 saat), Çok Bayat (> 24 saat) veya Bilinmiyor (zaman damgası bulunamadı). Son güncelleme zamanını ve son günlerdeki satır sayısı eğilimlerini kontrol etmek için SQL şablonları sağlar...

dbt Core projelerini Astronomer Cosmos kullanarak Airflow DAG'lerine veya TaskGroup'larına dönüştürür. Üç montaj desenini destekler: bağımsız DbtDag, mevcut DAG'ler içinde DbtTaskGroup ve ince ayar kontrol için bireysel Cosmos operatörleri. İzolasyon ve performans ihtiyaçlarına göre sekiz yürütme modu (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC ve diğerleri) arasından seçim yapın. Hız ve seçici karmaşıklığını dengelemek için üç ayrıştırma stratejisi (dbt_manifest, dbt_ls, dbt_ls_file, otomatik) sunar...

Astronomer Cosmos'u Snowflake, Databricks, BigQuery veya Redshift üzerindeki dbt Fusion projeleri için yerel yürütme ile yapılandırın. Cosmos 1.11.0+ gerektirir, dbt Fusion ikili dosyası Airflow çalışma zamanında ayrıca kurulmalıdır ve alt süreç çağrısı ile ExecutionMode.LOCAL kullanır. Üç ayrıştırma stratejisini destekler: dbt_manifest (büyük projeler için en hızlı), dbt_ls (karmaşık seçiciler için) veya otomatik (basit kurulumlar). Depo bağlantıları için ProfileConfig kurulumunu, dbt proje yolları için ProjectConfig'i ve... kapsar.

Özel OpenLineage çıkarıcıları, desteklenmeyen Airflow operatörleri ve karmaşık lineage senaryoları için. İki yaklaşım: sahip olduğunuz operatörlere doğrudan OpenLineage yöntemleri eklemek (önerilen) veya değiştiremeyeceğiniz üçüncü taraf operatörler için özel çıkarıcılar oluşturmak. Çıkarıcılar, operatör yürütmesini üç noktada keser: statik lineage için yürütmeden önce, çalışma zamanında belirlenen çıktılar için başarıdan sonra ve isteğe bağlı olarak kısmi lineage için başarısızlıktan sonra. Çıkarıcıları airflow.cfg veya ortam değişkenleri aracı

Apache Airflow DAG'lerini dag-factory YAML yapılandırmalarıyla bildirimsel olarak yazın. dag-factory şablonları oluştururken, dag-factory için YAML'dan DAG'ler oluştururken kullanın,…

Sistematik kök neden analizi ve başarısız Airflow DAG'leri için yapılandırılmış soruşturma iş akışlarıyla düzeltme. Dört adımlı teşhis sürecinde rehberlik eder: hatayı belirleme, hata ayrıntılarını çıkarma, bağlamsal bilgi toplama ve uygulanabilir düzeltme adımları sunma. Hataları dört türe (veri, kod, altyapı, bağımlılık) kategorize ederek soruşturmayı odaklar ve uygun düzeltmeler önerir. Günlük alma, çalıştırma karşılaştırması, görev temizleme ve DAG... için kullanıma hazır CLI komutları sağlar.

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Airflow DAG'larını ve projelerini dağıtın. Kullanıcı kod dağıtmak, DAG'ları göndermek, CI/CD kurmak, üretime dağıtmak veya dağıtım stratejileri hakkında soru sorduğunda kullanın…

Bir konsept veya alan için veri keşfedin ve inceleyin. Kullanıcı bir konu hakkında hangi verilerin mevcut olduğunu sorduğunda (örneğin, "ARR", "müşteriler", "siparişler") veya bulmak istediğinde kullanın.

Depo şeması keşfini başlatır. Anlık aramalar için tüm tablo meta verilerini içeren .astro/warehouse.md dosyasını oluşturur. Proje başına bir kez çalıştırın, şema değiştiğinde yenileyin…

Depo şeması keşfini başlatır. Anlık aramalar için tüm tablo meta verilerini içeren .astro/warehouse.md dosyasını oluşturur. Proje başına bir kez çalıştırın, şema değiştiğinde yenileyin…

Astro CLI komutlarıyla yerel Airflow geliştirme ortamını yönetin. Yerel Airflow konteynerlerini başlatın, durdurun, yeniden başlatın ve kapatın; varsayılan kimlik bilgileri admin/admin olup web sunucusu http://localhost:8080 adresindedir. Tüm bileşenlerin veya belirli hizmetlerin (zamanlayıcı, web sunucusu) günlüklerini gerçek zamanlı takip seçeneğiyle görüntüleyin. Konteyner kabuklarına erişin ve astro dev bash ile astro dev run komutlarını kullanarak Airflow CLI komutlarını doğrudan çalıştırın. Port çakışmaları, başlatma hataları, paket sorunları ve... dahil olmak üzere yaygın sorun

Airflow projelerini airflow-ai-sdk'den apache-airflow-providers-common-ai 0.1.0+ sürümüne geçirir. Kullanıcının airflow-ai-sdk'yi şununla değiştirmek istediği durumlarda bu beceriyi kullanın…

We need to translate the given text from English to Turkish, preserving the specified name "migrating-airflow-2-to-3" only if it appears in the source text. The source text does not contain that name; it's only in the instruction. So we don't include it. We must preserve product names (Apache Airflow, Airflow 2.x, Airflow 3.x, Ruff, AIR30/AIR301 etc., Airflow Python client, REST API, ORM), protocol names, URLs (none), numbers, technical terms. Do not add any extra commentary, labels, etc. Just translate the text. The text: "Automated detection and code migration for upgrading Apache Airflow 2.x DAGs to Airflow 3.x. Provides Ruff-based auto-fix rules (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) to detect and resolve breaking changes in imports, operators, hooks, and context variables Covers critical architecture shifts: workers no longer access metadata DB directly; use the Airflow Python client

Veri tabanı tablolarının yapılandırılmış profil çıktısıyla kapsamlı istatistiksel ve kalite analizi. Veri türüne göre uyarlanmış sütun düzeyinde istatistikler üretir: sayısal sütunlar için min/maks/yüzdelikler, dizeler için uzunluk metrikleri, zaman damgaları için tarih aralıkları. Kategorik ve yüksek kardinaliteli sütunları belirlemek ve çarpık dağılımları tespit etmek için kardinalite analizi gerçekleştirir. Veri kalitesini beş boyutta değerlendirir: tamlık (NULL oranları), benzersizlik (yinelenenler), güncellik (güncelleme zaman damgaları),...

Astro/Airflow projelerini bağımlılıklar, bağlantılar ve ortam kurulumu ile başlatıp yapılandırır. astro dev init ile DAG'ler, eklentiler, testler ve yapılandırma dosyaları için dizinler içeren eksiksiz proje yapısını oluşturur. requirements.txt ve packages.txt aracılığıyla Python ve işletim sistemi düzeyindeki bağımlılıkları yönetir, karmaşık kurulumlar için özel Dockerfile desteği sunar. Bağlantıları, değişkenleri ve havuzları airflow_settings.yaml içinde bildirimsel olarak yapılandırır, ortam için dışa/içe aktarma komutlarıyla...

Airflow DAG'leri için kapsamlı hata teşhisi ile yinelemeli test-hata ayıklama-düzeltme döngüleri. Bir DAG'ı çalıştırmak ve tamamlanmasını beklemek için af runs trigger-wait <dag_id> ile başlayın; ön kontrol gerekmez. Hata durumunda, kapsamlı hata özeti için af runs diagnose ve belirli görevlerden hata detaylarını incelemek için af tasks logs kullanın. Özel yapılandırma, zaman aşımları ve yeniden deneme girişimlerini destekler; başarı, hata ve zaman aşımı senaryolarını net yanıt yorumlama ile ele alır. Hızlı doğrulama mevcuttur...

Tablo veya DAG'leri değiştirmeden önce aşağı yönlü veri soyunu izleyerek değişiklik etkisini değerlendirir. Kaynak kod araması, görünüm bağımlılıkları ve BI araç bağlantıları aracılığıyla hedef tablo veya DAG'in doğrudan tüketicilerini belirler. Tablolardan panolara ve ML modellerine kadar tüm aşağı yönlü etkileri haritalayan tam bir bağımlılık ağacı oluşturur. Bağımlılıkları kritiklik düzeyine (kritik, yüksek, orta, düşük) göre kategorize ederek paydaş iletişimi ve test önceliklendirmesini sağlar. Risk değerlendirmesi ve etkilenen... içeren

Bir tabloyu veya sütunu besleyen kaynakları, DAG'leri ve bağımlılıkları belirlemek için upstream veri soyunu izler. Üç hedef türünün izlenmesini destekler: tablolar, sütunlar ve DAG'ler; üreten pipeline'ları bulmak için Airflow DAG kaynak kodu ve görev incelemesi kullanır. SQL kaynaklarını (FROM cümleleri), harici sistemleri (S3, Postgres, Salesforce, HTTP API'leri) ve dosya tabanlı kaynakları işler; upstream zincirlerini yinelemeli olarak izler. DAG kodundaki doğrudan eşlemeler, dönüşümler ve toplamalar aracılığıyla sütun düzeyinde izleme içerir...

Depo şeması keşfini başlatır. Anlık aramalar için tüm tablo meta verilerini içeren .astro/warehouse.md dosyasını oluşturur. Proje başına bir kez çalıştırın, şema değiştiğinde yenileyin…