Astronomer Skills

Apache Airflow-DAGs, Ausführungen, Aufgaben und Systemkonfiguration abfragen, verwalten und Fehler beheben. Unterstützt über 30 Befehle für DAG-Inspektion, Ausführungsverwaltung, Aufgabenprotokollierung, Konfigurationsabfragen und direkten REST-API-Zugriff. Mehrere Airflow-Instanzen mit persistenter Konfiguration verwalten; lokale und Astro-Bereitstellungen automatisch erkennen. DAG-Ausführungen synchron (warten auf Abschluss) oder asynchron auslösen, Fehler diagnostizieren, Ausführungen für Wiederholungen löschen und Aufgabenprotokolle mit Wiederholungs-/Kartenindex-Filterung abrufen. Ausgabe...

Menschliche Genehmigungstore, Formulareingaben und Verzweigungen in Airflow-DAGs unter Verwendung von aufschiebbaren Operatoren. Vier Operatortypen: ApprovalOperator für Genehmigen/Ablehnen-Entscheidungen, HITLOperator für Mehrfachauswahl mit Formularen, HITLBranchOperator für menschlich gesteuerte Aufgabenweiterleitung und HITLEntryOperator für Formulardatenerfassung. Alle Operatoren sind aufschiebbar und geben Worker-Slots frei, während sie auf menschliche Antworten über den Bereich "Erforderliche Aktionen" der Airflow-Benutzeroberfläche oder die REST-API warten. Unterstützt optionale Funktionen einschließlich benutzerdefinierter...

Erstellen Sie Airflow 3.1+-Plugins, die FastAPI-Apps, benutzerdefinierte UI-Seiten, React-Komponenten, Middleware, Makros und Operator-Links direkt in die Airflow-Oberfläche einbetten. Verwenden Sie…

Fragen Sie Ihr Data Warehouse, um Geschäftsfragen mit zwischengespeicherten Mustern und Konzeptzuordnungen zu beantworten. Unterstützt Mustersuche und Zwischenspeicherung für wiederkehrende Fragetypen, mit Aufzeichnung der Ergebnisse zur Verbesserung zukünftiger Abfragen. Enthält eine Konzept-zu-Tabelle-Zuordnungs-Cache und Tabellenschema-Erkennung über INFORMATION_SCHEMA oder Codebase-Grep. Bietet run_sql()- und run_sql_pandas()-Kernel-Funktionen, die Polars- oder Pandas-DataFrames für Analysen zurückgeben. CLI-Befehle zur Verwaltung von Konzept-, Muster- und Tabellen-Caches, plus...

Annotieren von Airflow-Tasks mit Data Lineage mithilfe von Inlets und Outlets. Unterstützt OpenLineage-Dataset-Objekte, Airflow-Assets und Airflow-Datasets zur Definition von Ein- und Ausgaben über Datenbanken, Data Warehouses und Cloud-Speicher hinweg. Verwenden Sie es als Fallback, wenn Operatoren keine integrierten OpenLineage-Extraktoren besitzen; folgt einem vierstufigen Prioritätssystem, bei dem benutzerdefinierte Extraktoren und OpenLineage-Methoden Vorrang haben. Enthält Dataset-Namenshilfen für Snowflake, BigQuery, S3 und PostgreSQL, um eine konsistente...

Geführter Workflow zur Erstellung von Apache Airflow DAGs mit Validierungs- und Testintegration. Strukturierter Sechs-Phasen-Ansatz: Umgebung und bestehende Muster erkunden, DAG-Struktur planen, Implementierung nach Best Practices, Validierung mit af CLI-Befehlen, Testen mit Benutzereinwilligung und Iteration über Fehlerbehebungen. CLI-Befehle zur Erkundung (af config connections, af config providers, af dags list) und Validierung (af dags errors, af dags get, af dags explore) bieten sofortiges Feedback zu DAG...

Wiederverwendbare Airflow-Task-Gruppen-Vorlagen mit Pydantic-Validierung definieren und DAGs aus YAML zusammenstellen. Verwenden beim Erstellen von Blueprint-Vorlagen, Zusammenstellen von DAGs aus…

Überprüft die Datenaktualität durch Abgleich von Tabellenzeitstempeln und Aktualisierungsmustern mit einer Veraltungsskala. Identifiziert Zeitstempelspalten anhand gängiger ETL-Benennungsmuster (_loaded_at, _updated_at, created_at usw.) und fragt deren Maximalwerte ab, um das Alter zu bestimmen. Klassifiziert Daten in vier Aktualitätsstatus: Frisch (< 4 Stunden), Veraltet (4–24 Stunden), Stark veraltet (> 24 Stunden) oder Unbekannt (kein Zeitstempel gefunden). Stellt SQL-Vorlagen zur Überprüfung der letzten Aktualisierungszeit und der Zeilenanzahltrends der letzten Tage bereit, um...

Konvertieren Sie dbt Core-Projekte mit Astronomer Cosmos in Airflow-DAGs oder TaskGroups. Unterstützt drei Assembly-Muster: eigenständigen DbtDag, DbtTaskGroup innerhalb bestehender DAGs und einzelne Cosmos-Operatoren für feingranulare Steuerung. Wählen Sie aus acht Ausführungsmodi (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC und andere) basierend auf Isolations- und Leistungsanforderungen. Bietet drei Parsing-Strategien (dbt_manifest, dbt_ls, dbt_ls_file, automatisch), um Geschwindigkeit und Selektorkomplexität auszugleichen...

Konfigurieren Sie Astronomer Cosmos für dbt Fusion-Projekte auf Snowflake, Databricks, BigQuery oder Redshift mit lokaler Ausführung. Erfordert Cosmos 1.11.0+, separat installierte dbt Fusion-Binärdatei in der Airflow-Laufzeitumgebung und ExecutionMode.LOCAL mit Subprocess-Aufruf. Unterstützt drei Parsing-Strategien: dbt_manifest (am schnellsten für große Projekte), dbt_ls (für komplexe Selektoren) oder automatic (einfache Setups). Deckt ProfileConfig-Setup für Warehouse-Verbindungen, ProjectConfig für dbt-Projektpfade und... ab.

Benutzerdefinierte OpenLineage-Extraktoren für nicht unterstützte Airflow-Operatoren und komplexe Lineage-Szenarien. Zwei Ansätze: Fügen Sie OpenLineage-Methoden direkt zu Operatoren hinzu, die Sie besitzen (empfohlen), oder erstellen Sie benutzerdefinierte Extraktoren für Drittanbieter-Operatoren, die Sie nicht ändern können. Extraktoren greifen an drei Punkten in die Operatorausführung ein: vor der Ausführung für statisches Lineage, nach Erfolg für zur Laufzeit bestimmte Ausgaben und optional nach Fehlschlag für partielles Lineage. Registrieren Sie Extraktoren über airflow.cfg oder Umgebungsvariablen...

Author Apache Airflow DAGs deklarativ mit dag-factory YAML-Konfigurationen. Verwenden beim Erstellen von dag-factory-Vorlagen, Zusammenstellen von DAGs aus YAML für dag-factory,…

Systematische Ursachenanalyse und Behebung fehlgeschlagener Airflow-DAGs mit strukturierten Untersuchungsabläufen. Führt durch einen vierstufigen Diagnoseprozess: Fehler identifizieren, Fehlerdetails extrahieren, Kontextinformationen sammeln und umsetzbare Abhilfeschritte liefern. Kategorisiert Fehler in vier Typen (Daten, Code, Infrastruktur, Abhängigkeiten), um die Untersuchung zu fokussieren und geeignete Korrekturen vorzuschlagen. Stellt einsatzbereite CLI-Befehle für Logabruf, Ausführungsvergleich, Task-Löschung und DAG... bereit.

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Airflow-DAGs und -Projekte bereitstellen. Verwenden, wenn der Benutzer Code bereitstellen, DAGs pushen, CI/CD einrichten, in die Produktion bereitstellen oder nach Bereitstellungsstrategien fragt…

Daten für ein Konzept oder eine Domäne entdecken und erkunden. Verwenden, wenn der Benutzer fragt, welche Daten zu einem Thema existieren (z. B. „ARR“, „Kunden“, „Bestellungen“), finden möchte…

Initialisiere die Warehouse-Schema-Erkennung. Erzeugt .astro/warehouse.md mit allen Tabellenmetadaten für sofortige Abfragen. Einmal pro Projekt ausführen, bei Schemaänderungen aktualisieren…

Initialisierung der Warehouse-Schemaerkennung. Erzeugt .astro/warehouse.md mit allen Tabellenmetadaten für sofortige Abfragen. Einmal pro Projekt ausführen, bei Schemaänderungen aktualisieren…

Verwalte die lokale Airflow-Entwicklungsumgebung mit Astro CLI-Befehlen. Starte, stoppe, starte neu und beende lokale Airflow-Container; Standard-Anmeldedaten sind admin/admin mit Webserver unter http://localhost:8080. Zeige Logs für alle Komponenten oder spezifische Dienste (Scheduler, Webserver) mit Echtzeit-Verfolgungsoption. Greife auf Container-Shells zu und führe Airflow CLI-Befehle direkt über astro dev bash und astro dev run aus. Behebe häufige Probleme wie Portkonflikte, Startfehler, Paketfehler und...

Migriert Airflow-Projekte von airflow-ai-sdk zu apache-airflow-providers-common-ai 0.1.0+. Verwenden Sie diese Fähigkeit, wenn der Benutzer airflow-ai-sdk durch… ersetzen möchte.

Automatisierte Erkennung und Code-Migration für das Upgrade von Apache Airflow 2.x DAGs auf Airflow 3.x. Bietet Ruff-basierte Auto-Fix-Regeln (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) zur Erkennung und Behebung von Breaking Changes bei Imports, Operatoren, Hooks und Kontextvariablen. Deckt kritische Architekturänderungen ab: Worker greifen nicht mehr direkt auf die Metadaten-DB zu; stattdessen den Airflow Python Client oder die REST API anstelle von ORM-Sitzungsabfragen verwenden. Enthält eine manuelle Migrations-Checkliste für Probleme, die Ruff nicht automatisch beheben kann: Cron...

Umfassende statistische und qualitative Analyse von Datenbanktabellen mit strukturiertem Profiling-Output. Erzeugt spaltenbezogene Statistiken, die auf den Datentyp zugeschnitten sind: Min/Max/Perzentile für numerische Spalten, Längenmetriken für Zeichenketten, Datumsbereiche für Zeitstempel. Führt Kardinalitätsanalysen durch, um kategoriale Spalten von Spalten mit hoher Kardinalität zu unterscheiden und schiefe Verteilungen zu erkennen. Bewertet die Datenqualität in fünf Dimensionen: Vollständigkeit (NULL-Raten), Eindeutigkeit (Duplikate), Aktualität (Update-Zeitstempel),...

Initialisiere und konfiguriere Astro/Airflow-Projekte mit Abhängigkeiten, Verbindungen und Umgebungseinrichtung. Erstellt eine vollständige Projektstruktur mit astro dev init , einschließlich Verzeichnissen für DAGs, Plugins, Tests und Konfigurationsdateien. Verwalte Python- und OS-Abhängigkeiten über requirements.txt und packages.txt , mit Unterstützung für benutzerdefinierte Dockerfiles bei komplexen Setups. Konfiguriere Verbindungen, Variablen und Pools deklarativ in airflow_settings.yaml , mit Export-/Import-Befehlen für die Umgebung...

Iterative Test-Debug-Fix-Zyklen für Airflow-DAGs mit umfassender Fehlerdiagnose. Starten Sie mit af runs trigger-wait <dag_id>, um einen DAG auszuführen und auf dessen Abschluss zu warten; keine Pre-Flight-Checks erforderlich. Bei Fehlern verwenden Sie af runs diagnose für eine umfassende Fehlerzusammenfassung und af tasks logs, um Fehlerdetails von bestimmten Tasks zu überprüfen. Unterstützt benutzerdefinierte Konfiguration, Timeouts und Wiederholungsversuche; behandelt Erfolgs-, Fehler- und Timeout-Szenarien mit klarer Antwortinterpretation. Schnelle Validierung verfügbar...

Verfolgen Sie die nachgelagerte Datenherkunft, um die Auswirkungen von Änderungen vor der Modifikation von Tabellen oder DAGs zu bewerten. Identifiziert direkte Konsumenten einer Ziel-Tabelle oder eines Ziel-DAGs durch Quellcode-Suche, View-Abhängigkeiten und BI-Tool-Verbindungen. Erstellt einen vollständigen Abhängigkeitsbaum, der alle nachgelagerten Auswirkungen abbildet – von Tabellen über Dashboards bis hin zu ML-Modellen. Kategorisiert Abhängigkeiten nach Kritikalität (kritisch, hoch, mittel, niedrig), um die Kommunikation mit Stakeholdern und Tests zu priorisieren. Generiert einen Auswirkungsbericht mit Risikobewertung, betroffenen...

Verfolgen Sie die Upstream-Datenherkunft, um Quellen, DAGs und Abhängigkeiten zu identifizieren, die eine Tabelle oder Spalte speisen. Unterstützt die Verfolgung von drei Zieltypen: Tabellen, Spalten und DAGs; nutzt Airflow-DAG-Quellcode und Aufgabeninspektion, um erzeugende Pipelines zu finden. Behandelt SQL-Quellen (FROM-Klauseln), externe Systeme (S3, Postgres, Salesforce, HTTP-APIs) und dateibasierte Quellen; verfolgt rekursiv Upstream-Ketten. Enthält Spaltenebenen-Verfolgung durch direkte Zuordnungen, Transformationen und Aggregationen im DAG-Code...

Initialisiere die Warehouse-Schema-Erkennung. Erzeugt .astro/warehouse.md mit allen Tabellenmetadaten für sofortige Abfragen. Einmal pro Projekt ausführen, bei Schemaänderungen aktualisieren…