Astronomerスキル

Apache AirflowのDAG、実行、タスク、システム設定をクエリ、管理、トラブルシューティングします。DAG検査、実行管理、タスクログ、設定クエリ、REST API直接アクセスを含む30以上のコマンドをサポート。複数のAirflowインスタンスを永続的な設定で管理し、ローカルおよびAstroデプロイメントを自動検出。DAG実行を同期的（完了待機）または非同期的にトリガーし、障害を診断、再試行のために実行をクリア、リトライ/マップインデックスフィルタリング付きでタスクログにアクセス。出力...

人間による承認ゲート、フォーム入力、およびAirflow DAG内での分岐を、遅延可能オペレーターを使用して実現。4種類のオペレーター：承認/却下の判断を行うApprovalOperator、フォームによる複数選択肢の選択を行うHITLOperator、人間主導のタスクルーティングを行うHITLBranchOperator、フォームデータ収集を行うHITLEntryOperator。すべてのオペレーターは遅延可能であり、Airflow UIのRequired ActionsタブまたはREST APIを介して人間の応答を待つ間、ワーカースロットを解放します。カスタム...を含むオプション機能をサポート。

Airflow 3.1+のプラグインを構築し、FastAPIアプリ、カスタムUIページ、Reactコンポーネント、ミドルウェア、マクロ、オペレーターリンクをAirflow UIに直接埋め込みます。使用…

データウェアハウスにクエリを実行し、キャッシュされたパターンと概念マッピングを使用してビジネス上の質問に回答します。繰り返し発生する質問タイプのパターン検索とキャッシュをサポートし、結果を記録して将来のクエリを改善します。概念からテーブルへのマッピングキャッシュと、INFORMATION_SCHEMAまたはコードベースのgrepによるテーブルスキーマ検出を含みます。分析用にPolarsまたはPandas DataFrameを返すrun_sql()およびrun_sql_pandas()カーネル関数を提供します。概念、パターン、テーブルキャッシュを管理するCLIコマンド、さらに...

Airflowタスクにデータ系列を注釈付けし、インレットとアウトレットを使用します。OpenLineage Datasetオブジェクト、Airflow Assets、Airflow Datasetsをサポートし、データベース、データウェアハウス、クラウドストレージ間での入出力を定義します。オペレーターに組み込みのOpenLineage抽出機能がない場合のフォールバックとして使用し、カスタム抽出機能とOpenLineageメソッドが優先される4段階の優先順位システムに従います。Snowflake、BigQuery、S3、PostgreSQL向けのデータセット命名ヘルパーを含み、一貫性を確保します。

Apache Airflow DAGを作成するためのガイド付きワークフローで、検証とテストの統合を備えています。構造化された6フェーズのアプローチ：環境と既存のパターンを発見し、DAG構造を計画し、ベストプラクティスに従って実装し、af CLIコマンドで検証し、ユーザーの同意を得てテストし、修正を繰り返します。発見用のCLIコマンド（af config connections、af config providers、af dags list）と検証用のCLIコマンド（af dags errors、af dags get、af dags explore）は、DAGに関する即時フィードバックを提供します。

Pydanticバリデーションを使用して再利用可能なAirflowタスクグループテンプレートを定義し、YAMLからDAGを構成します。ブループリントテンプレートの作成時や、DAGの構成時に使用します。

テーブルのタイムスタンプと更新パターンを陳腐化スケールに照らして確認し、データの鮮度を検証します。一般的なETL命名パターン（_loaded_at、_updated_at、created_atなど）を使用してタイムスタンプカラムを特定し、その最大値をクエリして経過時間を判定します。データを4つの鮮度ステータスに分類します：Fresh（4時間未満）、Stale（4～24時間）、Very Stale（24時間超）、またはUnknown（タイムスタンプなし）。最近の日数における最終更新時刻と行数トレンドを確認するためのSQLテンプレートを提供します...

Astronomer Cosmosを使用して、dbt CoreプロジェクトをAirflow DAGまたはTaskGroupに変換します。3つのアセンブリパターン（スタンドアロンのDbtDag、既存のDAG内のDbtTaskGroup、細かい制御が可能な個別のCosmosオペレーター）をサポートします。分離とパフォーマンスのニーズに基づいて、8つの実行モード（WATCHER、LOCAL、VIRTUALENV、KUBERNETES、AIRFLOW_ASYNCなど）から選択できます。速度とセレクターの複雑さのバランスを取るために、3つの解析戦略（dbt_manifest、dbt_ls、dbt_ls_file、automatic）を提供します...

Astronomer CosmosをSnowflake、Databricks、BigQuery、Redshift上のdbt Fusionプロジェクト向けにローカル実行で設定します。Cosmos 1.11.0以上、Airflowランタイムに別途インストールされたdbt Fusionバイナリ、およびサブプロセス呼び出しによるExecutionMode.LOCALが必要です。3つの解析戦略をサポート：dbt_manifest（大規模プロジェクトに最速）、dbt_ls（複雑なセレクター向け）、またはautomatic（シンプルな設定）。ウェアハウス接続用のProfileConfig、dbtプロジェクトパス用のProjectConfigの設定などをカバーします。

カスタムOpenLineage抽出器。未対応のAirflowオペレーターや複雑な系列シナリオ向け。2つのアプローチ：所有するオペレーターに直接OpenLineageメソッドを追加する方法（推奨）、または変更できないサードパーティ製オペレーター用にカスタム抽出器を作成する方法。抽出器は3つの時点でオペレーターの実行をインターセプトします：静的な系列のための実行前、実行時に決定される出力のための成功後、およびオプションで部分的な系列のための失敗後。抽出器はairflow.cfgまたは環境変数経由で登録...

Apache Airflow DAGをdag-factoryのYAML設定で宣言的に作成します。dag-factoryテンプレートの作成時、dag-factory用のYAMLからDAGを構成する際などに使用します。

失敗したAirflow DAGに対する体系的な根本原因分析と修正、構造化された調査ワークフローを提供。4段階の診断プロセス（障害の特定、エラー詳細の抽出、コンテキスト情報の収集、実行可能な修正手順の提示）をガイド。障害を4つのタイプ（データ、コード、インフラストラクチャ、依存関係）に分類し、調査を集中させ適切な修正を提案。ログ取得、実行比較、タスククリア、DAG...のための即時使用可能なCLIコマンドを提供。

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

AirflowのDAGやプロジェクトをデプロイします。ユーザーがコードのデプロイ、DAGのプッシュ、CI/CDの設定、本番環境へのデプロイ、またはデプロイ戦略について質問した場合に使用します…

ある概念やドメインに関するデータを発見・探索します。ユーザーがトピック（例：「ARR」「顧客」「注文」）に関するデータの存在を尋ねたり、見つけたい場合に使用します。

倉庫スキーマのディスカバリを初期化します。すべてのテーブルメタデータを含む.astro/warehouse.mdを生成し、即時ルックアップを可能にします。プロジェクトごとに1回実行し、スキーマが変更された際に更新します…

倉庫スキーマの初期検出を実行します。すべてのテーブルメタデータを含む.astro/warehouse.mdを生成し、即時参照を可能にします。プロジェクトごとに1回実行し、スキーマが変更された際に更新します…

Astro CLIコマンドを使用してローカルのAirflow開発環境を管理します。ローカルのAirflowコンテナの起動、停止、再起動、強制終了を行います。デフォルトの認証情報はadmin/adminで、ウェブサーバーはhttp://localhost:8080でアクセスできます。全コンポーネントまたは特定のサービス（スケジューラー、ウェブサーバー）のログをリアルタイムフォローオプション付きで表示します。astro dev bashおよびastro dev runを使用してコンテナシェルにアクセスし、Airflow CLIコマンドを直接実行します。ポート競合、起動失敗、パッケージエラーなどの一般的な問題をトラブルシューティングします。

Airflowプロジェクトをairflow-ai-sdkからapache-airflow-providers-common-ai 0.1.0+に移行します。ユーザーがairflow-ai-sdkを置き換えたい場合にこのスキルを使用してください…

Apache Airflow 2.xのDAGをAirflow 3.xにアップグレードするための自動検出とコード移行。Ruffベースの自動修正ルール（AIR30/AIR301/AIR302/AIR31/AIR311/AIR312）を提供し、インポート、オペレーター、フック、コンテキスト変数における破壊的変更を検出・解決します。重要なアーキテクチャの変更に対応：ワーカーはメタデータDBに直接アクセスしなくなり、ORMセッションクエリの代わりにAirflow PythonクライアントまたはREST APIを使用します。Ruffが自動修正できない問題に対する手動移行チェックリストを含む：cron...

データベーステーブルの包括的な統計・品質分析を行い、構造化されたプロファイリング結果を出力します。データ型に応じたカラムレベルの統計情報（数値カラムの最小値/最大値/パーセンタイル、文字列の長さメトリクス、タイムスタンプの日付範囲）を生成。カーディナリティ分析により、カテゴリカルカラムと高カーディナリティカラムを識別し、偏った分布を検出。5つの次元でデータ品質を評価：完全性（NULL率）、一意性（重複）、鮮度（更新タイムスタンプ）、...

Astro/Airflowプロジェクトの初期化と設定を行い、依存関係、接続、環境設定を整えます。astro dev init を使用して、DAG、プラグイン、テスト、設定ファイル用のディレクトリを含む完全なプロジェクト構造をスキャフォールディングします。requirements.txt と packages.txt を介してPythonおよびOSレベルの依存関係を管理し、複雑なセットアップにはカスタムDockerfileをサポートします。airflow_settings.yaml で接続、変数、プールを宣言的に設定し、環境のエクスポート/インポートコマンドを提供します...

Airflow DAGに対する反復的なテスト・デバッグ・修正サイクルと、包括的な障害診断を提供します。af runs trigger-wait <dag_id> でDAGを実行し完了を待機します。事前チェックは不要です。失敗時はaf runs diagnoseで包括的な障害サマリーを取得し、af tasks logsで特定タスクのエラー詳細を確認できます。カスタム設定、タイムアウト、リトライ試行に対応。成功、失敗、タイムアウトの各シナリオを明確な応答解釈で処理します。迅速な検証が可能です...

テーブルやDAGを変更する前に、下流のデータ系列を追跡して変更影響を評価します。ソースコード検索、ビュー依存関係、BIツール接続を通じて、対象テーブルまたはDAGの直接的な消費者を特定します。テーブルからダッシュボード、MLモデルに至るまで、すべての下流影響をマッピングする完全な依存関係ツリーを構築します。依存関係を重要度（クリティカル、高、中、低）で分類し、ステークホルダーへの連絡とテストの優先順位付けを行います。リスク評価と影響を受けるものを含む影響レポートを生成します。

上流のデータ系列をトレースし、テーブルやカラムに供給されるソース、DAG、依存関係を特定します。テーブル、カラム、DAGの3つのターゲットタイプのトレースをサポート。Airflow DAGのソースコードとタスク検査を使用して生成パイプラインを特定。SQLソース（FROM句）、外部システム（S3、Postgres、Salesforce、HTTP API）、ファイルベースのソースを処理し、上流チェーンを再帰的にトレース。DAGコード内の直接マッピング、変換、集計を通じたカラムレベルのトレースを含む...

倉庫スキーマの探索を初期化します。すべてのテーブルメタデータを含む.astro/warehouse.mdを生成し、即時参照を可能にします。プロジェクトごとに1回実行し、スキーマが変更された際に更新してください。