discovering-data

查詢、管理及疑難排解 Apache Airflow 的 DAG、執行、任務與系統設定。支援 30 多種指令，涵蓋 DAG 檢查、執行管理、任務日誌、設定查詢及直接 REST API 存取。可管理多個 Airflow 實例並保留設定；自動探索本機與 Astro 部署。同步（等待完成）或非同步觸發 DAG 執行、診斷失敗、清除執行以重試，並透過重試/映射索引篩選存取任務日誌。輸出...

使用可延遲運算子，在 Airflow DAG 中實現人工審批關卡、表單輸入與分支流程。包含四種運算子類型：ApprovalOperator 用於核准/拒絕決策、HITLOperator 用於多選項表單選擇、HITLBranchOperator 用於人工驅動的任務路由，以及 HITLEntryOperator 用於表單資料收集。所有運算子皆為可延遲，在等待人工回應時釋放工作槽位，可透過 Airflow UI 的「必要操作」標籤或 REST API 進行回應。支援選用功能，包括自訂...

構建 Airflow 3.1+ 插件，將 FastAPI 應用、自訂 UI 頁面、React 元件、中介軟體、巨集和運算子連結直接嵌入 Airflow UI。使用…

查詢您的資料倉儲，利用快取的模式與概念映射來回答商業問題。支援針對重複問題類型的模式查詢與快取，並記錄結果以改善未來查詢。包含概念到表格的映射快取，以及透過INFORMATION_SCHEMA或程式碼庫grep進行的表格結構探索。提供run_sql()與run_sql_pandas()核心函式，回傳Polars或Pandas DataFrame供分析使用。CLI指令可管理概念、模式與表格快取，以及...

使用 inlets 和 outlets 為 Airflow 任務標註資料血緣。支援 OpenLineage Dataset 物件、Airflow Assets 與 Airflow Datasets，用於定義跨資料庫、資料倉儲及雲端儲存的輸入與輸出。當運算子缺乏內建 OpenLineage 提取器時，可作為備用方案；遵循四層優先級系統，其中自訂提取器與 OpenLineage 方法具有優先權。包含針對 Snowflake、BigQuery、S3 及 PostgreSQL 的資料集命名輔助工具，以確保一致性...

建立Apache Airflow DAG的引導式工作流程，包含驗證與測試整合。結構化六階段方法：探索環境與現有模式、規劃DAG結構、遵循最佳實踐進行實作、使用af CLI指令驗證、經使用者同意後測試，以及根據修正反覆迭代。用於探索的CLI指令（af config connections、af config providers、af dags list）與驗證指令（af dags errors、af dags get、af dags explore）可提供DAG的即時回饋。

使用 Pydantic 驗證定義可重複使用的 Airflow 任務組模板，並從 YAML 組合 DAG。適用於建立 blueprint 模板、從 YAML 組合 DAG 等場景。

透過檢查表格時間戳記及更新模式，並比對過時程度量表，驗證資料的新鮮度。利用常見的ETL命名模式（如 _loaded_at、_updated_at、created_at 等）識別時間戳記欄位，並查詢其最大值以判斷資料年齡。將資料分類為四種新鮮度狀態：新鮮（少於4小時）、過時（4–24小時）、非常過時（超過24小時）或未知（未找到時間戳記）。提供SQL範本，用於檢查最近幾天的上次更新時間與資料列數量趨勢。