discovering-data

查询、管理和排查Apache Airflow的DAG、运行记录、任务及系统配置。支持30多种命令，涵盖DAG检查、运行管理、任务日志、配置查询及直接REST API访问。通过持久化配置管理多个Airflow实例；自动发现本地和Astro部署。同步（等待完成）或异步触发DAG运行，诊断故障，清除运行记录以重试，并通过重试/映射索引过滤访问任务日志。输出...

在Airflow DAG中使用可延迟操作符实现人工审批关卡、表单输入和分支。四种操作符类型：用于批准/拒绝决策的ApprovalOperator、带表单的多选项选择HITLOperator、人工驱动的任务路由HITLBranchOperator，以及表单数据收集HITLEntryOperator。所有操作符均为可延迟设计，在通过Airflow UI的"必需操作"标签页或REST API等待人工响应时释放工作槽位。支持包括自定义在内的可选功能...

构建嵌入FastAPI应用、自定义UI页面、React组件、中间件、宏和操作符链接的Airflow 3.1+插件，直接集成到Airflow UI中。使用…

查询数据仓库，利用缓存的模式和概念映射来回答业务问题。支持对重复问题类型进行模式查找和缓存，并通过记录结果来改进后续查询。包含概念到表的映射缓存，以及通过INFORMATION_SCHEMA或代码库grep进行表结构发现。提供run_sql()和run_sql_pandas()内核函数，返回Polars或Pandas DataFrame用于分析。提供CLI命令用于管理概念、模式和表缓存，以及...

使用入口和出口为Airflow任务标注数据血缘。支持使用OpenLineage Dataset对象、Airflow Assets和Airflow Datasets定义跨数据库、数据仓库及云存储的输入输出。当运算符缺少内置OpenLineage提取器时作为备用方案；遵循四级优先级系统，其中自定义提取器和OpenLineage方法优先。包含针对Snowflake、BigQuery、S3和PostgreSQL的数据集命名辅助工具，以确保一致性...

创建Apache Airflow DAG的引导式工作流，集成验证与测试。采用六阶段结构化方法：发现环境与现有模式、规划DAG结构、遵循最佳实践实现、通过af CLI命令验证、经用户同意测试、迭代修复。用于发现（af config connections、af config providers、af dags list）和验证（af dags errors、af dags get、af dags explore）的CLI命令可提供DAG的即时反馈...

使用Pydantic验证定义可复用的Airflow任务组模板，并从YAML组合DAG。适用于创建blueprint模板、从YAML组合DAG等场景。

通过检查表时间戳和更新模式与陈旧度标尺对比，验证数据新鲜度。使用常见ETL命名模式（如_loaded_at、_updated_at、created_at等）识别时间戳列，并查询其最大值以确定数据时效。将数据分为四种新鲜度状态：新鲜（<4小时）、陈旧（4–24小时）、非常陈旧（>24小时）或未知（未找到时间戳）。提供SQL模板，用于检查最近几天的最后更新时间及行数变化趋势。