Skills de Astronomer

Consulta, gestiona y soluciona problemas de DAGs, ejecuciones, tareas y configuración del sistema de Apache Airflow. Soporta más de 30 comandos para inspección de DAGs, gestión de ejecuciones, registro de tareas, consultas de configuración y acceso directo a la API REST. Administra múltiples instancias de Airflow con configuración persistente; descubre automáticamente implementaciones locales y de Astro. Ejecuta DAGs de forma síncrona (esperando su finalización) o asíncrona, diagnostica fallos, limpia ejecuciones para reintentos y accede a registros de tareas con filtros de reintento e índice de mapa. Salida...

Compuertas de aprobación humana, entradas de formulario y ramificación en DAGs de Airflow utilizando operadores diferibles. Cuatro tipos de operadores: ApprovalOperator para decisiones de aprobar/rechazar, HITLOperator para selección de múltiples opciones con formularios, HITLBranchOperator para enrutamiento de tareas impulsado por humanos y HITLEntryOperator para recopilación de datos de formularios. Todos los operadores son diferibles, liberando espacios de trabajo mientras esperan respuesta humana a través de la pestaña de Acciones Requeridas de la interfaz de usuario de Airflow o la API REST. Soporta características opcionales que incluyen personalización...

Crea plugins de Airflow 3.1+ que integren aplicaciones FastAPI, páginas de UI personalizadas, componentes React, middleware, macros y enlaces de operadores directamente en la interfaz de Airflow. Usa…

Consulta tu almacén de datos para responder preguntas de negocio con patrones en caché y mapeos de conceptos. Soporta búsqueda de patrones y almacenamiento en caché para tipos de preguntas repetidas, con registro de resultados para mejorar consultas futuras. Incluye caché de mapeo concepto-tabla y descubrimiento de esquemas de tablas mediante INFORMATION_SCHEMA o búsqueda en el código base. Proporciona funciones kernel run_sql() y run_sql_pandas() que devuelven DataFrames de Polars o Pandas para análisis. Comandos CLI para gestionar cachés de conceptos, patrones y tablas, además de...

Anotar tareas de Airflow con linaje de datos utilizando inlets y outlets. Soporta objetos Dataset de OpenLineage, Assets de Airflow y Datasets de Airflow para definir entradas y salidas en bases de datos, almacenes de datos y almacenamiento en la nube. Úselo como alternativa cuando los operadores carezcan de extractores OpenLineage integrados; sigue un sistema de precedencia de cuatro niveles donde los extractores personalizados y los métodos OpenLineage tienen prioridad. Incluye ayudantes de nomenclatura de datasets para Snowflake, BigQuery, S3 y PostgreSQL para garantizar consistencia...

Flujo de trabajo guiado para crear DAGs de Apache Airflow con integración de validación y pruebas. Enfoque estructurado de seis fases: descubrir el entorno y patrones existentes, planificar la estructura del DAG, implementar siguiendo las mejores prácticas, validar con comandos de la CLI de af, probar con consentimiento del usuario, e iterar sobre correcciones. Los comandos de la CLI para descubrimiento (af config connections, af config providers, af dags list) y validación (af dags errors, af dags get, af dags explore) proporcionan retroalimentación inmediata sobre el DAG...

Define plantillas reutilizables de grupos de tareas de Airflow con validación Pydantic y componga DAGs desde YAML. Úselo al crear plantillas de blueprint, componer DAGs desde…

Verifica la frescura de los datos revisando las marcas de tiempo de las tablas y los patrones de actualización frente a una escala de obsolescencia. Identifica columnas de marca de tiempo usando patrones comunes de nomenclatura ETL (_loaded_at, _updated_at, created_at, etc.) y consulta sus valores máximos para determinar la antigüedad. Clasifica los datos en cuatro estados de frescura: Fresco (< 4 horas), Obsoleto (4–24 horas), Muy obsoleto (> 24 horas) o Desconocido (sin marca de tiempo encontrada). Proporciona plantillas SQL para verificar la última hora de actualización y las tendencias de recuento de filas en días recientes para...

Convierte proyectos de dbt Core en DAGs o TaskGroups de Airflow usando Astronomer Cosmos. Soporta tres patrones de ensamblaje: DbtDag independiente, DbtTaskGroup dentro de DAGs existentes y operadores individuales de Cosmos para control detallado. Elige entre ocho modos de ejecución (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC y otros) según las necesidades de aislamiento y rendimiento. Ofrece tres estrategias de análisis (dbt_manifest, dbt_ls, dbt_ls_file, automática) para equilibrar velocidad y complejidad de selectores...

Configura Astronomer Cosmos para proyectos de dbt Fusion en Snowflake, Databricks, BigQuery o Redshift con ejecución local. Requiere Cosmos 1.11.0+, el binario de dbt Fusion instalado por separado en el entorno de Airflow, y ExecutionMode.LOCAL con invocación de subprocesos. Soporta tres estrategias de análisis: dbt_manifest (la más rápida para proyectos grandes), dbt_ls (para selectores complejos) o automática (configuraciones simples). Cubre la configuración de ProfileConfig para conexiones de almacenes, ProjectConfig para rutas de proyectos de dbt y...

Extractores personalizados de OpenLineage para operadores de Airflow no soportados y escenarios complejos de linaje. Dos enfoques: agregar métodos de OpenLineage directamente a los operadores que posees (recomendado), o crear extractores personalizados para operadores de terceros que no puedes modificar. Los extractores interceptan la ejecución del operador en tres puntos: antes de la ejecución para linaje estático, después del éxito para salidas determinadas en tiempo de ejecución, y opcionalmente después del fallo para linaje parcial. Registra los extractores mediante airflow.cfg o variables de entorno...

Crea DAGs de Apache Airflow de forma declarativa con configuraciones YAML de dag-factory. Úsalo al crear plantillas de dag-factory, componer DAGs desde YAML para dag-factory,…

Análisis sistemático de causa raíz y remediación para DAGs de Airflow fallidos con flujos de trabajo de investigación estructurados. Guía a través de un proceso de diagnóstico de cuatro pasos: identificar la falla, extraer detalles del error, recopilar información contextual y entregar pasos de remediación accionables. Clasifica las fallas en cuatro tipos (datos, código, infraestructura, dependencia) para enfocar la investigación y sugerir correcciones apropiadas. Proporciona comandos CLI listos para usar para recuperación de registros, comparación de ejecuciones, limpieza de tareas y DAG...

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Desplegar DAGs y proyectos de Airflow. Úsalo cuando el usuario quiera desplegar código, enviar DAGs, configurar CI/CD, desplegar a producción, o pregunte sobre estrategias de despliegue…

Descubrir y explorar datos para un concepto o dominio. Úsalo cuando el usuario pregunte qué datos existen para un tema (por ejemplo, "ARR", "clientes", "pedidos"), quiera encontrar…

Inicializa el descubrimiento del esquema del almacén. Genera .astro/warehouse.md con todos los metadatos de las tablas para búsquedas instantáneas. Ejecutar una vez por proyecto, actualizar cuando el esquema…

Inicializar el descubrimiento del esquema del almacén. Genera .astro/warehouse.md con todos los metadatos de las tablas para búsquedas instantáneas. Ejecutar una vez por proyecto, actualizar cuando el esquema…

Gestiona el entorno de desarrollo local de Airflow con comandos de Astro CLI. Inicia, detén, reinicia y elimina contenedores locales de Airflow; las credenciales predeterminadas son admin/admin con el servidor web en http://localhost:8080. Visualiza registros de todos los componentes o servicios específicos (scheduler, webserver) con opción de seguimiento en tiempo real. Accede a shells de contenedores y ejecuta comandos de Airflow CLI directamente mediante astro dev bash y astro dev run. Soluciona problemas comunes como conflictos de puertos, fallos de inicio, errores de paquetes y...

Migra proyectos de Airflow de airflow-ai-sdk a apache-airflow-providers-common-ai 0.1.0+. Usa esta habilidad cuando el usuario quiera reemplazar airflow-ai-sdk con…

Detección automatizada y migración de código para actualizar DAGs de Apache Airflow 2.x a Airflow 3.x. Proporciona reglas de corrección automática basadas en Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) para detectar y resolver cambios disruptivos en importaciones, operadores, hooks y variables de contexto. Cubre cambios arquitectónicos críticos: los workers ya no acceden directamente a la base de datos de metadatos; use el cliente Python de Airflow o la API REST en lugar de consultas de sesión ORM. Incluye una lista de verificación de migración manual para problemas que Ruff no puede corregir automáticamente: cron...

Análisis estadístico y de calidad exhaustivo de tablas de base de datos con salida de perfilado estructurada. Genera estadísticas a nivel de columna adaptadas al tipo de datos: mínimo/máximo/percentiles para columnas numéricas, métricas de longitud para cadenas, rangos de fechas para marcas de tiempo. Realiza análisis de cardinalidad para identificar columnas categóricas frente a las de alta cardinalidad y detectar distribuciones sesgadas. Evalúa la calidad de datos en cinco dimensiones: completitud (tasas NULL), unicidad (duplicados), frescura (marcas de tiempo de actualización),...

Inicializa y configura proyectos de Astro/Airflow con dependencias, conexiones y configuración del entorno. Genera la estructura completa del proyecto con astro dev init, incluyendo directorios para DAGs, plugins, tests y archivos de configuración. Gestiona dependencias de Python y del sistema operativo mediante requirements.txt y packages.txt, con soporte para Dockerfile personalizado en configuraciones complejas. Configura conexiones, variables y pools de forma declarativa en airflow_settings.yaml, con comandos de exportación/importación para el entorno...

Ciclos iterativos de prueba-depuración-corrección para DAGs de Airflow con diagnóstico completo de fallos. Comience con af runs trigger-wait <dag_id> para ejecutar un DAG y esperar su finalización; no se necesitan comprobaciones previas. En caso de fallo, use af runs diagnose para obtener un resumen completo del fallo y af tasks logs para inspeccionar los detalles del error de tareas específicas. Admite configuración personalizada, tiempos de espera e intentos de reintento; maneja escenarios de éxito, fallo y tiempo de espera con una interpretación clara de la respuesta. Validación rápida disponible...

Rastrea el linaje de datos descendente para evaluar el impacto de cambios antes de modificar tablas o DAGs. Identifica los consumidores directos de una tabla o DAG objetivo mediante búsqueda en código fuente, dependencias de vistas y conexiones de herramientas de BI. Construye un árbol de dependencias completo que mapea todos los impactos descendentes, desde tablas hasta paneles y modelos de ML. Clasifica las dependencias por criticidad (crítica, alta, media, baja) para priorizar la comunicación con las partes interesadas y las pruebas. Genera un informe de impacto con evaluación de riesgos, afectados...

Rastrea el linaje de datos ascendente para identificar fuentes, DAGs y dependencias que alimentan una tabla o columna. Admite el rastreo de tres tipos de destino: tablas, columnas y DAGs; utiliza el código fuente del DAG de Airflow y la inspección de tareas para encontrar pipelines productores. Maneja fuentes SQL (cláusulas FROM), sistemas externos (S3, Postgres, Salesforce, APIs HTTP) y fuentes basadas en archivos; rastrea cadenas ascendentes de forma recursiva. Incluye rastreo a nivel de columna mediante asignaciones directas, transformaciones y agregaciones en el código del DAG...

Inicializa el descubrimiento del esquema del almacén. Genera .astro/warehouse.md con todos los metadatos de las tablas para búsquedas instantáneas. Ejecutar una vez por proyecto, actualizar cuando el esquema…