Skills de Astronomer

Consulte, gerencie e solucione problemas de DAGs, execuções, tarefas e configuração de sistema do Apache Airflow. Suporta mais de 30 comandos para inspeção de DAGs, gerenciamento de execuções, registro de tarefas, consultas de configuração e acesso direto à API REST. Gerencie múltiplas instâncias do Airflow com configuração persistente; descubra automaticamente implantações locais e Astro. Dispare execuções de DAG de forma síncrona (aguardando conclusão) ou assíncrona, diagnostique falhas, limpe execuções para repetição e acesse logs de tarefas com filtragem por repetição/índice de mapa. Saída...

Portões de aprovação humana, entradas de formulário e ramificações em DAGs do Airflow usando operadores adiáveis. Quatro tipos de operadores: ApprovalOperator para decisões de aprovar/rejeitar, HITLOperator para seleção de múltiplas opções com formulários, HITLBranchOperator para roteamento de tarefas orientado por humanos e HITLEntryOperator para coleta de dados de formulário. Todos os operadores são adiáveis, liberando slots de worker enquanto aguardam resposta humana via a aba Ações Necessárias da interface do Airflow ou API REST. Suporta recursos opcionais incluindo personalização...

Crie plugins do Airflow 3.1+ que incorporam aplicativos FastAPI, páginas de UI personalizadas, componentes React, middleware, macros e links de operador diretamente na interface do Airflow. Use…

Consulte seu data warehouse para responder perguntas de negócios com padrões em cache e mapeamentos de conceitos. Suporta busca de padrões e cache para tipos de perguntas repetidas, com registro de resultados para melhorar consultas futuras. Inclui cache de mapeamento conceito-tabela e descoberta de esquemas de tabela via INFORMATION_SCHEMA ou grep no código-fonte. Fornece funções de kernel run_sql() e run_sql_pandas() que retornam DataFrames Polars ou Pandas para análise. Comandos CLI para gerenciar caches de conceitos, padrões e tabelas, além de...

Anotar tarefas do Airflow com linhagem de dados usando inlets e outlets. Suporta objetos OpenLineage Dataset, Assets do Airflow e Datasets do Airflow para definir entradas e saídas em bancos de dados, data warehouses e armazenamento em nuvem. Use como fallback quando operadores não possuem extratores OpenLineage integrados; segue um sistema de precedência de quatro níveis onde extratores personalizados e métodos OpenLineage têm prioridade. Inclui auxiliares de nomenclatura de datasets para Snowflake, BigQuery, S3 e PostgreSQL para garantir consistência...

Fluxo de trabalho guiado para criação de DAGs do Apache Airflow com integração de validação e testes. Abordagem estruturada em seis fases: descobrir o ambiente e padrões existentes, planejar a estrutura da DAG, implementar seguindo as melhores práticas, validar com comandos da CLI af, testar com consentimento do usuário e iterar em correções. Comandos da CLI para descoberta (af config connections, af config providers, af dags list) e validação (af dags errors, af dags get, af dags explore) fornecem feedback imediato sobre a DAG...

Defina modelos reutilizáveis de grupos de tarefas do Airflow com validação Pydantic e componha DAGs a partir de YAML. Use ao criar modelos de blueprint, compor DAGs a partir de…

Verifique a atualização dos dados analisando os timestamps das tabelas e os padrões de atualização em relação a uma escala de obsolescência. Identifica colunas de timestamp usando padrões comuns de nomenclatura ETL (_loaded_at, _updated_at, created_at, etc.) e consulta seus valores máximos para determinar a idade. Classifica os dados em quatro status de atualização: Atualizados (< 4 horas), Desatualizados (4–24 horas), Muito Desatualizados (> 24 horas) ou Desconhecido (nenhum timestamp encontrado). Fornece modelos SQL para verificar o horário da última atualização e as tendências de contagem de linhas nos dias recentes para...

Converta projetos dbt Core em DAGs ou TaskGroups do Airflow usando o Astronomer Cosmos. Suporta três padrões de montagem: DbtDag independente, DbtTaskGroup dentro de DAGs existentes e operadores Cosmos individuais para controle refinado. Escolha entre oito modos de execução (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC e outros) com base nas necessidades de isolamento e desempenho. Oferece três estratégias de parsing (dbt_manifest, dbt_ls, dbt_ls_file, automática) para equilibrar velocidade e complexidade do seletor...

Configure o Astronomer Cosmos para projetos dbt Fusion no Snowflake, Databricks, BigQuery ou Redshift com execução local. Requer Cosmos 1.11.0+, binário dbt Fusion instalado separadamente no runtime do Airflow e ExecutionMode.LOCAL com invocação de subprocesso. Suporta três estratégias de parsing: dbt_manifest (mais rápida para projetos grandes), dbt_ls (para seletores complexos) ou automática (configurações simples). Abrange configuração de ProfileConfig para conexões de warehouse, ProjectConfig para caminhos de projetos dbt e...

Extratores OpenLineage personalizados para operadores Airflow não suportados e cenários complexos de linhagem. Duas abordagens: adicionar métodos OpenLineage diretamente aos operadores que você possui (recomendado), ou criar extratores personalizados para operadores de terceiros que você não pode modificar. Os extratores interceptam a execução do operador em três pontos: antes da execução para linhagem estática, após o sucesso para saídas determinadas em tempo de execução e, opcionalmente, após falha para linhagem parcial. Registre os extratores via airflow.cfg ou ambiente...

Crie DAGs do Apache Airflow de forma declarativa com configurações YAML do dag-factory. Use ao criar templates do dag-factory, compondo DAGs a partir de YAML para o dag-factory,…

Análise sistemática de causa raiz e remediação para DAGs do Airflow com falhas, utilizando fluxos de investigação estruturados. Orienta por um processo de diagnóstico em quatro etapas: identificar a falha, extrair detalhes do erro, reunir informações contextuais e fornecer etapas de remediação acionáveis. Classifica as falhas em quatro tipos (dados, código, infraestrutura, dependência) para focar a investigação e sugerir correções apropriadas. Fornece comandos CLI prontos para recuperação de logs, comparação de execuções, limpeza de tarefas e DAG...

Direciona o agente Otto da

Implantar DAGs e projetos do Airflow. Use quando o usuário quiser implantar código, enviar DAGs, configurar CI/CD, implantar em produção ou perguntar sobre estratégias de implantação…

Descubra e explore dados para um conceito ou domínio. Use quando o usuário perguntar quais dados existem para um tópico (ex.: "ARR", "clientes", "pedidos"), quiser encontrar…

Inicializa a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…

Inicializar a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…

Gerenciar ambiente de desenvolvimento local do Airflow com comandos da Astro CLI. Iniciar, parar, reiniciar e encerrar containers locais do Airflow; credenciais padrão são admin/admin com webserver em http://localhost:8080 Visualizar logs de todos os componentes ou serviços específicos (scheduler, webserver) com opção de acompanhamento em tempo real Acessar shells de containers e executar comandos da CLI do Airflow diretamente via astro dev bash e astro dev run Solucionar problemas comuns incluindo conflitos de porta, falhas de inicialização, erros de pacotes e...

Migra projetos do Airflow do airflow-ai-sdk para o apache-airflow-providers-common-ai 0.1.0+. Use esta habilidade quando o usuário quiser substituir o airflow-ai-sdk por…

Detecção automatizada e migração de código para atualizar DAGs do Apache Airflow 2.x para o Airflow 3.x. Fornece regras de correção automática baseadas em Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) para detectar e resolver alterações críticas em imports, operadores, hooks e variáveis de contexto. Abrange mudanças arquiteturais importantes: workers não acessam mais o banco de dados de metadados diretamente; use o cliente Python do Airflow ou a API REST em vez de consultas ORM de sessão. Inclui uma lista de verificação de migração manual para problemas que o Ruff não pode corrigir automaticamente: cron...

Análise estatística e de qualidade abrangente de tabelas de banco de dados com saída de perfil estruturada. Gera estatísticas em nível de coluna adaptadas ao tipo de dado: min/max/percentis para colunas numéricas, métricas de comprimento para strings, intervalos de datas para timestamps. Realiza análise de cardinalidade para identificar colunas categóricas versus de alta cardinalidade e detectar distribuições distorcidas. Avalia a qualidade dos dados em cinco dimensões: completude (taxas NULL), exclusividade (duplicatas), atualização (timestamps de modificação),...

Inicializa e configura projetos Astro/Airflow com dependências, conexões e configuração de ambiente. Cria a estrutura completa do projeto com astro dev init, incluindo diretórios para DAGs, plugins, testes e arquivos de configuração. Gerencia dependências Python e de nível de SO via requirements.txt e packages.txt, com suporte a Dockerfile personalizado para configurações complexas. Configura conexões, variáveis e pools de forma declarativa no airflow_settings.yaml, com comandos de exportação/importação para o ambiente...

Ciclos iterativos de teste-depuração-correção para DAGs do Airflow com diagnóstico abrangente de falhas. Comece com af runs trigger-wait <dag_id> para executar um DAG e aguardar a conclusão; não são necessárias verificações prévias. Em caso de falha, use af runs diagnose para um resumo abrangente de falhas e af tasks logs para inspecionar detalhes de erros de tarefas específicas. Suporta configuração personalizada, timeouts e tentativas de repetição; lida com cenários de sucesso, falha e timeout com interpretação clara da resposta. Validação rápida disponível...

Rastreie a linhagem de dados downstream para avaliar o impacto de alterações antes de modificar tabelas ou DAGs. Identifica consumidores diretos de uma tabela ou DAG alvo por meio de busca em código-fonte, dependências de views e conexões com ferramentas de BI. Constrói uma árvore de dependências completa mapeando todos os impactos downstream, desde tabelas até dashboards e modelos de ML. Categoriza dependências por criticidade (crítica, alta, média, baixa) para priorizar comunicação com stakeholders e testes. Gera um relatório de impacto com avaliação de risco, afetados...

Rastreia a linhagem upstream de dados para identificar fontes, DAGs e dependências que alimentam uma tabela ou coluna. Suporta rastreamento de três tipos de destino: tabelas, colunas e DAGs; utiliza o código-fonte do DAG do Airflow e inspeção de tarefas para encontrar pipelines produtores. Lida com fontes SQL (cláusulas FROM), sistemas externos (S3, Postgres, Salesforce, APIs HTTP) e fontes baseadas em arquivos; rastreia recursivamente cadeias upstream. Inclui rastreamento em nível de coluna por meio de mapeamentos diretos, transformações e agregações no código do DAG...

Inicializa a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…