initializing-warehouse

Persists task and asset state across retries and DAG runs using Airflow 3.3's AIP-103 key/value stores (`task_state_store`, `asset_state_store`) and the…

Extratores OpenLineage personalizados para operadores Airflow não suportados e cenários complexos de linhagem. Duas abordagens: adicionar métodos OpenLineage diretamente aos operadores que você possui (recomendado), ou criar extratores personalizados para operadores de terceiros que você não pode modificar. Os extratores interceptam a execução do operador em três pontos: antes da execução para linhagem estática, após o sucesso para saídas determinadas em tempo de execução e, opcionalmente, após falha para linhagem parcial. Registre os extratores via airflow.cfg ou ambiente...

Análise sistemática de causa raiz e remediação para DAGs do Airflow com falhas, utilizando fluxos de investigação estruturados. Orienta por um processo de diagnóstico em quatro etapas: identificar a falha, extrair detalhes do erro, reunir informações contextuais e fornecer etapas de remediação acionáveis. Classifica as falhas em quatro tipos (dados, código, infraestrutura, dependência) para focar a investigação e sugerir correções apropriadas. Fornece comandos CLI prontos para recuperação de logs, comparação de execuções, limpeza de tarefas e DAG...

Direciona o agente Otto da

Implantar DAGs e projetos do Airflow. Use quando o usuário quiser implantar código, enviar DAGs, configurar CI/CD, implantar em produção ou perguntar sobre estratégias de implantação…

Compila, empacota e implanta pacotes compilados do Airflow Go SDK para que o ExecutableCoordinator possa executá-los. Use quando o usuário quiser compilar um pacote de tarefas Go, pedir…

Ciclos iterativos de teste-depuração-correção para DAGs do Airflow com diagnóstico abrangente de falhas. Comece com af runs trigger-wait <dag_id> para executar um DAG e aguardar a conclusão; não são necessárias verificações prévias. Em caso de falha, use af runs diagnose para um resumo abrangente de falhas e af tasks logs para inspecionar detalhes de erros de tarefas específicas. Suporta configuração personalizada, timeouts e tentativas de repetição; lida com cenários de sucesso, falha e timeout com interpretação clara da resposta. Validação rápida disponível...

Rastreie a linhagem de dados downstream para avaliar o impacto de alterações antes de modificar tabelas ou DAGs. Identifica consumidores diretos de uma tabela ou DAG alvo por meio de busca em código-fonte, dependências de views e conexões com ferramentas de BI. Constrói uma árvore de dependências completa mapeando todos os impactos downstream, desde tabelas até dashboards e modelos de ML. Categoriza dependências por criticidade (crítica, alta, média, baixa) para priorizar comunicação com stakeholders e testes. Gera um relatório de impacto com avaliação de risco, afetados...