Skills de Astronomer

Gere playbooks de receitas verificados a partir de AIPs com implementações de PR (modo post), ou histórias de usuário especulativas de AIPs sem implementações (modo pre). Use…

Gere playbooks de receitas verificados a partir de AIPs com implementações de PR (modo post), ou histórias de usuário especulativas a partir de AIPs sem implementações (modo pre). Use…

Consulte, gerencie e solucione problemas de DAGs, execuções, tarefas e configuração de sistema do Apache Airflow. Suporta mais de 30 comandos para inspeção de DAGs, gerenciamento de execuções, registro de tarefas, consultas de configuração e acesso direto à API REST. Gerencie múltiplas instâncias do Airflow com configuração persistente; descubra automaticamente implantações locais e Astro. Dispare execuções de DAG de forma síncrona (aguardando conclusão) ou assíncrona, diagnostique falhas, limpe execuções para repetição e acesse logs de tarefas com filtragem por repetição/índice de mapa. Saída...

Padrão de adaptador Airflow para compatibilidade com APIs v2/v3. Use ao trabalhar com adaptadores, detecção de versão ou ao adicionar novos métodos de API que precisam funcionar em…

Padrão de adaptador Airflow para compatibilidade com API v2/v3. Use ao trabalhar com adaptadores, detecção de versão ou adição de novos métodos de API que precisam funcionar em diferentes…

Portões de aprovação humana, entradas de formulário e ramificações em DAGs do Airflow usando operadores adiáveis. Quatro tipos de operadores: ApprovalOperator para decisões de aprovar/rejeitar, HITLOperator para seleção de múltiplas opções com formulários, HITLBranchOperator para roteamento de tarefas orientado por humanos e HITLEntryOperator para coleta de dados de formulário. Todos os operadores são adiáveis, liberando slots de worker enquanto aguardam resposta humana via a aba Ações Necessárias da interface do Airflow ou API REST. Suporta recursos opcionais incluindo personalização...

Guide for contributing to the Airflow Java SDK (AIP-108). Use this skill whenever a contributor is working in the `java-sdk/` directory or on the Java…

Guide for contributing to the Airflow Java SDK (AIP-108). Use this skill whenever a contributor is working in the `java-sdk/` directory or on the Java…

Guia para implementar um SDK de linguagem totalmente novo para o Airflow (AIP-108). Use esta skill quando um contribuidor quiser adicionar suporte para uma nova linguagem de programação —…

Guia para implementar um SDK de linguagem totalmente novo para o Airflow (AIP-108). Use esta habilidade quando um contribuidor quiser adicionar suporte para uma nova linguagem de programação —…

Crie plugins do Airflow 3.1+ que incorporam aplicativos FastAPI, páginas de UI personalizadas, componentes React, middleware, macros e links de operador diretamente na interface do Airflow. Use…

Persists task and asset state across retries and DAG runs using Airflow 3.3's AIP-103 key/value stores (`task_state_store`, `asset_state_store`) and the…

Adicionar ou atualizar traduções para a interface do Apache Airflow. Orienta na configuração de locales, criação de arquivos de tradução, tradução com termos específicos de locale…

Adicionar ou atualizar traduções para a interface do Apache Airflow. Orienta sobre a configuração de locales, criação de arquivos de tradução, tradução com especificidades de localidade…

Consulte seu data warehouse para responder perguntas de negócios com padrões em cache e mapeamentos de conceitos. Suporta busca de padrões e cache para tipos de perguntas repetidas, com registro de resultados para melhorar consultas futuras. Inclui cache de mapeamento conceito-tabela e descoberta de esquemas de tabela via INFORMATION_SCHEMA ou grep no código-fonte. Fornece funções de kernel run_sql() e run_sql_pandas() que retornam DataFrames Polars ou Pandas para análise. Comandos CLI para gerenciar caches de conceitos, padrões e tabelas, além de...

Anotar tarefas do Airflow com linhagem de dados usando inlets e outlets. Suporta objetos OpenLineage Dataset, Assets do Airflow e Datasets do Airflow para definir entradas e saídas em bancos de dados, data warehouses e armazenamento em nuvem. Use como fallback quando operadores não possuem extratores OpenLineage integrados; segue um sistema de precedência de quatro níveis onde extratores personalizados e métodos OpenLineage têm prioridade. Inclui auxiliares de nomenclatura de datasets para Snowflake, BigQuery, S3 e PostgreSQL para garantir consistência...

Fluxo de trabalho guiado para criação de DAGs do Apache Airflow com integração de validação e testes. Abordagem estruturada em seis fases: descobrir o ambiente e padrões existentes, planejar a estrutura da DAG, implementar seguindo as melhores práticas, validar com comandos da CLI af, testar com consentimento do usuário e iterar em correções. Comandos da CLI para descoberta (af config connections, af config providers, af dags list) e validação (af dags errors, af dags get, af dags explore) fornecem feedback imediato sobre a DAG...

Writes Airflow task logic in Go using the Airflow Go SDK. Use when the user wants to implement Airflow tasks in Go, asks about `BundleProvider`/`RegisterDags`,…

Escreve a lógica de tarefas do Airflow em Java, Kotlin ou qualquer linguagem JVM usando o Airflow Java SDK. Use quando o usuário quiser implementar tarefas do Airflow em Java/JVM, pedir…

A base neutra em termos de linguagem para os SDKs de linguagem do Airflow — implemente a lógica de tarefas em uma linguagem que não seja Python enquanto o DAG permanece em Python. Use quando o usuário…

Defina modelos reutilizáveis de grupos de tarefas do Airflow com validação Pydantic e componha DAGs a partir de YAML. Use ao criar modelos de blueprint, compor DAGs a partir de…

Use ao escrever, editar, revisar ou executar testes de Helm chart para o repositório Astronomer APC. Abrange padrões de pytest, uso de render_chart(), sub-chart…

Use ao escrever, editar, revisar ou executar testes de chart Helm para o repositório Astronomer APC. Abrange padrões pytest, uso de render_chart(), sub-chart…

Verifique a atualização dos dados analisando os timestamps das tabelas e os padrões de atualização em relação a uma escala de obsolescência. Identifica colunas de timestamp usando padrões comuns de nomenclatura ETL (_loaded_at, _updated_at, created_at, etc.) e consulta seus valores máximos para determinar a idade. Classifica os dados em quatro status de atualização: Atualizados (< 4 horas), Desatualizados (4–24 horas), Muito Desatualizados (> 24 horas) ou Desconhecido (nenhum timestamp encontrado). Fornece modelos SQL para verificar o horário da última atualização e as tendências de contagem de linhas nos dias recentes para...

Use ao escrever, editar ou revisar a configuração do CircleCI para o repositório Astronomer APC. Abrange organização de scripts, scripts inline vs. externos e…

Use ao escrever, editar ou revisar a configuração do CircleCI para o repositório Astronomer APC. Abrange organização de scripts, scripts inline vs externos e…

Configura o Airflow para executar tarefas de SDK de linguagem (Go e futuros SDKs nativos) — registra um coordenador, mapeia uma fila para ele, garante o runtime/artefato nos workers,…

Converta projetos dbt Core em DAGs ou TaskGroups do Airflow usando o Astronomer Cosmos. Suporta três padrões de montagem: DbtDag independente, DbtTaskGroup dentro de DAGs existentes e operadores Cosmos individuais para controle refinado. Escolha entre oito modos de execução (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC e outros) com base nas necessidades de isolamento e desempenho. Oferece três estratégias de parsing (dbt_manifest, dbt_ls, dbt_ls_file, automática) para equilibrar velocidade e complexidade do seletor...

Configure o Astronomer Cosmos para projetos dbt Fusion no Snowflake, Databricks, BigQuery ou Redshift com execução local. Requer Cosmos 1.11.0+, binário dbt Fusion instalado separadamente no runtime do Airflow e ExecutionMode.LOCAL com invocação de subprocesso. Suporta três estratégias de parsing: dbt_manifest (mais rápida para projetos grandes), dbt_ls (para seletores complexos) ou automática (configurações simples). Abrange configuração de ProfileConfig para conexões de warehouse, ProjectConfig para caminhos de projetos dbt e...

Extratores OpenLineage personalizados para operadores Airflow não suportados e cenários complexos de linhagem. Duas abordagens: adicionar métodos OpenLineage diretamente aos operadores que você possui (recomendado), ou criar extratores personalizados para operadores de terceiros que você não pode modificar. Os extratores interceptam a execução do operador em três pontos: antes da execução para linhagem estática, após o sucesso para saídas determinadas em tempo de execução e, opcionalmente, após falha para linhagem parcial. Registre os extratores via airflow.cfg ou ambiente...

Crie DAGs do Apache Airflow de forma declarativa com configurações YAML do dag-factory. Use ao criar templates do dag-factory, compondo DAGs a partir de YAML para o dag-factory,…

Análise sistemática de causa raiz e remediação para DAGs do Airflow com falhas, utilizando fluxos de investigação estruturados. Orienta por um processo de diagnóstico em quatro etapas: identificar a falha, extrair detalhes do erro, reunir informações contextuais e fornecer etapas de remediação acionáveis. Classifica as falhas em quatro tipos (dados, código, infraestrutura, dependência) para focar a investigação e sugerir correções apropriadas. Fornece comandos CLI prontos para recuperação de logs, comparação de execuções, limpeza de tarefas e DAG...

Direciona o agente Otto da

Implantar DAGs e projetos do Airflow. Use quando o usuário quiser implantar código, enviar DAGs, configurar CI/CD, implantar em produção ou perguntar sobre estratégias de implantação…

Compila, empacota e implanta pacotes compilados do Airflow Go SDK para que o ExecutableCoordinator possa executá-los. Use quando o usuário quiser compilar um pacote de tarefas Go, pedir…

Cria e implanta bundles compilados do SDK Java do Airflow para que os workers possam executá-los. Use quando o usuário quiser empacotar um bundle de tarefa JVM em um JAR, perguntar sobre o…

Descubra e explore dados para um conceito ou domínio. Use quando o usuário perguntar quais dados existem para um tópico (ex.: "ARR", "clientes", "pedidos"), quiser encontrar…

Use ao escrever, editar, revisar ou executar testes funcionais (ponta a ponta) para o repositório Astronomer APC. Abrange a configuração de cenários, padrões de testinfra,...

Use ao escrever, editar, revisar ou executar testes funcionais (end-to-end) para o repositório Astronomer APC. Abrange configuração de cenários, padrões testinfra,…

Use para trabalhos com Helm chart - criação de charts, modificação de charts existentes, design de valores, testes. Para o repositório Astronomer APC, veja docs/architecture.md para…

Inicializa a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…

Inicializar a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…

Adotar e manter o framework apache-magpie em um repositório de projeto por meio do mecanismo de adoção baseado em snapshots. A única skill de framework commitada no repositório de um adotante…

Adotar e manter o framework apache-magpie em um repositório de projeto através do mecanismo de adoção baseado em snapshot. A única habilidade do framework commitada no repositório do adotante…

Gerencie implantações de produção da Astronomer com o Astro CLI. Use quando o usuário quiser autenticar, alternar workspaces, criar/atualizar/excluir implantações, ou…

Gerenciar ambiente de desenvolvimento local do Airflow com comandos da Astro CLI. Iniciar, parar, reiniciar e encerrar containers locais do Airflow; credenciais padrão são admin/admin com webserver em http://localhost:8080 Visualizar logs de todos os componentes ou serviços específicos (scheduler, webserver) com opção de acompanhamento em tempo real Acessar shells de containers e executar comandos da CLI do Airflow diretamente via astro dev bash e astro dev run Solucionar problemas comuns incluindo conflitos de porta, falhas de inicialização, erros de pacotes e...

Migra projetos do Airflow do airflow-ai-sdk para o apache-airflow-providers-common-ai 0.1.0+. Use esta habilidade quando o usuário quiser substituir o airflow-ai-sdk por…

Detecção automatizada e migração de código para atualizar DAGs do Apache Airflow 2.x para o Airflow 3.x. Fornece regras de correção automática baseadas em Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) para detectar e resolver alterações críticas em imports, operadores, hooks e variáveis de contexto. Abrange mudanças arquiteturais importantes: workers não acessam mais o banco de dados de metadados diretamente; use o cliente Python do Airflow ou a API REST em vez de consultas ORM de sessão. Inclui uma lista de verificação de migração manual para problemas que o Ruff não pode corrigir automaticamente: cron...

Guia para migrar projetos Dagster para Apache Airflow 3 na Astro. Use quando o usuário mencionar migrar, converter ou portar código Dagster (ou Dagster+) para…

Replace the manual commit-by-commit classification step in `breeze release-management prepare-provider-documentation` with AI-driven classification. For each…

Replace the manual commit-by-commit classification step in `breeze release-management prepare-provider-documentation` with AI-driven classification. For each…

Análise estatística e de qualidade abrangente de tabelas de banco de dados com saída de perfil estruturada. Gera estatísticas em nível de coluna adaptadas ao tipo de dado: min/max/percentis para colunas numéricas, métricas de comprimento para strings, intervalos de datas para timestamps. Realiza análise de cardinalidade para identificar colunas categóricas versus de alta cardinalidade e detectar distribuições distorcidas. Avalia a qualidade dos dados em cinco dimensões: completude (taxas NULL), exclusividade (duplicatas), atualização (timestamps de modificação),...

Inicializa e configura projetos Astro/Airflow com dependências, conexões e configuração de ambiente. Cria a estrutura completa do projeto com astro dev init, incluindo diretórios para DAGs, plugins, testes e arquivos de configuração. Gerencia dependências Python e de nível de SO via requirements.txt e packages.txt, com suporte a Dockerfile personalizado para configurações complexas. Configura conexões, variáveis e pools de forma declarativa no airflow_settings.yaml, com comandos de exportação/importação para o ambiente...

Ciclos iterativos de teste-depuração-correção para DAGs do Airflow com diagnóstico abrangente de falhas. Comece com af runs trigger-wait <dag_id> para executar um DAG e aguardar a conclusão; não são necessárias verificações prévias. Em caso de falha, use af runs diagnose para um resumo abrangente de falhas e af tasks logs para inspecionar detalhes de erros de tarefas específicas. Suporta configuração personalizada, timeouts e tentativas de repetição; lida com cenários de sucesso, falha e timeout com interpretação clara da resposta. Validação rápida disponível...

Use ao escrever, editar ou revisar ferramentas de linha de comando e scripts auxiliares neste repositório (itens em bin/). Abrange onde as ferramentas estão localizadas, análise de argumentos com…

Rastreie a linhagem de dados downstream para avaliar o impacto de alterações antes de modificar tabelas ou DAGs. Identifica consumidores diretos de uma tabela ou DAG alvo por meio de busca em código-fonte, dependências de views e conexões com ferramentas de BI. Constrói uma árvore de dependências completa mapeando todos os impactos downstream, desde tabelas até dashboards e modelos de ML. Categoriza dependências por criticidade (crítica, alta, média, baixa) para priorizar comunicação com stakeholders e testes. Gera um relatório de impacto com avaliação de risco, afetados...

Rastreia a linhagem upstream de dados para identificar fontes, DAGs e dependências que alimentam uma tabela ou coluna. Suporta rastreamento de três tipos de destino: tabelas, colunas e DAGs; utiliza o código-fonte do DAG do Airflow e inspeção de tarefas para encontrar pipelines produtores. Lida com fontes SQL (cláusulas FROM), sistemas externos (S3, Postgres, Salesforce, APIs HTTP) e fontes baseadas em arquivos; rastreia recursivamente cadeias upstream. Inclui rastreamento em nível de coluna por meio de mapeamentos diretos, transformações e agregações no código do DAG...

Solucione problemas de implantações de produção da Astronomer com o Astro CLI. Use ao investigar problemas de implantação, visualizar logs de produção, analisar falhas ou…

Upgrade the pinned Flask-AppBuilder (FAB) dependency in the Apache Airflow FAB provider (`providers/fab/`). Bumps the exact `flask-appbuilder==` pin and its…

Inicializa a descoberta do esquema do warehouse. Gera .astro/warehouse.md com todos os metadados das tabelas para consultas instantâneas. Execute uma vez por projeto, atualize quando o esquema…