Skills Astronomer

Запрос, управление и устранение неполадок DAG, запусков, задач и системной конфигурации Apache Airflow. Поддерживает более 30 команд для проверки DAG, управления запусками, ведения журналов задач, запросов конфигурации и прямого доступа к REST API. Управление несколькими экземплярами Airflow с постоянной конфигурацией; автоматическое обнаружение локальных и Astro развертываний. Синхронный (с ожиданием завершения) или асинхронный запуск DAG, диагностика сбоев, очистка запусков для повторного выполнения, доступ к журналам задач с фильтрацией по повторным попыткам и индексу карты. Вывод...

Шлюзы утверждения человеком, ввод форм и ветвление в DAG Airflow с использованием отложенных операторов. Четыре типа операторов: ApprovalOperator для решений утвердить/отклонить, HITLOperator для выбора нескольких вариантов с формами, HITLBranchOperator для маршрутизации задач на основе решений человека и HITLEntryOperator для сбора данных из форм. Все операторы являются отложенными, освобождая слоты рабочих узлов в ожидании ответа человека через вкладку Required Actions в интерфейсе Airflow или REST API. Поддерживает дополнительные функции, включая пользовательские...

Создавайте плагины для Airflow 3.1+, которые встраивают приложения FastAPI, пользовательские страницы интерфейса, компоненты React, промежуточное ПО, макросы и ссылки на операторы непосредственно в интерфейс Airflow. Используйте…

Запрашивайте данные из вашего хранилища данных для ответа на бизнес-вопросы с использованием кэшированных шаблонов и сопоставлений понятий. Поддерживает поиск по шаблонам и кэширование для повторяющихся типов вопросов с записью результатов для улучшения будущих запросов. Включает кэш сопоставлений понятий и таблиц, а также обнаружение схем таблиц через INFORMATION_SCHEMA или grep кодовой базы. Предоставляет функции ядра run_sql() и run_sql_pandas(), возвращающие DataFrames Polars или Pandas для анализа. Команды CLI для управления кэшами понятий, шаблонов и таблиц, а также...

Аннотирование задач Airflow с помощью data lineage с использованием inlets и outlets. Поддерживает объекты Dataset OpenLineage, Airflow Assets и Airflow Datasets для определения входных и выходных данных в базах данных, хранилищах данных и облачных хранилищах. Используется как запасной вариант, когда операторам не хватает встроенных экстракторов OpenLineage; следует четырехуровневой системе приоритетов, где пользовательские экстракторы и методы OpenLineage имеют приоритет. Включает вспомогательные функции для именования наборов данных для Snowflake, BigQuery, S3 и PostgreSQL для обеспечения согласованности...

Пошаговый процесс создания DAG Apache Airflow с интеграцией валидации и тестирования. Структурированный шестифазный подход: обнаружение среды и существующих шаблонов, планирование структуры DAG, реализация с соблюдением лучших практик, валидация с помощью команд af CLI, тестирование с согласия пользователя и итеративное исправление. Команды CLI для обнаружения (af config connections, af config providers, af dags list) и валидации (af dags errors, af dags get, af dags explore) обеспечивают немедленную обратную связь по DAG...

Определяйте переиспользуемые шаблоны групп задач Airflow с валидацией Pydantic и составляйте DAG из YAML. Используйте при создании шаблонов blueprint, составлении DAG из…

Проверяет свежесть данных, сравнивая временные метки таблиц и шаблоны обновлений со шкалой устаревания. Определяет столбцы с временными метками, используя распространённые шаблоны именования ETL (_loaded_at, _updated_at, created_at и т.д.), и запрашивает их максимальные значения для определения возраста. Классифицирует данные по четырём статусам свежести: Свежие (< 4 часов), Устаревшие (4–24 часа), Очень устаревшие (> 24 часов) или Неизвестно (временная метка не найдена). Предоставляет SQL-шаблоны для проверки времени последнего обновления и тенденций количества строк за последние дни, чтобы...

Преобразуйте проекты dbt Core в DAG или TaskGroups Airflow с помощью Astronomer Cosmos. Поддерживает три шаблона сборки: автономный DbtDag, DbtTaskGroup в существующих DAG и отдельные операторы Cosmos для тонкой настройки. Выберите один из восьми режимов выполнения (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC и другие) в зависимости от требований к изоляции и производительности. Предлагает три стратегии парсинга (dbt_manifest, dbt_ls, dbt_ls_file, automatic) для балансировки скорости и сложности селекторов...

Настройка Astronomer Cosmos для проектов dbt Fusion на Snowflake, Databricks, BigQuery или Redshift с локальным выполнением. Требуется Cosmos 1.11.0+, отдельная установка бинарного файла dbt Fusion в среде выполнения Airflow и ExecutionMode.LOCAL с вызовом подпроцесса. Поддерживает три стратегии парсинга: dbt_manifest (самая быстрая для крупных проектов), dbt_ls (для сложных селекторов) или автоматическая (для простых конфигураций). Охватывает настройку ProfileConfig для подключения к хранилищам, ProjectConfig для путей к проектам dbt и...

Пользовательские экстракторы OpenLineage для неподдерживаемых операторов Airflow и сложных сценариев происхождения данных. Два подхода: добавление методов OpenLineage непосредственно в операторы, которыми вы владеете (рекомендуется), или создание пользовательских экстракторов для сторонних операторов, которые вы не можете изменить. Экстракторы перехватывают выполнение оператора в трех точках: перед выполнением для статического происхождения, после успешного выполнения для определения выходных данных во время выполнения и опционально после сбоя для частичного происхождения. Регистрируйте экстракторы через airflow.cfg или переменные окружения...

Автор Apache Airflow DAGs декларативно с помощью YAML-конфигураций dag-factory. Используйте при создании шаблонов dag-factory, компоновке DAG из YAML для dag-factory,…

Систематический анализ первопричин и устранение неисправностей для упавших DAG-графов Airflow с использованием структурированных рабочих процессов расследования. Проводит через четырехэтапный процесс диагностики: выявление сбоя, извлечение деталей ошибки, сбор контекстной информации и предоставление практических шагов по исправлению. Классифицирует сбои на четыре типа (данные, код, инфраструктура, зависимости) для фокусировки расследования и предложения соответствующих исправлений. Предоставляет готовые к использованию команды CLI для извлечения журналов, сравнения запусков, очистки задач и DAG...

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Развертывание DAG-файлов и проектов Airflow. Используйте, когда пользователь хочет развернуть код, отправить DAG-файлы, настроить CI/CD, выполнить развертывание в рабочей среде или спрашивает о стратегиях развертывания…

Обнаружение и исследование данных по концепции или области. Используйте, когда пользователь спрашивает, какие данные существуют по теме (например, «ARR», «клиенты», «заказы»), хочет найти…

Инициализация обнаружения схемы хранилища. Создаёт .astro/warehouse.md со всеми метаданными таблиц для мгновенного поиска. Запускается один раз на проект, обновляется при изменении схемы…

Инициализация обнаружения схемы хранилища. Создаёт .astro/warehouse.md со всеми метаданными таблиц для мгновенного поиска. Запускается один раз на проект, обновляется при изменении схемы…

Управление локальной средой разработки Airflow с помощью команд Astro CLI. Запуск, остановка, перезапуск и завершение локальных контейнеров Airflow; учетные данные по умолчанию — admin/admin, веб-сервер доступен по адресу http://localhost:8080. Просмотр логов всех компонентов или отдельных сервисов (scheduler, webserver) с возможностью отслеживания в реальном времени. Доступ к оболочкам контейнеров и выполнение команд Airflow CLI напрямую через astro dev bash и astro dev run. Устранение распространенных проблем, включая конфликты портов, ошибки запуска, ошибки пакетов и...

Переносит проекты Airflow с airflow-ai-sdk на apache-airflow-providers-common-ai версии 0.1.0 и выше. Используйте этот навык, когда пользователь хочет заменить airflow-ai-sdk на…

Автоматизированное обнаружение и миграция кода для обновления DAG-файлов Apache Airflow 2.x до версии 3.x. Предоставляет правила автоматического исправления на основе Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) для выявления и устранения критических изменений в импортах, операторах, хуках и контекстных переменных. Охватывает ключевые архитектурные изменения: воркеры больше не имеют прямого доступа к метабазе данных; используйте Python-клиент Airflow или REST API вместо запросов через ORM-сессии. Включает чеклист ручной миграции для проблем, которые Ruff не может исправить автоматически: cron...

Всесторонний статистический и качественный анализ таблиц базы данных со структурированным профилированием результатов. Генерирует статистику на уровне столбцов с учетом типа данных: минимум/максимум/процентили для числовых столбцов, метрики длины для строк, диапазоны дат для временных меток. Выполняет анализ кардинальности для выявления категориальных столбцов и столбцов с высокой кардинальностью, а также обнаруживает искаженные распределения. Оценивает качество данных по пяти измерениям: полнота (уровень NULL), уникальность (дубликаты), свежесть (временные метки обновления),...

Инициализация и настройка проектов Astro/Airflow с зависимостями, подключениями и конфигурацией окружения. Создаёт полную структуру проекта с помощью astro dev init, включая каталоги для DAG, плагинов, тестов и конфигурационных файлов. Управление зависимостями Python и ОС через requirements.txt и packages.txt с поддержкой пользовательского Dockerfile для сложных конфигураций. Декларативная настройка подключений, переменных и пулов в airflow_settings.yaml с командами экспорта/импорта для окружения...

Итеративные циклы тестирования, отладки и исправления для DAG-файлов Airflow с комплексной диагностикой сбоев. Начните с af runs trigger-wait <dag_id> для запуска DAG и ожидания завершения; предварительные проверки не требуются. При сбое используйте af runs diagnose для получения сводки по сбоям и af tasks logs для просмотра деталей ошибок из конкретных задач. Поддерживает пользовательскую конфигурацию, тайм-ауты и повторные попытки; обрабатывает сценарии успеха, сбоя и тайм-аута с четкой интерпретацией результатов. Доступна быстрая проверка...

Отслеживание нисходящей линии данных для оценки влияния изменений перед модификацией таблиц или DAG. Определяет прямых потребителей целевой таблицы или DAG через поиск исходного кода, зависимости представлений и подключения BI-инструментов. Строит полное дерево зависимостей, отображающее все нисходящие воздействия — от таблиц до дашбордов и ML-моделей. Классифицирует зависимости по критичности (критическая, высокая, средняя, низкая) для приоритизации коммуникации с заинтересованными сторонами и тестирования. Формирует отчет о влиянии с оценкой рисков, затронутыми...

Отслеживает восходящую линию данных для определения источников, DAG и зависимостей, питающих таблицу или столбец. Поддерживает трассировку трех типов целей: таблиц, столбцов и DAG; использует исходный код DAG Airflow и проверку задач для поиска производящих конвейеров. Обрабатывает SQL-источники (предложения FROM), внешние системы (S3, Postgres, Salesforce, HTTP API) и файловые источники; рекурсивно отслеживает восходящие цепочки. Включает трассировку на уровне столбцов через прямые сопоставления, преобразования и агрегации в коде DAG...

Инициализация обнаружения схемы хранилища. Создаёт .astro/warehouse.md со всеми метаданными таблиц для мгновенного поиска. Запускается один раз на проект, обновляется при изменении схемы…