Astronomer Skills

Apache Airflow DAGs, रन, टास्क और सिस्टम कॉन्फ़िगरेशन को क्वेरी, प्रबंधित और समस्या निवारण करें। DAG निरीक्षण, रन प्रबंधन, टास्क लॉगिंग, कॉन्फ़िगरेशन क्वेरी और सीधे REST API एक्सेस में 30+ कमांड का समर्थन करता है। स्थायी कॉन्फ़िगरेशन के साथ कई Airflow इंस्टेंस प्रबंधित करें; स्थानीय और Astro डिप्लॉयमेंट को स्वचालित रूप से खोजें। DAG रन को सिंक्रोनस (पूर्णता की प्रतीक्षा करें) या एसिंक्रोनस रूप से

एयरफ्लो डीएजी में डिफरेबल ऑपरेटरों का उपयोग करके मानव अनुमोदन गेट, फॉर्म इनपुट और ब्रांचिंग। चार ऑपरेटर प्रकार: अनुमोदन/अस्वीकृति निर्णयों के लिए ApprovalOperator, फॉर्म के साथ बहु-विकल्प चयन के लिए HITLOperator, मानव-संचालित कार्य रूटिंग के लिए HITLBranchOperator, और फॉर्म डेटा संग्रह के लिए HITLEntryOperator। सभी ऑपरेटर डिफरेबल हैं, जो एयरफ्लो यूआई के आवश्यक कार्रवाई टैब या REST API के माध्यम

Airflow 3.1+ प्लगइन्स बनाएँ जो FastAPI ऐप्स, कस्टम UI पेज, React कम्पोनेंट्स, मिडलवेयर, मैक्रोज़ और ऑपरेटर लिंक्स को सीधे Airflow UI में एम्बेड करते हैं। उपयोग करें…

अपने डेटा वेयरहाउस से कैश्ड पैटर्न और कॉन्सेप्ट मैपिंग के साथ व्यावसायिक प्रश्नों के उत्तर प्राप्त करें। बार-बार पूछे जाने वाले प्रश्नों के लिए पैटर्न लुकअप और कैशिंग का समर्थन करता है, जिसमें भविष्य के प्रश्नों को बेहतर बनाने के लिए परिणाम रिकॉर्डिंग शामिल है। इसमें कॉन्सेप्ट-टू-टेबल मैपिंग कैश और INFORMATION_SCHEMA या कोडबेस grep के माध्यम से टेबल स्कीमा डिस्कवरी शामिल है। विश्लेषण के लिए

Airflow कार्यों को इनलेट और आउटलेट का उपयोग करके डेटा लाइनेज के साथ एनोटेट करें। डेटाबेस, डेटा वेयरहाउस और क्लाउड स्टोरेज में इनपुट और आउटपुट परिभाषित करने के लिए OpenLineage Dataset ऑब्जेक्ट, Airflow Assets और Airflow Datasets का समर्थन करता है। जब ऑपरेटरों में बिल्ट-इन OpenLineage एक्सट्रैक्टर न हों तो फ़ॉलबैक के रूप में उपयोग करें; चार-स्तरीय प्राथमिकता प्रणाली का पालन करता है जहाँ कस्टम एक्सट्रैक्टर और OpenLineage

Apache Airflow DAGs बनाने के लिए निर्देशित कार्यप्रवाह, जिसमें सत्यापन और परीक्षण एकीकरण शामिल है। संरचित छह-चरणीय दृष्टिकोण: वातावरण और मौजूदा पैटर्न की खोज करें, DAG संरचना की योजना बनाएं, सर्वोत्तम प्रथाओं का पालन करते हुए कार्यान्वित करें, af CLI कमांड से सत्यापित करें, उपयोगकर्ता की सहमति से परीक्षण करें, और सुधारों पर पुनरावृत्ति करें। खोज के लिए CLI कमांड (af config connections, af config providers, af dags list) और सत्यापन के लिए (af d

Pydantic सत्यापन के साथ पुन: प्रयोज्य Airflow कार्य समूह टेम्पलेट परिभाषित करें और YAML से DAGs संकलित करें। blueprint टेम्पलेट बनाते समय, DAGs संकलित करते समय उपयोग करें…

तालिका टाइमस्टैम्प और अद्यतन पैटर्न की जांच करके एक स्टेलनेस स्केल के विरुद्ध डेटा ताजगी सत्यापित करता है। सामान्य ETL नामकरण पैटर्न ( _loaded_at , _updated_at , created_at , आदि) का उपयोग करके टाइमस्टैम्प कॉलम की पहचान करता है और आयु निर्धारित करने के लिए उनके अधिकतम मानों को क्वेरी करता है। डेटा को चार ताजगी स्थितियों में वर्गीकृत करता है: ताजा (< 4 घंटे), बासी (4–24 घंटे), बहुत बासी (> 24 घंटे), य

dbt Core प्रोजेक्ट्स को Astronomer Cosmos का उपयोग करके Airflow DAGs या TaskGroups में बदलें। तीन असेंबली पैटर्न का समर्थन करता है: स्टैंडअलोन DbtDag, मौजूदा DAGs के भीतर DbtTaskGroup, और बारीक नियंत्रण के लिए अलग-अलग Cosmos ऑपरेटर। आइसोलेशन और प्रदर्शन आवश्यकताओं के आधार पर आठ निष्पादन मोड (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC, और अन्य) में से चुनें। गति और सेलेक्टर जटिलता को संतुलित करने के लिए तीन पार्सिंग

Astronomer Cosmos को Snowflake, Databricks, BigQuery या Redshift पर dbt Fusion प्रोजेक्ट्स के लिए स्थानीय निष्पादन के साथ कॉन्फ़िगर करें। Cosmos 1.11.0+, Airflow रनटाइम में अलग से स्थापित dbt Fusion बाइनरी, और सबप्रोसेस आह्वान के साथ ExecutionMode.LOCAL की आवश्यकता है। तीन पार्सिंग रणनीतियों का समर्थन करता है: dbt_manifest (बड़े प्रोजेक्ट्स के लिए सबसे तेज़), dbt_ls (जटिल चयनकर्ताओं के लिए), या स्वचालित (सरल सेटअप)। वेयरहाउस कनेक्शन के ल

कस्टम OpenLineage एक्सट्रैक्टर, असमर्थित Airflow ऑपरेटरों और जटिल लिनिएज परिदृश्यों के लिए। दो दृष्टिकोण: अपने स्वामित्व वाले ऑपरेटरों में सीधे OpenLineage विधियाँ जोड़ें (अनुशंसित), या तीसरे पक्ष के ऑपरेटरों के लिए कस्टम एक्सट्रैक्टर बनाएं जिन्हें आप संशोधित नहीं कर सकते। एक्सट्रैक्टर तीन बिंदुओं पर ऑपरेटर निष्पादन को इंटरसेप्ट करते हैं: स्थिर लिनिएज के लिए निष्पादन से पहले, रनटाइम-निर्धार

Apache Airflow DAGs को dag-factory YAML कॉन्फ़िग के साथ घोषणात्मक रूप से लिखें। dag-factory टेम्पलेट बनाते समय, dag-factory के लिए YAML से DAGs संयोजित करते समय उपयोग करें,…

व्यवस्थित मूल कारण विश्लेषण और विफल Airflow DAGs के लिए संरचित जांच कार्यप्रवाहों के साथ सुधार। चार-चरणीय निदान प्रक्रिया के माध्यम से मार्गदर्शन करता है: विफलता की पहचान करें, त्रुटि विवरण निकालें, प्रासंगिक जानकारी एकत्र करें, और कार्रवाई योग्य सुधार कदम प्रदान करें। विफलताओं को चार प्रकारों (डेटा, कोड, बुनियादी ढांचा, निर्भरता) में वर्गीकृत करता है ताकि जांच पर ध्यान केंद्रित किया जा सके और उपयुक्त सुधार स

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Airflow DAG और प्रोजेक्ट्स को डिप्लॉय करें। इसका उपयोग तब करें जब उपयोगकर्ता कोड डिप्लॉय करना चाहता है, DAG पुश करना चाहता है, CI/CD सेट अप करना चाहता है, प्रोडक्शन में डिप्लॉय करना चाहता है, या डिप्लॉयमेंट रणनीतियों के बारे में पूछता है…

किसी अवधारणा या डोमेन के लिए डेटा खोजें और अन्वेषण करें। इसका उपयोग तब करें जब उपयोगकर्ता पूछता है कि किसी विषय (जैसे, "ARR", "ग्राहक", "ऑर्डर") के लिए क्या डेटा मौजूद है, या खोजना चाहता है…

वेयरहाउस स्कीमा डिस्कवरी आरंभ करें। तत्काल लुकअप के लिए सभी तालिका मेटाडेटा के साथ .astro/warehouse.md जनरेट करता है। प्रति प्रोजेक्ट एक बार चलाएं, स्कीमा बदलने पर रिफ्रेश करें…

वेयरहाउस स्कीमा डिस्कवरी आरंभ करें। सभी तालिका मेटाडेटा के साथ .astro/warehouse.md जनरेट करता है ताकि तत्काल लुकअप हो सके। प्रति प्रोजेक्ट एक बार चलाएं, स्कीमा बदलने पर रिफ्रेश करें…

Astro CLI कमांड के साथ स्थानीय Airflow विकास वातावरण प्रबंधित करें। स्थानीय Airflow कंटेनरों को प्रारंभ, रोकें, पुनरारंभ और बंद करें; डिफ़ॉल्ट क्रेडेंशियल admin/admin हैं जिसमें वेबसर्वर http://localhost:8080 पर है। सभी घटकों या विशिष्ट सेवाओं (scheduler, webserver) के लिए रीयल-टाइम फ़ॉलो विकल्प के साथ लॉग देखें। astro dev bash और astro dev run के माध्यम से कंटेनर शेल तक पहुँचें और सीधे Airflow CLI कमांड चलाएँ। पोर्ट विरोध

Airflow प्रोजेक्ट्स को airflow-ai-sdk से apache-airflow-providers-common-ai 0.1.0+ में माइग्रेट करता है। इस कौशल का उपयोग तब करें जब उपयोगकर्ता airflow-ai-sdk को बदलना चाहता है…

Apache Airflow 2.x DAGs को Apache Airflow 3.x में अपग्रेड करने के लिए स्वचालित पहचान और कोड माइग्रेशन। इम्पोर्ट, ऑपरेटर, हुक और कॉन्टेक्स्ट वेरिएबल्स में ब्रेकिंग चेंजेस का पता लगाने और उन्हें हल करने के लिए Ruff-आधारित ऑटो-फिक्स नियम (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) प्रदान करता है। महत्वपूर्ण आर्किटेक्चर बदलावों को कवर करता है: वर्कर्स अब सीधे मेटाडेटा DB तक नहीं पहुँचते; ORM सेशन क्वेरी के

डेटाबेस तालिकाओं का व्यापक सांख्यिकीय और गुणवत्ता विश्लेषण, संरचित प्रोफाइलिंग आउटपुट के साथ। डेटा प्रकार के अनुसार अनुकूलित कॉलम-स्तरीय आँकड़े उत्पन्न करता है: संख्यात्मक कॉलम के लिए न्यूनतम/अधिकतम/प्रतिशतक, स्ट्रिंग के लिए लंबाई मीट्रिक, टाइमस्टैम्प के लिए दिनांक सीमाएँ। श्रेणीबद्ध बनाम उच्च-कार्डिनैलिटी कॉलम की पहचान करने और तिरछी वितरण का पता लगान

Astro/Airflow प्रोजेक्ट्स को डिपेंडेंसी, कनेक्शन और एनवायरनमेंट सेटअप के साथ इनिशियलाइज़ और कॉन्फ़िगर करें। astro dev init के साथ पूर्ण प्रोजेक्ट संरचना तैयार करता है, जिसमें DAGs, प्लगइन्स, टेस्ट और कॉन्फ़िगरेशन फ़ाइलों के लिए डायरेक्टरी शामिल हैं। requirements.txt और packages.txt के माध्यम से Python और OS-स्तरीय डिपेंडेंसी प्रबंधित करें, जटिल सेटअप के लिए कस्टम Dockerfile सपोर्ट के साथ। airflow_settings.yaml में कनेक्शन, वेरिए

Airflow DAGs के लिए पुनरावृत्त परीक्षण-डीबग-फिक्स चक्र, जिसमें व्यापक विफलता निदान शामिल है। DAG चलाने और पूरा होने की प्रतीक्षा करने के लिए af runs trigger-wait <dag_id> से शुरू करें; किसी प्री-फ्लाइट जांच की आवश्यकता नहीं है। विफलता पर, व्यापक विफलता सारांश के लिए af runs diagnose और विशिष्ट कार्यों से त्रुटि विवरण का निरीक्षण करने के लिए af tasks logs का उपयोग करें। कस्टम कॉन्फ़िगरेशन, टाइमआउट और पुनः प्रयास प्रयासों का समर्थन करता है; स

डाउनस्ट्रीम डेटा वंशावली का पता लगाएं ताकि तालिकाओं या DAGs को संशोधित करने से पहले परिवर्तन के प्रभाव का आकलन किया जा सके। स्रोत कोड खोज, व्यू निर्भरताओं और BI टूल कनेक्शनों के माध्यम से लक्ष्य तालिका या DAG के प्रत्यक्ष उपभोक्ताओं की पहचान करता है। तालिकाओं से लेकर डैशबोर्ड और ML मॉडल तक सभी डाउनस्ट्रीम प्रभावों को मैप करने वाला एक पूर्ण निर्भरता ट्री बनाता है। हितधारक संचार और परीक्षण को प्र

अपस्ट्रीम डेटा वंशावली का पता लगाकर किसी तालिका या स्तंभ को फीड करने वाले स्रोतों, DAGs और निर्भरताओं की पहचान करें। तीन लक्ष्य प्रकारों को ट्रेस करने का समर्थन करता है: तालिकाएँ, स्तंभ और DAGs; उत्पादक पाइपलाइनों को खोजने के लिए Airflow DAG स्रोत कोड और कार्य निरीक्षण का उपयोग करता है। SQL स्रोतों (FROM खंड), बाहरी सिस्टम (S3, Postgres, Salesforce, HTTP APIs) और फ़ाइल-आधारित स्रोतों को संभालता है; अपस्ट्रीम श्रृंखल

वेयरहाउस स्कीमा डिस्कवरी आरंभ करें। सभी तालिका मेटाडेटा के साथ तत्काल लुकअप के लिए .astro/warehouse.md जनरेट करता है। प्रति प्रोजेक्ट एक बार चलाएं, स्कीमा बदलने पर रिफ्रेश करें…