magpie-setup

Persists task and asset state across retries and DAG runs using Airflow 3.3's AIP-103 key/value stores (`task_state_store`, `asset_state_store`) and the…

कस्टम OpenLineage एक्सट्रैक्टर, असमर्थित Airflow ऑपरेटरों और जटिल लिनिएज परिदृश्यों के लिए। दो दृष्टिकोण: अपने स्वामित्व वाले ऑपरेटरों में सीधे OpenLineage विधियाँ जोड़ें (अनुशंसित), या तीसरे पक्ष के ऑपरेटरों के लिए कस्टम एक्सट्रैक्टर बनाएं जिन्हें आप संशोधित नहीं कर सकते। एक्सट्रैक्टर तीन बिंदुओं पर ऑपरेटर निष्पादन को इंटरसेप्ट करते हैं: स्थिर लिनिएज के लिए निष्पादन से पहले, रनटाइम-निर्धार

व्यवस्थित मूल कारण विश्लेषण और विफल Airflow DAGs के लिए संरचित जांच कार्यप्रवाहों के साथ सुधार। चार-चरणीय निदान प्रक्रिया के माध्यम से मार्गदर्शन करता है: विफलता की पहचान करें, त्रुटि विवरण निकालें, प्रासंगिक जानकारी एकत्र करें, और कार्रवाई योग्य सुधार कदम प्रदान करें। विफलताओं को चार प्रकारों (डेटा, कोड, बुनियादी ढांचा, निर्भरता) में वर्गीकृत करता है ताकि जांच पर ध्यान केंद्रित किया जा सके और उपयुक्त सुधार स

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

Airflow DAG और प्रोजेक्ट्स को डिप्लॉय करें। इसका उपयोग तब करें जब उपयोगकर्ता कोड डिप्लॉय करना चाहता है, DAG पुश करना चाहता है, CI/CD सेट अप करना चाहता है, प्रोडक्शन में डिप्लॉय करना चाहता है, या डिप्लॉयमेंट रणनीतियों के बारे में पूछता है…

संकलित Airflow Go SDK बंडलों को बनाता, पैक करता और तैनात करता है ताकि ExecutableCoordinator उन्हें चला सके। उपयोग तब करें जब उपयोगकर्ता Go टास्क बंडल को संकलित करना चाहता है, पूछता है…

Airflow DAGs के लिए पुनरावृत्त परीक्षण-डीबग-फिक्स चक्र, जिसमें व्यापक विफलता निदान शामिल है। DAG चलाने और पूरा होने की प्रतीक्षा करने के लिए af runs trigger-wait <dag_id> से शुरू करें; किसी प्री-फ्लाइट जांच की आवश्यकता नहीं है। विफलता पर, व्यापक विफलता सारांश के लिए af runs diagnose और विशिष्ट कार्यों से त्रुटि विवरण का निरीक्षण करने के लिए af tasks logs का उपयोग करें। कस्टम कॉन्फ़िगरेशन, टाइमआउट और पुनः प्रयास प्रयासों का समर्थन करता है; स

डाउनस्ट्रीम डेटा वंशावली का पता लगाएं ताकि तालिकाओं या DAGs को संशोधित करने से पहले परिवर्तन के प्रभाव का आकलन किया जा सके। स्रोत कोड खोज, व्यू निर्भरताओं और BI टूल कनेक्शनों के माध्यम से लक्ष्य तालिका या DAG के प्रत्यक्ष उपभोक्ताओं की पहचान करता है। तालिकाओं से लेकर डैशबोर्ड और ML मॉडल तक सभी डाउनस्ट्रीम प्रभावों को मैप करने वाला एक पूर्ण निर्भरता ट्री बनाता है। हितधारक संचार और परीक्षण को प्र