Skills Astronomer

สอบถาม จัดการ และแก้ไขปัญหา DAGs, การรัน, งาน และการกำหนดค่าระบบของ Apache Airflow รองรับคำสั่งมากกว่า 30 คำสั่งสำหรับการตรวจสอบ DAG, การจัดการการรัน, การบันทึกงาน, การสอบถามการกำหนดค่า และการเข้าถึง REST API โดยตรง จัดการอินสแตนซ์ Airflow หลายตัวพร้อมการกำหนดค่าถาวร ค้นหาการปรับใช้ในเครื่องและ Astro โดยอัตโนมัติ เรียกใช้ DAG แบบซิงโครนัส (รอให้เสร็จ) หรือแบบอะซิงโครนัส วินิจฉัยข้อผิดพลาด ล้างการรันเพื่อลองใหม่ และเข้าถึงบันทึกงานพร้อมการกรอง retry/map-index ผลลัพธ์...

ประตูการอนุมัติของมนุษย์, การป้อนข้อมูลฟอร์ม, และการแตกกิ่งใน Airflow DAGs โดยใช้ตัวดำเนินการที่สามารถเลื่อนได้ ตัวดำเนินการสี่ประเภท: ApprovalOperator สำหรับการตัดสินใจอนุมัติ/ปฏิเสธ, HITLOperator สำหรับการเลือกหลายตัวเลือกพร้อมฟอร์ม, HITLBranchOperator สำหรับการกำหนดเส้นทางงานที่ขับเคลื่อนโดยมนุษย์, และ HITLEntryOperator สำหรับการรวบรวมข้อมูลฟอร์ม ตัวดำเนินการทั้งหมดสามารถเลื่อนได้ โดยปล่อยช่อง worker ขณะรอการตอบสนองจากมนุษย์ผ่านแท็บ Required Actions ของ Airflow UI หรือ REST API รองรับคุณสมบัติเสริมรวมถึงแบบกำหนดเอง...

สร้างปลั๊กอิน Airflow 3.1+ ที่ฝังแอป FastAPI, หน้า UI แบบกำหนดเอง, คอมโพเนนต์ React, มิดเดิลแวร์, มาโคร และลิงก์โอเปอเรเตอร์ลงใน UI ของ Airflow โดยตรง ใช้…

สอบถามคลังข้อมูลของคุณเพื่อตอบคำถามทางธุรกิจด้วยรูปแบบที่แคชไว้และการแมปแนวคิด รองรับการค้นหารูปแบบและการแคชสำหรับประเภทคำถามที่เกิดซ้ำ พร้อมบันทึกผลลัพธ์เพื่อปรับปรุงการสอบถามในอนาคต รวมถึงแคชการแมปแนวคิดไปยังตารางและการค้นพบสคีมาตารางผ่าน INFORMATION_SCHEMA หรือการ grep โค้ดเบส มีฟังก์ชันเคอร์เนล run_sql() และ run_sql_pandas() ที่ส่งคืน Polars หรือ Pandas DataFrames สำหรับการวิเคราะห์ คำสั่ง CLI สำหรับจัดการแคชแนวคิด รูปแบบ และตาราง รวมถึง...

ใส่คำอธิบาย Airflow tasks ด้วย data lineage โดยใช้ inlets และ outlets รองรับ OpenLineage Dataset objects, Airflow Assets และ Airflow Datasets สำหรับกำหนด inputs และ outputs ครอบคลุมฐานข้อมูล, data warehouses และ cloud storage ใช้เป็นทางเลือกสำรองเมื่อ operators ไม่มี OpenLineage extractors ในตัว; ทำงานตามระบบลำดับความสำคัญสี่ระดับที่ custom extractors และ OpenLineage methods มีสิทธิ์優先 รวมถึงตัวช่วยตั้งชื่อ dataset สำหรับ Snowflake, BigQuery, S3 และ PostgreSQL เพื่อให้มั่นใจถึงความสอดคล้อง...

เวิร์กโฟลว์แบบมีคำแนะนำสำหรับสร้าง Apache Airflow DAGs พร้อมการตรวจสอบความถูกต้องและการผสานการทดสอบ แนวทางแบบหกขั้นตอน: ค้นพบสภาพแวดล้อมและรูปแบบที่มีอยู่ วางแผนโครงสร้าง DAG ดำเนินการตามแนวทางปฏิบัติที่ดีที่สุด ตรวจสอบความถูกต้องด้วยคำสั่ง CLI ของ af ทดสอบโดยได้รับความยินยอมจากผู้ใช้ และปรับปรุงแก้ไขซ้ำ คำสั่ง CLI สำหรับการค้นพบ (af config connections, af config providers, af dags list) และการตรวจสอบความถูกต้อง (af dags errors, af dags get, af dags explore) ให้ข้อเสนอแนะทันทีเกี่ยวกับ DAG...

กำหนดเทมเพลตกลุ่มงาน Airflow ที่ใช้ซ้ำได้พร้อมการตรวจสอบความถูกต้องด้วย Pydantic และประกอบ DAG จาก YAML ใช้เมื่อสร้างเทมเพลต blueprint หรือประกอบ DAG จาก…

ตรวจสอบความสดใหม่ของข้อมูลโดยการตรวจสอบเวลาปรับปรุงของตารางและรูปแบบการอัปเดตเทียบกับระดับความเก่า ระบุคอลัมน์เวลาปรับปรุงโดยใช้รูปแบบการตั้งชื่อ ETL ทั่วไป (เช่น _loaded_at, _updated_at, created_at) และสอบถามค่าสูงสุดเพื่อกำหนดอายุ จัดประเภทข้อมูลเป็นสถานะความสดใหม่สี่สถานะ: สดใหม่ (น้อยกว่า 4 ชั่วโมง), เก่า (4–24 ชั่วโมง), เก่ามาก (มากกว่า 24 ชั่วโมง) หรือไม่ทราบ (ไม่พบเวลาปรับปรุง) มีเทมเพลต SQL สำหรับตรวจสอบเวลาปรับปรุงล่าสุดและแนวโน้มจำนวนแถวในช่วงไม่กี่วันที่ผ่านมาเพื่อ...

แปลงโปรเจกต์ dbt Core เป็น Airflow DAGs หรือ TaskGroups โดยใช้ Astronomer Cosmos รองรับรูปแบบการประกอบสามแบบ: DbtDag แบบสแตนด์อโลน, DbtTaskGroup ภายใน DAG ที่มีอยู่ และตัวดำเนินการ Cosmos แต่ละตัวเพื่อการควบคุมแบบละเอียด เลือกจากโหมดการทำงานแปดโหมด (WATCHER, LOCAL, VIRTUALENV, KUBERNETES, AIRFLOW_ASYNC และอื่นๆ) ตามความต้องการด้านการแยกส่วนและประสิทธิภาพ มีกลยุทธ์การแยกวิเคราะห์สามแบบ (dbt_manifest, dbt_ls, dbt_ls_file, automatic) เพื่อปรับสมดุลความเร็วและความซับซ้อนของตัวเลือก...

กำหนดค่า Astronomer Cosmos สำหรับโปรเจกต์ dbt Fusion บน Snowflake, Databricks, BigQuery หรือ Redshift ด้วยการทำงานในเครื่อง ต้องใช้ Cosmos 1.11.0+ ติดตั้ง dbt Fusion binary แยกต่างหากใน Airflow runtime และใช้ ExecutionMode.LOCAL พร้อมการเรียกใช้แบบ subprocess รองรับกลยุทธ์การแยกวิเคราะห์สามแบบ: dbt_manifest (เร็วที่สุดสำหรับโปรเจกต์ขนาดใหญ่), dbt_ls (สำหรับตัวเลือกที่ซับซ้อน) หรือ automatic (การตั้งค่าอย่างง่าย) ครอบคลุมการตั้งค่า ProfileConfig สำหรับการเชื่อมต่อ warehouse, ProjectConfig สำหรับเส้นทางโปรเจกต์ dbt และ...

ตัวแยกข้อมูล OpenLineage แบบกำหนดเองสำหรับโอเปอเรเตอร์ Airflow ที่ไม่รองรับและสถานการณ์สายเลือดที่ซับซ้อน สองแนวทาง: เพิ่มเมธอด OpenLineage ลงในโอเปอเรเตอร์ที่คุณเป็นเจ้าของโดยตรง (แนะนำ) หรือสร้างตัวแยกข้อมูลแบบกำหนดเองสำหรับโอเปอเรเตอร์ของบุคคลที่สามที่คุณไม่สามารถแก้ไขได้ ตัวแยกข้อมูลจะสกัดกั้นการทำงานของโอเปอเรเตอร์ที่สามจุด: ก่อนการดำเนินการสำหรับสายเลือดแบบคงที่ หลังจากสำเร็จสำหรับเอาต์พุตที่กำหนดในรันไทม์ และหลังจากล้มเหลวสำหรับสายเลือดบางส่วน ลงทะเบียนตัวแยกข้อมูลผ่าน airflow.cfg หรือสภาพแวดล้อม...

สร้าง Apache Airflow DAGs แบบประกาศด้วยการกำหนดค่า YAML ของ dag-factory ใช้เมื่อสร้างเทมเพลต dag-factory, ประกอบ DAGs จาก YAML สำหรับ dag-factory,…

การวิเคราะห์สาเหตุที่แท้จริงอย่างเป็นระบบและการแก้ไขสำหรับ Airflow DAGs ที่ล้มเหลว พร้อมขั้นตอนการตรวจสอบที่มีโครงสร้าง ชี้แนะผ่านกระบวนการวินิจฉัยสี่ขั้นตอน: ระบุความล้มเหลว ดึงรายละเอียดข้อผิดพลาด รวบรวมข้อมูลบริบท และส่งมอบขั้นตอนการแก้ไขที่สามารถดำเนินการได้ จัดหมวดหมู่ความล้มเหลวออกเป็นสี่ประเภท (ข้อมูล โค้ด โครงสร้างพื้นฐาน การพึ่งพา) เพื่อมุ่งเน้นการตรวจสอบและแนะนำการแก้ไขที่เหมาะสม ให้คำสั่ง CLI ที่พร้อมใช้งานสำหรับการดึงข้อมูลบันทึก การเปรียบเทียบการรัน การล้างงาน และ DAG...

Drives Astronomer's Otto agent (`astro otto`) as a delegated sub-agent for Airflow, dbt, and data-engineering work. Use when the user explicitly asks to "use…

ปรับใช้ Airflow DAGs และโปรเจกต์ ใช้เมื่อผู้ใช้ต้องการปรับใช้โค้ด, ส่ง DAGs, ตั้งค่า CI/CD, ปรับใช้สู่ระบบผลิต หรือสอบถามเกี่ยวกับกลยุทธ์การปรับใช้…

ค้นหาและสำรวจข้อมูลสำหรับแนวคิดหรือโดเมน ใช้เมื่อผู้ใช้ถามว่ามีข้อมูลใดบ้างสำหรับหัวข้อ (เช่น "ARR", "ลูกค้า", "คำสั่งซื้อ") ต้องการค้นหา…

เริ่มต้นการค้นพบโครงสร้างคลังข้อมูล สร้างไฟล์ .astro/warehouse.md พร้อมข้อมูลเมตาของตารางทั้งหมดสำหรับการค้นหาทันที เรียกใช้ครั้งเดียวต่อโปรเจกต์ รีเฟรชเมื่อโครงสร้างมีการเปลี่ยนแปลง…

เริ่มต้นการค้นพบโครงสร้างคลังสินค้า สร้างไฟล์ .astro/warehouse.md พร้อมข้อมูลเมตาของตารางทั้งหมดสำหรับการค้นหาทันที เรียกใช้หนึ่งครั้งต่อโปรเจกต์ รีเฟรชเมื่อโครงสร้างมีการเปลี่ยนแปลง…

จัดการสภาพแวดล้อมการพัฒนา Airflow ในเครื่องด้วยคำสั่ง Astro CLI เริ่ม หยุด รีสตาร์ท และหยุดการทำงานของคอนเทนเนอร์ Airflow ในเครื่อง; ข้อมูลประจำตัวเริ่มต้นคือ admin/admin โดยเว็บเซิร์ฟเวอร์อยู่ที่ http://localhost:8080 ดูบันทึกสำหรับคอมโพเนนต์ทั้งหมดหรือบริการเฉพาะ (scheduler, webserver) พร้อมตัวเลือกติดตามแบบเรียลไทม์ เข้าถึงเชลล์ของคอนเทนเนอร์และรันคำสั่ง Airflow CLI โดยตรงผ่าน astro dev bash และ astro dev run แก้ไขปัญหาทั่วไปรวมถึงข้อขัดแย้งของพอร์ต ความล้มเหลวในการเริ่มต้น ข้อผิดพลาดของแพ็กเกจ และ...

ย้ายโปรเจกต์ Airflow จาก airflow-ai-sdk ไปยัง apache-airflow-providers-common-ai 0.1.0+ ใช้ทักษะนี้เมื่อผู้ใช้ต้องการแทนที่ airflow-ai-sdk ด้วย…

การตรวจจับอัตโนมัติและการย้ายโค้ดสำหรับอัปเกรด DAG ของ Apache Airflow 2.x เป็น Airflow 3.x มีกฎการแก้ไขอัตโนมัติแบบ Ruff (AIR30/AIR301/AIR302/AIR31/AIR311/AIR312) เพื่อตรวจจับและแก้ไขการเปลี่ยนแปลงที่ทำให้เกิดข้อผิดพลาดในการนำเข้า โอเปอเรเตอร์ ฮุค และตัวแปรบริบท ครอบคลุมการเปลี่ยนแปลงสถาปัตยกรรมที่สำคัญ: เวิร์กเกอร์ไม่สามารถเข้าถึงฐานข้อมูลเมตาดาต้าโดยตรงอีกต่อไป ใช้ Airflow Python client หรือ REST API แทนการสอบถาม ORM session รวมถึงรายการตรวจสอบการย้ายด้วยตนเองสำหรับปัญหาที่ Ruff ไม่สามารถแก้ไขอัตโนมัติ: cron...

การวิเคราะห์ทางสถิติและคุณภาพอย่างครอบคลุมของตารางฐานข้อมูล พร้อมผลลัพธ์การทำโปรไฟล์ที่มีโครงสร้าง สร้างสถิติระดับคอลัมน์ที่ปรับตามประเภทข้อมูล: ค่าต่ำสุด/สูงสุด/เปอร์เซ็นไทล์สำหรับคอลัมน์ตัวเลข, เมตริกความยาวสำหรับสตริง, ช่วงวันที่สำหรับ timestamp ดำเนินการวิเคราะห์คาร์ดินัลลิตี้เพื่อระบุคอลัมน์ที่เป็นหมวดหมู่เทียบกับคาร์ดินัลลิตี้สูง และตรวจจับการกระจายที่เบ้ ประเมินคุณภาพข้อมูลในห้ามิติ: ความสมบูรณ์ (อัตรา NULL), ความเป็นเอกลักษณ์ (ข้อมูลซ้ำ), ความสดใหม่ (timestamp การอัปเดต),...

เริ่มต้นและกำหนดค่าโปรเจกต์ Astro/Airflow พร้อมการจัดการ dependencies, connections, และการตั้งค่าสภาพแวดล้อม สร้างโครงสร้างโปรเจกต์ที่สมบูรณ์ด้วย astro dev init ซึ่งรวมถึงไดเรกทอรีสำหรับ DAGs, plugins, tests, และไฟล์การกำหนดค่า จัดการ dependencies ระดับ Python และ OS ผ่าน requirements.txt และ packages.txt พร้อมรองรับ Dockerfile แบบกำหนดเองสำหรับการตั้งค่าที่ซับซ้อน กำหนดค่า connections, variables, และ pools แบบ declarative ใน airflow_settings.yaml พร้อมคำสั่ง export/import สำหรับสภาพแวดล้อม...

วงจรการทดสอบ-ดีบัก-แก้ไขแบบวนซ้ำสำหรับ Airflow DAGs พร้อมการวินิจฉัยข้อผิดพลาดอย่างครอบคลุม เริ่มต้นด้วย af runs trigger-wait <dag_id> เพื่อรัน DAG และรอให้เสร็จสมบูรณ์ ไม่จำเป็นต้องตรวจสอบก่อนเริ่มต้น เมื่อเกิดข้อผิดพลาด ให้ใช้ af runs diagnose เพื่อสรุปข้อผิดพลาดอย่างครอบคลุม และ af tasks logs เพื่อตรวจสอบรายละเอียดข้อผิดพลาดจากงานเฉพาะ รองรับการกำหนดค่าเอง การหมดเวลา และการลองใหม่ จัดการสถานการณ์สำเร็จ ล้มเหลว และหมดเวลาพร้อมการตีความผลลัพธ์ที่ชัดเจน มีการตรวจสอบความถูกต้องอย่างรวดเร็ว...

ติดตามสายข้อมูลปลายน้ำเพื่อประเมินผลกระทบจากการเปลี่ยนแปลงก่อนปรับแก้ตารางหรือ DAG ระบุผู้บริโภคโดยตรงของตารางเป้าหมายหรือ DAG ผ่านการค้นหาในซอร์สโค้ด การขึ้นต่อกันของวิว และการเชื่อมต่อเครื่องมือ BI สร้างแผนผังการขึ้นต่อกันแบบสมบูรณ์ที่แสดงผลกระทบปลายน้ำทั้งหมด ตั้งแต่ตารางไปจนถึงแดชบอร์ดและโมเดล ML จัดหมวดหมู่การขึ้นต่อกันตามความสำคัญ (วิกฤต สูง ปานกลาง ต่ำ) เพื่อจัดลำดับความสำคัญในการสื่อสารกับผู้มีส่วนได้ส่วนเสียและการทดสอบ สร้างรายงานผลกระทบพร้อมการประเมินความเสี่ยง ผลกระทบที่ได้รับ...

ติดตามสายข้อมูลต้นทางเพื่อระบุแหล่งที่มา DAG และ dependencies ที่ป้อนเข้าสู่ตารางหรือคอลัมน์ รองรับการติดตามเป้าหมายสามประเภท: ตาราง คอลัมน์ และ DAG; ใช้ซอร์สโค้ด Airflow DAG และการตรวจสอบงานเพื่อค้นหาไปป์ไลน์ที่ผลิตข้อมูล จัดการกับแหล่ง SQL (คำสั่ง FROM), ระบบภายนอก (S3, Postgres, Salesforce, HTTP APIs) และแหล่งที่ใช้ไฟล์; ติดตามสายโซ่ต้นทางแบบเรียกซ้ำ รวมถึงการติดตามระดับคอลัมน์ผ่านการแมปโดยตรง การแปลง และการรวมในโค้ด DAG...

เริ่มต้นการค้นหาโครงสร้างคลังสินค้า สร้างไฟล์ .astro/warehouse.md พร้อมข้อมูลเมตาของตารางทั้งหมดสำหรับการค้นหาทันที ทำงานครั้งเดียวต่อโปรเจกต์ รีเฟรชเมื่อโครงสร้างมีการเปลี่ยนแปลง…