ผู้สอน: ปุณณ์สิริ บุณยเกียรติ (บีท)
Senior Data Engineer, CJ MORE
ใน Workshop วันนี้เราจะครอบคลุมหัวข้อต่าง ๆ ดังนี้:
data-quality-with-apache-airflow/
│
├── README.md
└── assets/
└── dags/
└── documents/
└── prompts/
└── cred/
└── tests/
└── include/| Name | Description |
|---|---|
assets/ |
โฟลเดอร์ที่เก็บ assets เช่นรูปภาพต่างๆ หรือ diagram |
dags/ |
โฟลเดอร์ที่เก็บโค้ด DAG หรือ Airflow Data Pipelines ที่เราสร้างจะใช้ใน workshop |
docker-compose.yaml |
ไฟล์ Docker Compose ที่ใช้รัน Airflow ขึ้นมาบนเครื่อง |
prompts/ |
โฟลเดอร์ที่เก็บ prompts ที่ใช้ในการ Generate Code หรือ Query |
cred/ |
โฟลเดอร์ที่เก็บไฟล์ Credential หรือ Configuration อย่างไฟล์ sa.json |
tests/ |
โฟลเดอร์ที่เก็บไฟล์ unitest เพื่อทำการทดสอบ python code |
include/ |
โฟลเดอร์ที่เก็บ commons หรือ external integrate กับ open-source อื่นเช่น greate expactation |