دوره آموزشی یادگیری جامع Apache Airflow
2 ساعت 15 دقیقهمتوسط2023-08-15
مدرسین
Janani Ravi
Certified Google Cloud Architect and Data Engineer
جزئیات دوره
اگه قبلاً با اصول اولیه Apache Airflow آشنا هستی اما دوست داری بیشتر یاد بگیری، این دوره برای تو مناسبه. جانانی راوی، مهندس داده و معمار ابری گواهیشده گوگل، تو رو از طریق ویژگیهای ضروری Apache Airflow راهنمایی میکنه. بعد از یک مرور سریع بر اینکه Airflow چیه، جانانی میره سراغ کار کردن با API TaskFlow و استفاده از اون برای انجام عملیات مختلف. بهت نشون میده چطور PostgreSQL رو در Airflow ادغام کنی، همچنین چطور از سنسورها استفاده کنی و با هوکها کار کنی. این دوره بهت کمک میکنه که استفادهات از Apache Airflow رو به سطح بالاتری برسونی.
مهارت ها
Apache AirflowApacheDevOps ToolsData EngineeringDevOpsData ScienceOne-Off
سرفصل ها
0. مقدمه
- 01 - آموزش جامع Apache Airflow
1. کار با TaskFlow API
- 02 - پیش نیازها
- 03 - نمای کلی راهاندازی جریان هوای سریع
- 04 - DAG با استفاده از PythonOperators
- 05 - DAG با استفاده از TaskFlow
- 06 - انتقال دادهها با استفاده از XCom با اپراتورها
- 07 - انتقال دادهها با استفاده از TaskFlow API
- 08 - وظایف با خروجیهای متعدد
- 09 - ارسال چندین خروجی در TaskFlow
2. انجام عملیات با استفاده از TaskFlow
- 10 - انشعاب با استفاده از عملگرها
- 11 - انشعاب با استفاده از TaskFlow API
- 12 - خط لوله انشعاب را با استفاده از TaskFlow کامل کنید
- 13 - تعامل و ارسال داده بین اپراتورها و TaskFlow
- 14 - انجام عملیات SQL با TaskFlow
- 15 - تبدیل و ذخیرهسازی دادهها با استفاده از TaskFlow
3. یکپارچه سازی PostgreSQL در جریان هوا
- 16 - نصب PostgreSQL در macOS
- 17 - نصب PostgreSQL در WSL
- 18 - اتصال به PostgreSQL
- 19 - استفاده از عملگر PostgreSQL
- 20 - انجام عملیات درج PostgreSQL
- 21 - انجام عملیات Join PostgreSQL
- 22 - یک خط لوله کامل سرتاسر با PostgreSQL
- 23 - پیکربندی PostgreSQL به عنوان پایگاه داده ابرداده و استفاده از LocalExecutor
4. استفاده از سنسورها در جریان هوا
- 24 - معرفی FileSensor
- 25 - ایجاد خط لوله با استفاده از FileSensor
- 26 - اجرای DAG با FileSensor
- 27 - ایجاد و اجرای خط لوله با SQLSensors
5. کار با هوک در جریان هوا
- 28 - راهاندازی خط لوله PostgreSQL با قلاب
- 29 - ایجاد و اجرای خط لوله با قلابهای PostgresSQL
- 30 - راهاندازی دسترسی به سطلهای آمازون S3
- 31 - راهاندازی اتصال به سطلهای آمازون S3
- 32 - ایجاد و اجرای خط لوله با قلاب S3
نتیجه
- 33 - خلاصه و مراحل بعدی
دوره های مرتبط
- دوره آموزشی مبانی مهندسی داده مدرن
- دوره آموزشی یادگیری Apache Airflow آپدیت (2023)
- دوره آموزشی مدیریت خط لوله مهندسی داده با Apache Airflow
- دوره آموزشی یادگیری Apache Airflow
- دوره آموزشی مهارتهای بنیادی مهندسی داده
- دوره آموزشی مبانی مهندسی داده
- دوره آموزشی MLOps: مبانی CI/CD و استقرار مدل
- دوره آموزشی مقدمه ای بر Spark SQL و DataFrames
مسیرهای مرتبط
- مسیر آموزشی توسعه مهارت های Rust خود برای مهندسی داده
- مسیر آموزشی توسعه دادن مهارت های Scala خود برای مهندسی داده
- مسیر آموزشی کاوش شغلی در مهندسی داده
- مسیر آموزشی گواهینامه حرفهای مبانی مهندسی داده
- مسیر آموزشی ارتقا دادن مهارت های مهندسی داده
- مسیر آموزشی تمرین عملی مهندسی داده
- مسیر آموزشی ارتقا مهارت های خود به عنوان یک متخصص اسپارک آپاچی
- مسیر آموزشی تبدیل شدن به یک استاد مهندسی داده