دوره آموزشی پروژه مهندسی داده End-to-End
1 ساعت 16 دقیقهمتوسط2023-11-03
مدرسین

Thalia Barrera
جزئیات دوره
دنیای مهندسی داده همواره در حال تغییر است و ابزارها و فناوری های جدیدی به طور منظم در حال ظهور هستند. ساختن یک پلتفرم تحلیلی موثر میتواند یک کار دلهرهآور باشد، به خصوص اگر با همه ابزارهای موجود آشنا نباشید. چگونه داده های پراکنده و پیچیده را به مدلی تبدیل می کنید که بینش و تصمیم گیری را هدایت می کند؟ در این دوره، Thalia Barrera به متخصصان داده آموزش می دهد که چگونه یک پروژه مهندسی داده را با استفاده از ابزارهای باز از پشته داده مدرن پیاده سازی کنند. او بهترین روشها مانند مدلسازی داده، آزمایش، مستندسازی و کنترل نسخه را لمس میکند و به شما نشان میدهد که چگونه دادهها را به طور موثر استخراج، بارگیری و تبدیل به یک قالب یکپارچه و آماده برای تجزیه و تحلیل کنید. Thalia به شما نشان می دهد که چگونه از طریق مثال های عملی ابزارها را با اطمینان انتخاب کرده و از آنها استفاده کنید - که شما را در ساخت یک خط لوله داده قوی برای یک شرکت تجارت الکترونیک خیالی هدایت می کند - و نحوه اجرای بهترین شیوه ها در مهندسی داده.
مهارت ها
Data EngineeringProjectData Science
سرفصل ها
0. مقدمه
- 01 - دادههای پیچیده را به بینش تبدیل کنید
- 02 - آنچه باید بدانید
1. بررسی اجمالی و آماده سازی پروژه
- 03 - نمای کلی معماری پروژه
- 04 - راهاندازی پروژه
- 05 - درک پایگاه داده Big Star Collectibles
- 06 - راهاندازی انبار داده خود
2. استخراج و بارگذاری داده ها
- 07 - شروع کار با ابزارهای ELT - مقدمه ای بر Airbyte
- 08 - استقرار Airbyte برای همگام سازی داده ها
- 09 - تنظیم منابع و مقاصد در Airbyte
- 10 - ایجاد ارتباط در Airbyte
- 11 - همگام سازی و پیمایش در میان داده ها
3. شروع تبدیل دادهها و مدل سازی
- 12 - مقدمه ای بر مدل سازی دادهها با dbt
- 13 - شناخت ساختار پروژه dbt
- 14 - شروع پروژه dbt خود
- 15 - پیکربندی منابع داده در dbt
- 16 - چالش - اضافه کردن یک بررسی تازگی
- 17 - راه حل - اضافه کردن یک بررسی تازگی
4. تبدیل دادهها و مدل سازی
- 18 - ایجاد و سفارشی سازی مدلهای dbt شما
- 19 - بررسی و اجرای dbt
- 20 - ایمن سازی اطلاعات خود با تستهای dbt
- 21 - چالش - اضافه کردن تستها به مدل Marts
- 22 - راه حل - اضافه کردن تستها به مدل Marts
- 23 - خودکارسازی مستندات در dbt
- 24 - تکمیل پروژه dbt شما - چرخه توسعه کامل
5. هماهنگ سازی داده ها
- 25 - مقدمه ای بر ارکستراسیون دادهها با داگستر
- 26 - یکپارچه سازی مدلهای dbt با داراییهای Dagster
- 27 - یکپارچه سازی اتصالات Airbyte با داراییهای Dagster
- 28 - تحقق داراییها با استفاده از Dagit
- 29 - چالش - برنامهای را به خط لوله داده خود اضافه کنید
- 30 - راه حل - برنامهای را به خط لوله داده خود اضافه کنید
نتیجه
- 31 - میدان در حال تحول
دوره های مرتبط
- دوره آموزشی آمادگی برای گواهینامه مهندس داده حرفهای Google Cloud آپدیت (2025)
- دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Snowflake
- دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Databricks
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی جامع Apache Spark: مهندسی داده بزرگ (2021)
- دوره آموزشی یادگیری مایکروسافت فابریک
- دوره آموزشی پایتون برای تجزیه و تحلیل داده ها: حل چالش های دنیای واقعی
- دوره آموزشی یادگیری عمیق فولاستک با پایتون
مسیرهای مرتبط
- مسیر آموزشی تمرین عملی مهندسی داده
- مسیر آموزشی ارتقا دادن مهارت های مهندسی داده
- مسیر آموزشی توسعه دادن مهارت های Scala خود برای مهندسی داده
- مسیر آموزشی توسعه مهارت های Rust خود برای مهندسی داده
- مسیر آموزشی کار با داده: مهندسی، یکپارچهسازی و MLOps برای هوش مصنوعی
- مسیر آموزشی کار با داده: گردآوری، پردازش و ذخیرهسازی داده برای هوش مصنوعی
- مسیر آموزشی تبدیل شدن به یک مهندس داده مسلط بر مفاهیم
- مسیر آموزشی کاوش شغلی در مهندسی داده