دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Snowflake
1 ساعت 36 دقیقهمتوسط2024-09-30
مدرسین

Deepak Goyal
جزئیات دوره
در دنیای امروز که دادهها به یک منبع استراتژیک تبدیل شدهاند، توانایی ساخت و مدیریت پایپلاینهای داده کارآمد و مقیاسپذیر برای تحلیل و تصمیمگیری بسیار اهمیت دارد. Snowflake یکی از پلتفرمهای ابری پیشرفته برای مدیریت دادهها است که به طور ویژه برای ذخیرهسازی و پردازش دادههای مقیاسپذیر طراحی شده است. در این دوره، شما از طریق یک پروژه عملی واقعی یاد خواهید گرفت که چگونه دادهها را از منابع مختلف وارد کنید، آنها را در Snowflake ذخیره و پردازش کنید و دادههای تحلیلپذیر را آماده کنید.
این دوره شامل پیادهسازی معماری سهلایه مدالیون است که یکی از رویکردهای محبوب در مهندسی دادههای مدرن است. در این معماری، دادهها ابتدا در لایه برنز (Bronze) به صورت خام ذخیره میشوند، سپس در لایه نقرهای (Silver) تمیز و پردازش میشوند و در نهایت در لایه طلایی (Gold) دادههای تجزیه و تحلیل شده و گزارشهای آماده برای تصمیمگیری قرار میگیرند.
این دوره برای افرادی که در زمینه مهندسی داده یا تحلیل داده مشغول به کار هستند بسیار مفید است، زیرا به شما مهارتهای فنی پیشرفتهای میآموزد که میتواند شما را برای مشاغل سطح بالاتر در صنعت داده آماده کند. با یادگیری نحوه ساخت و مدیریت یک پایپلاین داده مقیاسپذیر، شما میتوانید در پروژههای بزرگ و پیچیده مشارکت کنید و ارزش افزوده زیادی به سازمانها و تیمهای داده اضافه کنید.
این دوره شامل پیادهسازی معماری سهلایه مدالیون است که یکی از رویکردهای محبوب در مهندسی دادههای مدرن است. در این معماری، دادهها ابتدا در لایه برنز (Bronze) به صورت خام ذخیره میشوند، سپس در لایه نقرهای (Silver) تمیز و پردازش میشوند و در نهایت در لایه طلایی (Gold) دادههای تجزیه و تحلیل شده و گزارشهای آماده برای تصمیمگیری قرار میگیرند.
این دوره برای افرادی که در زمینه مهندسی داده یا تحلیل داده مشغول به کار هستند بسیار مفید است، زیرا به شما مهارتهای فنی پیشرفتهای میآموزد که میتواند شما را برای مشاغل سطح بالاتر در صنعت داده آماده کند. با یادگیری نحوه ساخت و مدیریت یک پایپلاین داده مقیاسپذیر، شما میتوانید در پروژههای بزرگ و پیچیده مشارکت کنید و ارزش افزوده زیادی به سازمانها و تیمهای داده اضافه کنید.
مهارت ها
SnowflakeCloud StorageData EngineeringDatabase DevelopmentDatabase ManagementCloud ServicesCloud ComputingData ScienceSoftware DevelopmentOne-Off
سرفصل ها
0. مقدمه
- 01 - شروع پروژه - دریاچه داده تا دانه برف
- 02 - آنچه باید بدانید
1. جزئیات پروژه دنیای واقعی دانه برف
- 03 - مطالعه موردی پروژه دنیای واقعی دانه برف - بررسی اجمالی
- 04 - دریاچه داده به دانه برف - راه حل سطح بالا
- 05 - نمودار معماری پروژه دانه برف
2. Snowflake Project Setup
- 06 - ایجاد حساب ADLS
- 07 - ایجاد حساب کاربری Snowflake
- 08 - بارگذاری دادههای نمونه در ADLS
- 09 - حافظه خارجی در Snowflake ایجاد کنید
3. اجرای لایه برنز دانه برف
- 10 - پایگاه داده را در Snowflake و طرح لایه برنز ایجاد کنید
- 11 - فرمت فایل CSV را در Snowflake ایجاد کنید تا دادههای فایل CSV بارگذاری شود
- 12 - یک کار Snowflake برای بارگذاری اطلاعات مشتری در جدول خام ایجاد کنید
- 13 - فرمت فایل JSON را در Snowflake ایجاد کنید تا دادههای فایل JSON بارگذاری شود
- 14 - یک کار Snowflake برای بارگذاری اطلاعات محصول در جدول خام ایجاد کنید
- 15 - فرمت فایل Parquet را در Snowflake ایجاد کنید تا اطلاعات فایل Parquet بارگذاری شود
- 16 - یک کار Snowflake برای بارگذاری دادههای سفارش در جدول خام ایجاد کنید
4. اجرای لایه نقره ای برف ریزه
- 17 - طرحواره لایه نقره ای را در پایگاه داده ایجاد کنید
- 18 - برای ثبت تغییرات جدول مشتری، استریم را در Snowflake ایجاد کنید
- 19 - برای ثبت تغییرات جدول محصول، استریم را در Snowflake ایجاد کنید
- 20 - برای ثبت تغییرات جدول سفارش، استریم را در Snowflake ایجاد کنید
- 21 - وظیفه ادغام تغییرات مشتری در لایه Silver را ایجاد کنید
- 22 - وظیفه ادغام تغییرات محصول را در لایه Silver ایجاد کنید
- 23 - وظیفه ادغام تغییرات ترتیب در لایه Silver را ایجاد کنید
5. اجرای لایه طلای برف
- 24 - طرح لایه طلا را در پایگاه داده ایجاد کنید
- 25 - جدول نمایشی لایه طلا را ایجاد کنید
- 26 - نمای 1 را در لایه طلا ایجاد کنید
- 27 - نمای 2 را در لایه طلا ایجاد کنید
نتیجه گیری
- 28 - مراحل بعدی
دوره های مرتبط
- دوره آموزشی پروژه مهندسی داده دنیای واقعی از ابتدا تا انتها با استفاده از Databricks
- دوره آموزشی یادگیری عمیق فولاستک با پایتون
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی جامع Apache Spark: مهندسی داده بزرگ (2021)
- دوره آموزشی ساخت ویژگیهای تولید با Copilot
- دوره آموزشی تمرین عملی سی شارپ با ساختارهای دادهای
- دوره آموزشی الگوهای طراحی پردازش جریان با اسپارک
- دوره آموزشی کلانداده در عصر هوش مصنوعی
مسیرهای مرتبط
- مسیر آموزشی کاوش شغلی در مهندسی داده
- مسیر آموزشی تبدیل شدن به یک استاد مهندسی داده
- مسیر آموزشی تمرین عملی مهندسی داده
- مسیر آموزشی توسعه دادن مهارت های Scala خود برای مهندسی داده
- مسیر آموزشی کار با داده: گردآوری، پردازش و ذخیرهسازی داده برای هوش مصنوعی
- مسیر آموزشی ارتقا دادن مهارت های مهندسی داده
- مسیر آموزشی توسعه مهارت های Rust خود برای مهندسی داده
- مسیر آموزشی تبدیل شدن به یک مهندس داده مسلط بر مفاهیم