دوره‌ی آموزشی مقدماتی آپاچی اسپارک: مهندسی داده‌های بزرگ

مهندسی داده، پایه و اساس ساخت برنامه‌های تحلیلی و علوم داده تو دنیای بزرگ داده‌ها (Big Data) امروزی محسوب می‌شه. تو این حوزه، باید چندتا تکنولوژی بزرگ داده رو با هم ترکیب کنی تا بتونی خطوط داده‌ای (Data Pipelines) و شبکه‌هایی بسازی که داده‌ها رو به صورت زنده یا دسته‌ای پردازش، انتقال و ذخیره کنن.

تو این دوره، یاد می‌گیری چطور راهکارهای کامل بسازی که Apache Spark رو با ابزارهای بزرگ داده دیگه ترکیب می‌کنن تا خطوط داده‌ای انتها به انتها (End-to-End) درست کنی. استاد دوره، کوماران پوننامبالم، اول با تعریف مهندسی داده، وظایف و مفاهیم کلیدی شروع می‌کنه. بعد می‌ره سراغ قابلیت‌های اسپارک مثل پردازش موازی، طرح‌های اجرایی، مدیریت وضعیت (State Management) و کاربرد یادگیری ماشین در فرآیندهای ETL (استخراج، تبدیل و بارگذاری داده‌ها).

کوماران بهت نشون می‌ده چطوری از پردازش دسته‌ای (Batch Processing) استفاده کنی و هم‌چنین چطور خطوط پردازش بلادرنگ (Real-time Processing Pipelines) بسازی. در نهایت، چندتا بهترین روش‌ها (Best Practices) رو یاد می‌گیری و دوره با یک پروژه عملی پایان می‌یابد که همه موارد رو تو قالب یک تمرین واقعی بهم می‌چسبونه.

اهداف یادگیری
درک کامل مفاهیم و وظایف مهندسی داده در دنیای Big Data.
آشنایی با ابزار Apache Spark و قابلیت‌های کلیدی آن.
یادگیری ساخت خطوط داده‌ای انتها به انتها با ترکیب چند ابزار Big Data.
فهم فرآیندهای ETL و کاربرد آن‌ها در مهندسی داده.
توانایی پیاده‌سازی پردازش دسته‌ای و بلادرنگ روی داده‌ها.
یادگیری بهترین روش‌ها و تکنیک‌های ساخت داده‌پایپ‌لاین حرفه‌ای.
انجام پروژه عملی برای تسلط کامل روی مطالب دوره.