دوره آموزشی جامع Apache Spark: مهندسی داده بزرگ (2021)
1 ساعت 2 دقیقهپیشرفته2021-09-15
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
مهندسی داده، پایه و اساس تجزیه و تحلیل و کاربردهای علم داده در دنیای جدید داده های بزرگ است. مهندسی داده نیازمند ترکیب چندین فناوری داده بزرگ برای ساخت خط لوله داده و شبکه هایی برای جریان، پردازش و ذخیره داده ها است. این دوره بر ایجاد راه حل های کامل تمرکز می کند که Apache Spark را با سایر ابزارهای Big Data ترکیب می کند تا خطوط لوله داده به انتها ایجاد کند. مربی Kumaran Ponnambalam با تعریف مهندسی داده، عملکردها و مفاهیم آن شروع می کند. در مرحله بعد، کوماران می گوید چگونه قابلیت های Spark مانند پردازش موازی، برنامه های اجرایی، گزینه های مدیریت حالت و یادگیری ماشین با استخراج، تبدیل، بارگذاری (ETL) کار می کند. او شما را با موارد و فرایندهای استفاده از پردازش دسته ای و همچنین خطوط لوله پردازش در زمان واقعی آشنا می کند. پس از گذراندن چندین شیوه مفید مفید، کومانان با یک پروژه تمرینی به پایان می رسد.
مهارت ها
Apache SparkApacheData EngineeringEssential TrainingData Science
سرفصل ها
0. مقدمه
- 01 - رانندگی مهندسی دادههای بزرگ با Apache Spark
- 02 - پیش نیازهای دوره
- 03 - تنظیم فایلهای تمرین
1. مفاهیم مهندسی داده
- 04 - مهندسی داده چیست
- 05 - مهندسی داده در مقابل تجزیهوتحلیل داده در مقابل علم داده
- 06 - توابع مهندسی داده
- 07 - پردازش دسته ای در مقابل زمان واقعی
- 08 - مهندسی داده با اسپارک
2. قابلیتهای Spark برای ETL
- 09 - بررسی معماری اسپارک
- 10 - پردازش موازی با اسپارک
- 11 - طرح اجرای جرقه
- 12 - پردازش جریان حالت دار
- 13 - تجزیهوتحلیل جرقه و ML
3. خط لوله پردازش دسته ای
- 14 - مورد استفاده پردازش دسته ای - بیان مشکل
- 15 - مورد استفاده پردازش دسته ای - طراحی
- 16 - راهاندازی DB محلی
- 17 - بارگذاری سهام در فروشگاه مرکزی
- 18 - تجمیع موجودی انبارها
4. خطوط لوله پردازش زمان واقعی
- 19 - مورد استفاده در زمان واقعی - مشکل
- 20 - مورد استفاده در زمان واقعی - طراحی
- 21 - ایجاد جریان داده بازدید
- 22 - ساخت کار تجزیهوتحلیل وب سایت
- 23 - اجرای خط لوله بلادرنگ
5. مهندسی داده با اسپارک - بهترین روش ها
- 24 - گزینههای دسته ای در مقابل زمان واقعی
- 25 - عملیات استخراج و بارگذاری رسوب گذاری
- 26 - عملیات پردازش مقیاس
- 27 - مقاوم سازی ساختمان
6. پروژه تمرین پایان به پایان
- 28 - الزامات تمرین پروژه
- 29 - طراحی راه حل
- 30 - استخراج اقدامات طولانی مدت
- 31 - ساختن کارت امتیازی
نتیجه
- 32 - اطلاعات بیشتر در مورد آپاچی اسپارک
دوره های مرتبط
- دوره آموزشی استفاده از Apache Spark با NET.
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی یادگیری جامع آپاچی اسپارک
- دوره آموزشی یادگیری جامع Azure Spark Databricks
- دوره آموزشی یادگیری جامع عمیق Apache Spark
- دوره آموزشی یادگیری جامع اسکالا برای علوم داده
- دوره آموزشی یادگیری اصولی PySpark: معرفی ساخت خطوط پردازش داده
- دوره آموزشی ضروریات MLOps با Azure: بخش اول مقدمه
مسیرهای مرتبط
- مسیر آموزشی ارتقا مهارت های خود به عنوان یک متخصص اسپارک آپاچی
- مسیر آموزشی کاوش شغلی در مهندسی داده
- مسیر آموزشی از دانشمند داده به یک تحلیلگر داده تبدیل شوید
- مسیر آموزشی تبدیل شدن به یک مهندس داده مسلط بر مفاهیم
- مسیر آموزشی مقدمهای بر مهارتهای پایه برای کار با داده: استراتژی و برنامهریزی دادهها
- مسیر آموزشی ارتقا مهارت های خود را در Hadoop/NoSQL Data Science Stack
- مسیر آموزشی از تحلیلگر داده به یک دانشمند داده تبدیل شوید
- مسیر آموزشی توسعه مهارت های Rust خود برای مهندسی داده