دوره آموزشی Apache Flink: تجزیه و تحلیل داده های اکتشافی با SQL
1 ساعت 8 دقیقهپیشرفته2020-02-21
مدرسین

Kumaran Ponnambalam
Working with data for 20+ years
جزئیات دوره
تجزیه و تحلیل داده های اکتشافی یک مرحله اساسی در علم داده است که با بررسی داده ها برای استخراج بینش سروکار دارد. در دنیای داده های بزرگ ، جستجوی مجموعه داده های عظیم یک چالش است ، زیرا به فناوری هایی نیاز دارد که مقیاس پذیر ، سریع و دارای ویژگی های غنی باشند. Apache Flink - بستر محبوب پردازش جریان - برای این تلاش کاملا مناسب است. این دوره بر بررسی مجموعه داده ها با SQL در Apache Flink تمرکز دارد. Kumaran Ponnambalam مربی کار خود را با مرور API های رابطه ای که Flink برای تجزیه و تحلیل داده های بزرگ فراهم می کند شروع می کند. سپس کوماران نگاه عمیق تری به توابع Table API و SQL دارد. او قابلیت های مختلف SQL موجود برای کاوش داده ها ، از جمله فیلتر کردن ، تجمیع و پیوستن را کشف می کند. برای جمع بندی ، او یک پروژه مورد استفاده را ارائه می دهد که به شما امکان می دهد مهارت های جدید خود را تمرین کنید.
موضوعات مورد بحث عبارتند از:
- اتصالات و یکپارچه سازی های موجود در API های Flink
- ایجاد جداول از CSV
- انتخاب و فیلتر کردن داده های جدول
- استفاده از توابع تجمع در SQL
- پیوستن به جداول
- پنجره در جریان ها
- زمان برگزاری با جداول Flink
موضوعات مورد بحث عبارتند از:
- اتصالات و یکپارچه سازی های موجود در API های Flink
- ایجاد جداول از CSV
- انتخاب و فیلتر کردن داده های جدول
- استفاده از توابع تجمع در SQL
- پیوستن به جداول
- پنجره در جریان ها
- زمان برگزاری با جداول Flink
مهارت ها
ApacheSQLDatabase AdministrationData EngineeringDatabase DevelopmentDatabase ManagementData AnalysisProgramming LanguagesData ScienceBusiness Analysis and StrategyBusiness Software and ToolsOpen SourceSoftware DevelopmentDeep Dive (X:Y)
سرفصل ها
0. مقدمه
- 01-Apache Flink برای تجزیه و تحلیل اکتشافی
1. Flink Relational APIs
- 02-Apache Flink چیست؟
- 03- API های رابطه ای Flink
- 04-ادغام ها و کانکتورها
- 05-پیش نیازهای دوره
- 06-تنظیم فایل های تمرین
2. تجزیه و تحلیل دسته ای پایه
- 07-ایجاد محیط جدول
- 08-ایجاد جداول از CSV
- 09-انتخاب داده های جدول
- 10-فیلتر کردن داده ها در جداول
- 11-نوشتن جداول روی فایل ها
3. تجزیه و تحلیل دسته ای پیشرفته
- 12-تجمیع روی میزها
- 13- سفارش و محدود کردن داده ها
- 14-اضافه کردن ستون های جدید
- 15- جداول به هم پیوستن
- 16-کار با مجموعه داده ها
4. جریان SQL
- 17-چالش های پخش SQL
- 18-جدول پویا
- 19- الحاق و پس گرفتن داده ها
- 20-مصرف منابع کافکا
- 21- اجرای پرس و جوهای مداوم
5. تجزیه و تحلیل جریان پیشرفته
- 22-پنجره زنی روی نهرها
- 23-استفاده از پنجره های غلتشی و کشویی
- 24-جدول نوشتن به کافکا
- 25-کار با جریان های داده
- 26-استفاده از زمان رویداد
6. از پروژه Case استفاده کنید
- 27-از تعریف مسئله مورد استفاده استفاده کنید
- 28- داده های منبع را در جدول Flink بخوانید
- 29-نمرات کل را محاسبه کنید
- 30-تجمیع را محاسبه کنید
نتیجه
- 31- مراحل بعدی
دوره های مرتبط
- دوره آموزشی Apache Flink: مهندسی داده در زمان واقعی
- دوره آموزشی Apache Flink: مهندسی داده حالت دسته ای
- دوره آموزشی الگوهای پردازش جریان در آپاچی Flink
- دوره آموزشی مقدمه ای بر Spark SQL و DataFrames
- دوره آموزشی Spark برای یادگیری ماشین و هوش مصنوعی (AI)
- دوره آموزشی تجزیه و تحلیل داده های عملی:بخش1 تجزیه و تحلیل داده های کارکنان با SQL
- دوره آموزشی تجزیه و تحلیل داده های عملی:بخش2 داشبورد فروش با Tableau
- دوره آموزشی تجزیه و تحلیل داده های عملی:بخش3 تجزیه و تحلیل فروش در پایتون
مسیرهای مرتبط
- مسیر آموزشی ارتقا مهارت های خود به عنوان یک متخصص اسپارک آپاچی
- مسیر آموزشی تبدیل شدن به یک استاد مهندسی داده
- مسیر آموزشی کاوش شغلی در مهندسی داده
- مسیر آموزشی از دانشمند داده به یک تحلیلگر داده تبدیل شوید
- مسیر آموزشی گواهینامه حرفهای مبانی مهندسی داده
- مسیر آموزشی ارتقا دادن مهارت های مهندسی داده
- مسیر آموزشی آماده شدن برای گواهینامه Databricks Certified Data Engineer Associate
- مسیر آموزشی تمرین عملی مهندسی داده