دوره آموزشی مدیریت داده با Apache NiFi
2 ساعت 52 دقیقهپیشرفته2026-04-22
مدرسین
Janani Ravi
Certified Google Cloud Architect and Data Engineer
جزئیات دوره
دنبال راهی برای خودکارسازی و مدیریت جریانهای داده هستی؟ Apache NiFi یه ابزار قدرتمنده که میتونه حسابی کارتو راه بندازه. توی این دوره، یاد میگیری چطور NiFi رو روی سیستمعاملهای مختلف مثل مکاواس و ویندوز نصب و راهاندازی کنی. بعدش میریم سراغ اصل مطلب: چطور جریانهای داده رو بسازی، اجرا کنی و زیر نظر داشته باشی.
قراره یاد بگیری چطور FlowFile ها رو تقسیم و ادغام کنی، چطور NiFi رو با پایگاههای داده مثل PostgreSQL وصل کنی و چطور از قابلیتهای ابری مثل Amazon S3 استفاده کنی. مفاهیم پیشرفتهتر NiFi مثل همزمانی (concurrency)، زمانبندی (scheduling) و فشار برگشتی (backpressure) رو هم یاد میگیریم تا بتونیم جریانهای دادهمون رو بهینه کنیم.
همچنین با استفاده از گروههای پردازشی (process groups)، یاد میگیریم چطور جریانهای داده ماژولار بسازیم و چطور دادهها رو در فرمتهای مختلف مدیریت کنیم. با سناریوهای واقعی کار میکنیم؛ مثلاً اتصال NiFi به نقاط پایانی HTTP و راهاندازی هشدار (alerts) برای مانیتورینگ. این دوره برای متخصصان مدیریت داده و هر کسی که دنبال سادهسازی گردش کار دادهها هست، عالیه چون با مثالهای واقعی، مهارتهای لازم رو کسب میکنی.
اهداف یادگیری
تواناییهای Apache NiFi در اتوماسیون و مدیریت جریان داده را بررسی کن.
نحوه راهاندازی و پیکربندی NiFi بر روی سیستمعاملهای Mac OS و Windows را فرا بگیر.
فرآیند ایجاد، اجرا و نظارت بر جریانهای داده (dataflows) را بیاموز.
نحوه تقسیم و ادغام FlowFile ها را یاد بگیر.
یکپارچهسازی NiFi با پایگاههای داده مانند PostgreSQL را انجام بده.
استفاده از قابلیتهای ابری با Amazon S3 را فرا بگیر.
مفاهیم پیشرفته NiFi مانند همزمانی، زمانبندی و فشار برگشتی برای بهینهسازی جریانهای داده را درک کن.
استفاده از Process Group ها برای ساخت جریانهای داده ماژولار را یاد بگیر.
مدیریت دادهها در فرمتهای مختلف را بیاموز.
سناریوهای دنیای واقعی مانند ادغام NiFi با نقاط پایانی HTTP را پیادهسازی کن.
پیکربندی هشدارها برای نظارت بر جریانهای داده را انجام بده.
قراره یاد بگیری چطور FlowFile ها رو تقسیم و ادغام کنی، چطور NiFi رو با پایگاههای داده مثل PostgreSQL وصل کنی و چطور از قابلیتهای ابری مثل Amazon S3 استفاده کنی. مفاهیم پیشرفتهتر NiFi مثل همزمانی (concurrency)، زمانبندی (scheduling) و فشار برگشتی (backpressure) رو هم یاد میگیریم تا بتونیم جریانهای دادهمون رو بهینه کنیم.
همچنین با استفاده از گروههای پردازشی (process groups)، یاد میگیریم چطور جریانهای داده ماژولار بسازیم و چطور دادهها رو در فرمتهای مختلف مدیریت کنیم. با سناریوهای واقعی کار میکنیم؛ مثلاً اتصال NiFi به نقاط پایانی HTTP و راهاندازی هشدار (alerts) برای مانیتورینگ. این دوره برای متخصصان مدیریت داده و هر کسی که دنبال سادهسازی گردش کار دادهها هست، عالیه چون با مثالهای واقعی، مهارتهای لازم رو کسب میکنی.
اهداف یادگیری
تواناییهای Apache NiFi در اتوماسیون و مدیریت جریان داده را بررسی کن.
نحوه راهاندازی و پیکربندی NiFi بر روی سیستمعاملهای Mac OS و Windows را فرا بگیر.
فرآیند ایجاد، اجرا و نظارت بر جریانهای داده (dataflows) را بیاموز.
نحوه تقسیم و ادغام FlowFile ها را یاد بگیر.
یکپارچهسازی NiFi با پایگاههای داده مانند PostgreSQL را انجام بده.
استفاده از قابلیتهای ابری با Amazon S3 را فرا بگیر.
مفاهیم پیشرفته NiFi مانند همزمانی، زمانبندی و فشار برگشتی برای بهینهسازی جریانهای داده را درک کن.
استفاده از Process Group ها برای ساخت جریانهای داده ماژولار را یاد بگیر.
مدیریت دادهها در فرمتهای مختلف را بیاموز.
سناریوهای دنیای واقعی مانند ادغام NiFi با نقاط پایانی HTTP را پیادهسازی کن.
پیکربندی هشدارها برای نظارت بر جریانهای داده را انجام بده.
سرفصل ها
مقدمه
- مدیریت دادهها با آپاچی نیفای
- پیش نیازها
نصب و راهاندازی آپاچی نیفای
- مفاهیم اصلی Apache NiFi
- معماری آپاچی نیفای
- سیستم عامل مک - دانلود Apache NiFi
- ویندوز - دانلود آپاچی نیفای
- سیستم عامل مک و ویندوز - سرور NiFi را راه اندازی کنید
- سیستم عامل مک و ویندوز - تنظیم مجدد رمز عبور و ورود به آپاچی نیفای
- رابط کاربری NiFi را بررسی کنید
ساخت و اجرای جریانهای داده
- افزودن و پیکربندی پردازندهها
- اولین جریان داده ما را اجرا کنید
- خلاصه جریان و عملیات جریان
تقسیم و ادغام FlowFiles
- تقسیم فایلهای جریان به چندین فایل
- اجرا و مشاهده تقسیمبندی فایلها
- ادغام محتوا در یک فایل واحد
- مرتبسازی فایلها در یک اتصال
- تعریف جریان را دانلود کنید
- فایل flow.json.fz
ادغام NiFi با PostgreSQL
- تنظیم جدول PostgreSQL
- اضافه کردن پردازندههای پایگاه دادهی get و put
- پیکربندی سرویس کنترلکنندهی خوانندهی CSV
- سرویس کنترلکنندهی DBCP connection pool را پیکربندی کنید
- اجرا و مواجهه با خطاهای جریان داده
- پیکربندی پردازشگر ReplaceText
- اجرای جریان داده برای درج دادهها در PostgreSQL
- پیکربندی برنامه اجرا
- پیکربندی همزمانی وظایف
اجرای کوئریهای SQL در NiFi
- پیکربندی PutSQL برای عملیات DML
- اجرای دستورات SQL و تبدیل فرمتهای نوشتن
- تبدیل بین فرمتهای داده
- بهروزرسانی ویژگیها و نوشتن فایلها
- جریان را از ابتدا تا انتها اجرا کنید
- ماژولار کردن جریانهای داده با گروههای فرآیندی
- اجرای یک جریان داده با یک گروه فرآیند
ادغام NiFi با Amazon S3
- ایجاد یک جدول PostgreSQL، سطل Amazon S3 و یک کاربر IAM
- خواندن از فایلها و ذخیره در پایگاه داده
- پیکربندی پردازنده PutS3Object
- سرویس کنترلکننده ارائهدهنده اعتبارنامه AWS را راهاندازی کنید
- خواندن از سیستم فایل، فیلتر کردن رکوردها و نوشتن در Amazon S3
استفاده از ویژگیهای پیشرفته NiFi Dataflows
- فشار برگشتی را پیکربندی کنید
- اثرات فشار معکوس را مشاهده کنید
- پیکربندی یک پردازنده InvokeHTTP
- از یک قیف در جریان داده استفاده کنید
- اجرای یک جریان داده برای خواندن از یک URL و نوشتن در فایلها
نظارت و هشدار در NiFi
- تنظیم مانیتورینگ برای جریان داده
- پیکربندی هشدار برای جریان داده
- هشدارهای ایمیلی در مورد موفقیت جریان داده
- هشدارهای ایمیلی در مورد تغییر وضعیت فعالیت
نتیجهگیری
- خلاصه و مراحل بعدی
دوره های مرتبط
- دوره آموزشی مدیریت داده ها با Apache NiFi آپدیت (2023)
- دوره آموزشی آمادگی برای گواهینامه Databricks Certified Data Engineer Associate
- دوره آموزشی مدیریت خط لوله مهندسی داده با Apache Airflow
- دورهی آموزشی مقدماتی آپاچی اسپارک: مهندسی دادههای بزرگ
- دوره آموزشی آمادگی گواهینامه Databricks Certified Data Engineer Associate: بخش سوم پردازش اطلاعات افزایشی
- دوره آموزشی مدیریت و بهینهسازی دادههای کلان با Apache Iceberg
- دوره آموزشی یادگیری Apache Airflow
- دوره آموزشی تنظیم کافکا
مسیرهای مرتبط
- مسیر آموزشی آماده شدن برای گواهینامه Databricks Certified Data Engineer Associate
- مسیر آموزشی ارتقا دادن مهارت های مهندسی داده
- مسیر آموزشی کاوش شغلی در مهندسی داده
- مسیر آموزشی مقدمهای بر مهارتهای پایه برای کار با داده: استراتژی و برنامهریزی دادهها
- مسیر آموزشی تبدیل شدن به یک استاد مهندسی داده
- مسیر آموزشی ارتقا مهارت های خود به عنوان یک متخصص اسپارک آپاچی
- مسیر آموزشی گواهینامه حرفهای مبانی مهندسی داده
- مسیر آموزشی از دانشمند داده به یک تحلیلگر داده تبدیل شوید