دوره آموزشی آپاچی آیس‌برگ (Apache Iceberg): از صفر تا راه‌اندازی دیتا لیک‌هاوس (Data Lakehouse) عملیاتی

اگر داری روی معماری داده‌های باز و مدرن کار می‌کنی، Apache Iceberg یکی از مهم‌ترین چیزهایی‌ـه که باید بشناسی. این فرمت جدولِ متن‌باز و سازگار، عملاً بهترین‌های Data Lake و Database رو با هم قاطی کرده: هم انعطاف دریاچه داده رو داره، هم قابل‌اعتماد بودن دیتابیس رو. توی این دوره‌ی عملی، یاد می‌گیری چطور جدول‌های Iceberg رو برای کارهای واقعی و Production راه‌اندازی، مدیریت و بهینه‌سازی کنی.

از مفاهیم پایه مثل Hidden Partitioning، Schema Evolution و استراتژی‌های مهاجرت داده شروع می‌کنیم و بعد می‌ریم سراغ موضوعات پیشرفته‌تر مثل مدیریت Concurrency، استراتژی‌های نوشتن داده، و نگهداری جدول‌ها. این دوره برای Data Engineerها، Analytics Engineerها، Data Platform Engineerها و Data Architectها طراحی شده که با Data Lake کار می‌کنن و می‌خوان زیرساخت داده‌شون رو مدرن کنن. حتی اگه برنامه‌نویسی هستی و می‌خوای وارد دنیای داده بشی، یا نقش لید فنی داری و می‌خوای Iceberg رو برای سازمانت بررسی کنی، این دوره برات حسابی کاربردیه.

اهداف یادگیری
ساخت و پیکربندی یک Apache Iceberg Lakehouse
طراحی ساختارهای بهینه جدول با استفاده از Hidden Partitioning، Sort Order و Column Metrics برای افزایش سرعت کوئری‌ها
مهاجرت داده از Hive Table، فایل‌های Parquet، CSV و دیتابیس‌ها به Iceberg
پیاده‌سازی گردش‌کارهای Production با Write-Audit-Publish، Branching برای تست و Rollback برای بازیابی
تغییر Schema و Partition Spec بدون داون‌تایم و بدون بازنویسی کامل داده
انجام عملیات نگهداری مثل Compaction فایل‌ها، Metadata Compaction و Snapshot Expiration
تنظیم استراتژی‌های نوشتن داده مثل Merge-on-Read و Copy-on-Write و همچنین Distribution Mode برای نیازهای مختلف
مدیریت عملیات همزمان و جلوگیری از Conflict در سناریوهای چندنویسنده