دوره آموزشی ارزیابی‌های هوش مصنوعی برای رهبران محصول و مدیران محصول هوش مصنوعی

محصولات مبتنی بر هوش مصنوعی (AI) کلاً با نرم‌افزارهای معمولی فرق دارن. چون ذاتاً احتمالاتی (probabilistic) هستن، نمی‌شه با قطعیت گفت خروجی‌شون چی قراره باشه. همین قضیه باعث می‌شه روش‌های سنتی تست کیفیت (QA) دیگه کافی نباشن و نتونن جواب بدن. توی این دوره، دو تا از رهبران محصولات هوش مصنوعی، یعنی Chantal Cox و Aman Khan، شما رو راهنمایی می‌کنن تا سیستم‌های ارزیابی (evaluation) بسازید که هم باعث ایجاد اعتماد بشن و هم به لانچ موفقیت‌آمیز محصولات هوش مصنوعی کمک کنن.

این دوره با یه فرمت گفتگومحور شبیه پادکست، پر از مطالعات موردی واقعی از شرکت‌هایی مثل LTK و Prime Video، به شما یاد می‌ده چطور استراتژی‌های ارزیابی رو طراحی کنید، پایپ‌لاین‌های مقیاس‌پذیر با استفاده از ریتِرهای انسانی و مدل‌های ارزیابی پیاده‌سازی کنید، و چطور معیارهای فنی رو به تأثیر تجاری (business impact) ترجمه کنید. فرقی نمی‌کنه که دارید یه قابلیت تولید متن (language generation)، یه عامل هوش مصنوعی (AI agent)، یا یه سیستم چندوجهی (multimodal system) رو ارزیابی می‌کنید؛ این دوره یه چارچوب کامل رو ارائه می‌ده تا بتونید چیزهایی رو که واقعاً مهمن اندازه بگیرید و با اطمینان تصمیمات لانچ بگیرید.

اهداف یادگیری
توضیح چرایی شکست رویکردهای سنتی QA برای محصولات هوش مصنوعی و چگونگی ایجاد چارچوب‌های ارزیابی برای ایجاد اعتماد، تکرار و استقرار ایمن سیستم‌های احتمالی
طراحی استراتژی‌های جامع ارزیابی برای قابلیت‌های هوش مصنوعی با انتخاب معیارها، مجموعه داده‌ها و روش‌های ارزیابی مناسب که کیفیت مدل را با نتایج کسب‌وکار مرتبط می‌کنند
پیاده‌سازی پایپ‌لاین‌های ارزیابی مقیاس‌پذیر با استفاده از ارزیاب‌های مبتنی بر کد، رویکردهای LLM-as-judge و حاشیه‌نویسی انسانی، و تعیین زمان استفاده از هر نوع ریتِر
ترجمه نتایج ارزیابی به تصمیمات محصول با تعیین آستانه‌های راه‌اندازی، ساخت داشبوردهای نظارتی و برقراری ارتباط یافته‌های فنی با ذینفعان اجرایی
ایجاد یک برنامه ارزیابی کامل برای قابلیت هوش مصنوعی خودتان شامل معیارها، روبریک‌ها، معیارهای آمادگی راه‌اندازی و استراتژی‌های نظارت پس از استقرار