Generative AI چیست
عنوان اصلی: What is generative AI
هدف یادگیری: ارائه‌ی تصویری دقیق اما غیرتکنیکی از کاری که یک LLM مولد انجام می‌دهد.
مفاهیم کلیدی: تعریف Generative AI، معماری transformer (نام‌گذاری، نه استخراج ریاضی)، خط لوله‌ی pretraining → fine-tuning، تولید probabilistic، modalities: متن، تصویر، vision، کد
Generative AI به سامانه‌هایی اشاره دارد که محتوای تازه تولید می‌کنند (متن، تصویر، کد، صوت)، نه آنکه صرفاً طبقه‌بندی یا بازیابی کنند. LLM های مدرنی مانند Claude بر معماری transformer ساخته شده‌اند، روی پیکره‌ی متنی بسیار بزرگ pretrain شده، و سپس برای پیروی از دستور و رفتار خوب fine-tune شده‌اند.
مکانیزم — که در همین فصل با جزئیات بیشتر در درس next token prediction آمد — این است: پیش‌بینی توکن بعدی، به‌صورت autoregressive، با attention روی کل prompt. دوره‌ی Fluency در ریاضیات این مکانیزم درنگ نمی‌کند؛ بر پیامدهای آن تمرکز دارد: خروجی‌ها probable و fluent هستند، و بازیابی‌نشده‌اند. آنها شبیه پاسخ به‌نظر می‌رسند و مانند پاسخ تولید می‌شوند، اما lookup در یک پایگاه‌داده‌ی راستی‌آزمایی‌شده نیستند.
این درس همچنین محدودیت‌هایی را که در سراسر دوره load-bearingاند نام می‌برد: knowledge cutoff و پتانسیل hallucination. اینها bug هایی نیستند که با کد بهتر برطرف شوند؛ خصلت‌هایی هستند که باید توسط انسان مدیریت شوند.
اشتباهات رایج
- «Generative AI همان AGI است.» نیست.
- «پاسخ‌ها را در لحظه از اینترنت می‌کشد.» به‌طور پیش‌فرض نه؛ از الگوهای آموخته‌شده تولید می‌کند.