همان مدل‌های زبانی که در چت‌بات‌ها پاسخ‌های مفید و مودبانه می‌دهند، اگر همین‌طور خام عرضه می‌شدند، رفتارشان عجیب بود: به هر سؤال، ادامه‌ای شبیه متن‌های اینترنت می‌دادند — گاهی پاسخ، گاهی سؤال مشابه دیگران، گاهی ادامه‌ی یک بحث فراموش‌شده. تفاوت «مدل خام» و «دستیار مفید»، سه مرحله‌ی ساخت است که در این مطلب آن‌ها را می‌بینیم: پیش‌آموزش، تنظیم دقیق و یادگیری تقویتی با بازخورد انسانی. فهمیدن این مراحل، هم رفرنس‌های بین مدل‌ها را معنادار می‌کند هم می‌گوید سفارشی‌سازی مدل برای کسب‌وکار کجای این مسیر اتفاق می‌افتد.
مرحله‌ی اول: پیش‌آموزش — یادگیری زبان و دنیا از متن
پیش‌آموزش بزرگ‌ترین و پرهزینه‌ترین مرحله است: مدل با تمرین حدس زدن توکن بعدی، روی حجم عظیمی از متن — صفحات وب، کتاب‌ها، مقالات، کد — آموزش می‌بیند. هیچ برچسبی وجود ندارد؛ هدف همان حدس زدن است و به‌طور ناخواسته، برای حدس زدنِ خوب، مدل مجبور است دستور زبان را بلد باشد، واقعیت را بشناسد، سبک‌ها را تشخیص دهد و حتی منطق درون متن‌ها را یاد بگیرد. همه‌ی «دانش» مدل از همین مرحله می‌آید.
هزینه‌ی این مرحله در مدل‌های پیشرفته به ده‌ها میلیون دلار و ماه‌ها محاسبه‌ی هزاران پردازنده می‌رسد و خروجی‌اش چیزی است که به آن «مدل پایه» می‌گویند: مخزنی عظیم از دانش و زبان، که هنوز «کاربر-محور» نیست. مدل پایه سؤال را «جواب نمی‌دهد»؛ متن را «ادامه می‌دهد». اگر دو بار «سلام، حال شما» را به آن بدهید، ممکن است بار دوم بگوید «چطور می‌توانم کمک کنم؟» و بار سوم ادامه‌ی یک مکالمه‌ی خیالی دیگر — چون هر سه در داده‌ی آموزش دیده‌اند.
پیش‌آموزش دانش می‌سازد؛ هنوز نه رفتار. دستیار، در مرحله‌ی بعد ساخته می‌شود.
مرحله‌ی دوم: تنظیم دقیق — تبدیل مدل به کاربر-محور
در مرحله‌ی دوم، مدل روی نمونه‌های تعامل آموزش می‌بیند: جفت‌های «دستور → پاسخ ایده‌آل» که توسط انسان‌ها نوشته یا تأیید شده‌اند. از صدها هزار نمونه با کیفیت، مدل یاد می‌گیرد که به‌جای ادامه‌ی متن، «پاسخ بدهد»: لحن کمک‌گر، اعتراف به ندانستن، پرسیدن سؤال شفاف‌ساز، پیروی از قالب خواسته‌شده. به این مرحله Fine-tuning با نظارت گفته می‌شود و تغییرش نسبت به پیش‌آموزش، در حجم داده کوچک اما در رفتار، عظیم است.
همین مفهوم، بعداً ابزار سفارشی‌سازی سازمان‌ها هم می‌شود: یک شرکت می‌تواند مدل را روی نمونه‌های پشتیبانی خودش تنظیم کند تا با لحن برند و دانش محصولش جواب دهد. تفاوت این کار با مرحله‌ی دوم فقط «چه کسی و برای چه هدفی» است — مکانیزم یکی است. جزئیات و تصمیم‌گیری این مسیر در مطلب Fine-tuning چیست بررسی شده است.
مرحله‌ی سوم: RLHF — آموزش سلیقه و مرزها
مرحله‌ی سوم پاسخ می‌دهد به این سؤال: از بین ده پاسخ فنیِ درست، کدام «بهتر» است؟ این کیفیت را نمی‌شود با قاعده نوشت؛ باید از سلیقه‌ی انسان یاد گرفت. در RLHF — یادگیری تقویتی با بازخورد انسانی — مدل چند پاسخ برای یک دستور تولید می‌کند و انسان‌ها آن‌ها را رتبه‌بندی می‌کنند؛ از این رتبه‌ها یک «مدل پاداش» ساخته می‌شود که سلیقه را شبیه‌سازی می‌کند؛ و مدل اصلی با یادگیری تقویتی تلاش می‌کند امتیاز این مدل پاداش را بالا ببرد: پاسخ‌های مفیدتر، دقیق‌تر، کم‌هرمان‌تر.
همین مرحله است که «شخصیت» ChatGPT و Claude را ساخته: مودب بودن، نپذیرفتن درخواست‌های مضر، کوتاه‌وپوشیده جواب دادن، پرسیدن به‌جای حدس زدن. و همین‌جا یک ریسک مشهور هم متولد می‌شود: اگر مدل پاداش اشتباه آموزش ببیند، مدل یاد می‌گیرد «پاسخ‌هایی بدهد که به نظر خوب می‌آیند» نه پاسخ‌های واقعاً خوب — به این پدیده، دستکاری مدل پاداش می‌گویند و یکی از دغدغه‌های جدی آزمایشگاه‌هاست. نگاه عمیق‌تر به این بحث در مطلب AGI چیست آمده است.
بعد از این سه مرحله چه؟
مدل آماده‌ی عرضه است اما داستان تمام نشده: عرضه‌ها معمولاً با «آموزش ادامه‌دار» همراه است — نسخه‌های جدید با داده‌ی تازه‌تر و روش‌های بهتر، همان معماری با کیفیت ارتقایافته. مدل‌های استدلالی — موضوع مطلب مدل استدلالی چیست — نسل بعدی این مسیرند: آموزشی که به مدل یاد می‌دهد قبل از پاسخ، طولانی‌تر فکر کند.
چرا این سه مرحله برای کاربر مهم است؟
- رفتار متفاوت مدل‌ها را می‌فهمید: مدل‌هایی که به سؤال بی‌ربط جواب نامربوط می‌دهند، معمولاً در مراحل بعد ضعیف‌اند؛ دانش زیاد به‌تنهایی «دستیار» نمی‌سازد.
- انتخاب سفارشی‌سازی را درست می‌کنید: بیشتر نیازهای سازمان با پرامپت خوب و RAG حل می‌شود؛ Fine-tuning برای تغییر «رفتار و سبک» است نه افزودن دانش — تصمیمش در مطلب Fine-tuning.
- توهم را ریشه‌یابی می‌کنید: می‌دانید مدل برای «مفید بودن» بهینه شده؛ پس وقتی نداند، ممکن است به‌جای «نمی‌دانم» پاسخی مفید-نما بسازد — و راهکارهای کاهش توهم با RAG را جدی‌تر به کار بگیرید.
جمع‌بندی
ساخت مدل زبانی داستان سه مرحله است: پیش‌آموزش که از حدس زدن متن، دانش و زبان می‌سازد؛ تنظیم دقیق که مدل را از «ادامه‌دهنده‌ی متن» به «پاسخ‌دهنده» تبدیل می‌کند؛ و RLHF که سلیقه‌ی انسانی — مفید، دقیق، ایمن — را به مدل تزریق می‌کند. هر مدل‌هایی که در بازار می‌بینید، ترکیبی متفاوت از همین سه مرحله است؛ و برای تیم‌ها، فقط دو مرحله‌ی آخرند که با بودجه‌ی واقعی قابل دسترس‌اند. قدم بعدی در این مسیر: Fine-tuning چیست و چه زمانی لازم است.