از مدل بپرسید «پایتخت فرانسه کجاست؟» و جواب شمرده و درست بگیرید. اما اگر مدل صرفاً «پیش‌بینی‌کننده‌ی توکن بعدی» است — که هست — این رفتار از کجا آمده؟ چون روی اینترنتِ خام، چنین سؤالی معمولاً با ادامه‌ی سؤال‌های دیگر همراه است، نه با جواب. پاسخِ مؤدبانه و مستقیم رفتاری است که باید آموزش داده شود، و ابزار اصلی این آموزش همان چیزی است که اسم این مطلب است: یادگیری تقویتی با بازخورد انسانی یا RLHF — تکنیکی که مرز بین «یک مدل متن» و «دستیار گفتگویی» را ساخته است.

مشکل مدل پایه

در روند ساخت مدل زبانی دیدیم که مرحله‌ی اصلی، پیش‌آموزش روی انبوهی از متن است: مدل یاد می‌گیرد محتمل‌ترین ادامه‌ی هر متن را بدهد. این «مدل پایه» یک جعبه‌ابزار زبانی عظیم اما خام است — از او بپرسید «چطور نان بپزم؟» ممکن است ده سؤال دیگر از یک انجمن آشپزی را ادامه دهد، چون در داده، چنین متنی پرتکرارتر از جواب مستقیم بوده. مدل پایه «می‌داند»؛ اما «پاسخ می‌دهد» را نمی‌داند. پر کردن همین شکاف، کار سه مرحله‌ی بعدی است.

سه مرحله‌ی RLHF

مرحله‌ی اول — تنظیم دقیق نظارتی (SFT): انسان‌ها برای هزاران سؤال، پاسخ ایده‌آل می‌نویسند و مدل روی همین جفت‌ها آموزش می‌بیند — الگوی «سؤال ← جواب شمرده» را می‌آموزد. این همان تنظیم دقیق است با داده‌ی باکیفیت انسانی؛ خروجی مدل‌های این مرحله (مانند مدل‌های اول instruct) به‌مراتب قابل‌استفاده‌تر از مدل پایه است، ولی هنوز وابسته به کیفیت نمونه‌هاست.

مرحله‌ی دوم — مدل پاداش: حالا به‌جای نوشتن جواب، انسان‌ها «قضاوت» می‌کنند: چند پاسخ مدل برای یک سؤال تولید می‌شود و برچسب‌زن ترتیب بهتر را مشخص می‌کند. از این مقایسه‌ها یک مدل امتیازدهنده ساخته می‌شود که به هر پاسخ نمره می‌دهد — بازنمایی ریاضیِ سلیقه‌ی انسان. مرحله‌ی سوم — یادگیری تقویتی: مدل اصلی با الگوریتم‌هایی مانند PPO پاسخ تولید می‌کند، مدل پاداش نمره می‌دهد و مدل به‌سوی پاسخ‌های پرامتیاز حرکت می‌کند. نکته‌ی ظریف این است که بهینه‌سازی ممکن است از مسیرهای عجیبِ امتیاز بالا سوءاستفاده کند (reward hacking)؛ برای همین پارامترهای مهارکننده جلوی دورشدن زیاد از رفتار اولیه را می‌گیرند.

رویکرد ساده‌تر امروزی DPO است: به‌جای ساختن مدل پاداش جدا، مستقیم از جفت‌های «پاسخ بهتر/بدتر» برای بهینه‌سازی استفاده می‌کند — ارزان‌تر و پایدارتر، و به همین دلیل در خیلی از مدل‌های جدید جایگزین یا مکمل PPO شده است.

RLHF یعنی تبدیل «شبیه‌ترین ادامه‌ی متن» به «بهترین پاسخ ممکن»: مدل از توزیع متنِ اینترنت به سمت سلیقه‌ی انسان مهاجرت می‌کند.

هم‌ترازی یعنی چه؟

به نتیجه‌ی کل این فرایند هم‌ترازی یا Alignment می‌گویند: تنظیم مدل با مقاصد انسانی — سودمند، صادق و بی‌آزار. اما «خوب» تعریف خودکاری ندارد؛ از سلیقه‌ی برچسب‌زن‌ها و راهنمای شرکت می‌آید — و همین منبعِ برخی انتقادهاست: جانب‌گیری‌های ظریف راهنما به مدل منتقل می‌شود. یک هزینه‌ی شناخته‌شده هم دارد: مالیات هم‌ترازی — گاهی مدل‌های هم‌ترازشده در بنچمارک‌های خالص کمی از توانشان می‌کاهند تا رفتار قابل‌اعتمادتری داشته باشند؛ معامله‌ای که برای محصول معمولاً می‌ارزد.

ردپای RLHF در رفتار روزمره

وقتی بدانید مدل‌ها با پاداش انسانی تنظیم شده‌اند، رفتارهای آشنایشان معنا پیدا می‌کند: امتناع‌های گاهی بیش‌ازحد محتاطانه (پاداش منفی برای پاسخ‌های مرزی)، حجیم بودن و عشق به فهرست و سرفصل (پاسخ‌های بلند به نظر برچسب‌زن‌ها مفیدتر می‌آمده)، و چاپلوسی — تمایل به هم‌نظری با شما به‌جای تصحیح (اختلاف‌نظر گاهی امتیاز منفی گرفته). هیچ‌کدام باگ نیستند؛ ردپای تابع پاداش‌اند. شناختشان به شما کمک می‌کند در پرامپت صریح‌تر خواسته‌ی واقعی‌تان را بگویید — مثلاً «کوتاه جواب بده» یا «اگر اشتباه می‌کنم تصحیح کن».

از بازخورد انسانی تا بازخورد قابل‌راستی‌آزمایی

نسل جدید این فرایند جایی است که بازخورد انسان کنار می‌رود و پاسخِ درست خودش را چک می‌کند: در ریاضی، کد و مسائل با جواب قطعی، مدل با اجرا و مقایسه با جواب مرجع امتیاز می‌گیرد — به آن یادگیری تقویتی با پاداش قابل‌راستی‌آزمایی می‌گویند و موتور اصلی مدل‌های استدلال‌گر است: مدل یاد می‌گیرد مسیرهای طولانی فکر را طی کند چون به جواب درست می‌رسد. کامل‌تر این انتقال را در مطلب زنجیره‌ی تفکر خوانده‌اید — سه مقوله‌ی RLHF، استدلال و هم‌ترازی عملاً یک خط زمانی واحدند: از سلیقه‌ی انسان تا صحتِ قابل‌سنجش.

جمع‌بندی

RLHF سه قدم است: اول با نمونه‌های انسانی مدل را «چات‌بات» کنید (SFT)، بعد سلیقه را در قالب مدل پاداش ریاضی‌وار کنید، و در پایان با یادگیری تقویتی مدل را به‌سمت پاسخ‌های پرامتیاز حرکت دهید. نتیجه، مدل‌هایی‌اند که مؤدبانه، مفید و امن پاسخ می‌دهند — با ردپاهایی که حالا می‌شناسید و می‌توانید در پرامپت مدیریت‌شان کنید. اگر خواستید رفتار مدل‌های مختلف را کنار هم مقایسه کنید، راهنمای انتخاب مدل چارچوب خوبی است؛ و برای تجربه‌ی عملی، با یک حساب همان سؤال را به چند مدل بدهید و ردپای تنظیم هر کدام را خودتان ببینید.