معمای همیشگی هر تیم محصول: مدل بزرگ جواب‌های درست می‌دهد اما هزینه و تأخیرش برای تولید اجازه نمی‌دهد؛ مدل کوچک ارزان و سریع است اما در استدلال دامنه‌ی شما — فرایندهای قانونی، تحلیل مدارک پزشکی، منطق کسب‌وکار خودتان — لیز می‌خورد. راه وسطی هست که سال‌هاست در یادگیری ماشین جواب داده و در عصر LLMها دوباره جدی شده: تقطیر دانش (Knowledge Distillation). ایده ساده است: معلمِ بزرگ، شاگردِ کوچک را درس می‌دهد؛ و شاگرد فقط برای همان درسی آموزش می‌بیند که واقعاً لازم دارد.

تقطیر دقیقاً یعنی چه؟

وقتی از مدل بزرگ می‌پرسید «۵۱۲ در ۲۳ چند می‌شود؟»، شما فقط جواب نهایی را می‌بینید. اما مدل در پشت صحنه روی همه‌ی گزینه‌های ممکن توزیع احتمال دارد: جواب درست با اطمینان بالا، جواب‌های نزدیک با اطمینان کم. این توزیع — که به آن برچسب نرم می‌گویند — حاوی «چرا»ی جواب است: مدل بزرگ می‌گوید نه فقط چه چیزی درست است، بلکه چه چیزهایی تقریباً درست‌اند و چقدر. شاگردی که با این توزیع آموزش ببیند، مرزهای تصمیم ظریف‌تری یاد می‌گیرد تا شاگردی که فقط جواب نهایی را تقلید می‌کند.

در عمل، نسخه‌ی رایج‌تر برای LLMها ساده‌تر است: از معلم توضیح‌دار بخواهید — نه فقط جواب، بلکه زنجیره‌ی استدلالی که به جواب رسیده. سپس شاگرد را روی همین جفت‌های «پرسش ← استدلال ← جواب» آموزش دهید. عملاً ترکیبی است از تقطیر و تنظیم دقیق دستورالعملی، و همین نسخه‌ی عملی است که برای مدل‌های زیر ۳ میلیارد پارامتر بیشترین جواب را می‌دهد.

چرا برای دامنه‌ی خاص این‌قدر جواب می‌دهد؟

دو دلیل. اول، کمبود داده‌ی تخصصی: برای آموزش یک مدل از صفر در حوزه‌ی حقوق یا مالی، میلیون‌ها نمونه‌ی باکیفیت ندارید — اما مدل بزرگ چنین دانشی را از قبل دارد و می‌تواند آن را به شکل نمونه‌های آموزشی «بریزد». دوم، تنگنای هدف: شاگرد لازم نیست همه‌چیز بداند؛ اگر فقط باید مدارک بانکی بخواند و خلاصه کند، ظرفیت کوچکش صرف همین یک مهارت می‌شود. مدل عمومیِ کوچک توانایی‌اش را بین هزاران موضوع پخش کرده؛ شاگردِ تقطیرشده همان توانایی را روی یک موضوع متمرکز کرده است.

سه مرحله‌ی عملی

مرحله یک — ساخت داده‌ی معلم‌محور: پرسش‌های واقعی دامنه را جمع کنید (تیکت‌های پشتیبانی، نمونه‌های کاربر، اسناد واقعی) و با مدل بزرگ، جواب‌های توضیح‌دار بسازید. دستور معلم را دقیق بنویسید: بخواهید قدم‌به‌قدم استدلال کند، از قالب خروجی ساختاریافته استفاده کند و در موارد مبهم صریح بگوید «نمی‌دانم» — این نمونه‌ها برای یادگیری مرزهای شاگرد طلا هستند.

مرحله دو — آموزش شاگرد: مدل کوچک را با LoRA یا تنظیم دقیق کامل روی داده آموزش دهید. نکته‌ی مهم: داده‌ی آموزش و ارزیابی را از اول جدا کنید و ارزیابی را روی کارهای واقعی دامنه بگذارید، نه بنچمارک‌های عمومی.

مرحله سه — مقایسه با معلم: خروجی شاگرد را کنار خروجی معلم روی مجموعه‌ی ارزیابی بگذارید و با داوری ساخت‌یافته مقایسه کنید: جواب درست است؟ استدلال معتبر است؟ کجاها می‌لغزد؟ این حلقه معمولاً دو سه دور تکرار می‌شود و هر دور، داده‌ی ضعیف‌تر حذف یا اصلاح می‌شود.

تقطیر یعنی انتقال «شکل فکر کردن» معلم به بدنی که هزینه‌اش را می‌توانید بپردازید.

سه دام رایج

داده‌ی آلوده به توهم معلم: معلم هم اشتباه می‌کند — به‌خصوص در جاهایی که دانش ندارد و شروع به توهم‌زنی می‌کند. اگر داده را بدون پالایش بریزید، شاگرد اشتباهات معلم را با اعتمادبه‌نفس یاد می‌گیرد. نمونه‌سازی، داوری ساخت‌یافته و حذف پاسخ‌های بی‌پشتوانه اجباری است. فروپاشی توانایی عمومی: شاگردی که فقط روی داده‌ی دامنه‌ی شما آموزش دیده، ممکن است در گفتگوی عمومی یا دستورهای ساده بدتر از قبل شود؛ کمی داده‌ی عمومی متنوع را کنار داده‌ی دامنه نگه دارید. کپی کورکورانه‌ی سبک: شاگرد شروع به تقلید لحن و طول جواب معلم می‌کند حتی وقتی لازم نیست؛ داده را متنوع کنید و سبک مطلوب خودتان را صریح تعریف کنید.

جمع‌بندی

تقطیر یعنی سرمایه‌گذاری یک‌باره روی مدل بزرگ، و برداشت بی‌پایان با مدل کوچک: یک بار هزینه‌ی تولید داده را می‌دهید و بعد به‌ازای هر درخواست، مدل زیر ۳ میلیارد پارامتری خودتان را اجرا می‌کنید که دقیقاً برای کار شما ساخته شده. مسیر پیشنهادی شروع: دامنه را تنگ انتخاب کنید، پانصد تا هزار نمونه‌ی معلم‌محور بسازید، شاگرد را آموزش دهید و با داوری ساخت‌یافته مقایسه کنید. برای پالایش داده‌ی آموزشی، راهبردهای کیفیت به‌جای کمیت را بخوانید و برای انتخاب مدل معلم و شاگرد، راهنمای انتخاب مدل. برای تست زنده روی کار واقعی، یک حساب بسازید.