یک مدل ۷۰ میلیارد پارامتری، وقتی با دقت کامل ذخیره شود، ده‌ها گیگابایت فضا می‌خواهد و برای اجرا، حافظه‌ی سخت‌افزارهای اختصاصی. با این حال همین مدل‌ها روی لپ‌تاپ‌ها و حتی گوشی‌ها اجرا می‌شوند — با افت کیفیتی که کاربر معمولی به‌سختی متوجه می‌شود. راز این معادله دو تکنیک است: تقطیر که «دانش» را از مدل بزرگ به کوچک منتقل می‌کند، و کوانتیزاسیون که «فرمت اعداد» را فشرده می‌کند. در این مطلب هر دو را ساده و کاربردی می‌بینیم؛ دو ابزاری که اقتصاد اجرای مدل‌های امروزی را می‌سازند.
کوانتیزاسیون: فشرده‌سازی اعداد، نه دانسته‌ها
پارامترهای مدل اعدادی هستند با دقت بالا — معمولاً ۱۶ بیت برای هر عدد. اما مشخص شده این دقت برای «عملکرد» مدل بیش از حد لازم است: اگر اعداد را به فرمت‌های کوچک‌تر — ۸ بیت، ۴ بیت، حتی کمتر — گرد کنیم، مدل چند برابر سبک‌تر می‌شود با افت کیفیتی جزئی. به این کار کوانتیزاسیون می‌گویند؛ مفهومش مثل تفکیک رنگ‌ها در عکس است: عکس با میلیون‌ها رنگ ممکن، با ۲۵۶ رنگ هم برای چشم تقریباً همان است و حجمش چند برابر کمتر.
سه پیامد عملی مستقیم دارد: حافظه‌ی لازم برای اجرا چند برابر کم می‌شود — مدل ۷۰ میلیاردی ۴ بیتی در حدود ۳۵ گیگابایت جا می‌شود به‌جای ۱۴۰؛ سرعت اجرا بالا می‌رود چون جابه‌جایی و محاسبه‌ی اعداد کوچک‌تر ارزان‌تر است؛ و سخت‌افزار معمولی که قبلاً جوابگو نبود، حالا می‌شود. افت کیفیت هم نامتقارن است: در کارهای عام — گفتگو، خلاصه، کد معمول — به‌سختی محسوس؛ در کارهای مرزی — استدلال عمیق، ریاضیات سنگین — بیشتر خودش را نشان می‌دهد. قاعده‌ی عملی: برای مدل‌های خیلی بزرگ، ۴ بیت معمولاً نقطه‌ی تعادل خوبی است؛ برای مدل‌های کوچک، دقت‌های بالاتر را نگه دارید چون فضای مانور کمتری دارند.
کوانتیزاسیون کتاب را خلاصه نمی‌کند؛ چاپش را از کاغذ گلاسه به معمولی تغییر می‌دهد — همان متن، ارزان‌تر و سبک‌تر.
تقطیر: انتقال دانش از بزرگ به کوچک
کوانتیزاسیون همان مدل را سبک می‌کند؛ تقطیر مدلِ کوچک‌تری می‌سازد که رفتار مشابهی دارد. مکانیزمش هوشمندانه است: مدل کوچک فقط از «جواب‌های درست» داده‌ی آموزش یاد نمی‌گیرد؛ از «خروجی‌های مدل بزرگ» یاد می‌گیرد — نه فقط جواب نهایی، بلکه توزیع احتمال‌هایی که مدل بزرگ برای هر توکن در نظر می‌گیرد. این «نحوه‌ی فکر کردن» است که منتقل می‌شود: مدل کوچک یاد می‌گیرد بزرگ به چه گزینه‌هایی فکر می‌کرد و چقدر به هرکدام اطمینان داشت — اطلاعات بسیار غنی‌تری از برچسب‌های خشک درست/غلط.
چرا این مهم است؟ چون مدل بزرگ عملاً «معلمی حوصله‌مند» است: مرزهای ظریف بین پاسخ‌ها را به شاگرد نشان می‌دهد — چیزی که در داده‌ی خام نیست. نتیجه‌ی عملی: مدل‌های کوچکی که در کارهای محدود به مدل بزرگ نزدیک می‌شوند با هزینه‌ی اجرای چند برابر کمتر — پایه‌ی بسیاری از مدل‌های کوچک تجاری امروزی و موضوعی که در مطلب SLM چیست به آن برخوردید.
تقطیر یا کوانتیزاسیون؟ جدول تصمیم عملی
- کوانتیزاسیون: ابزار «اجرا»ست — سریع، بدون نیاز به آموزش، روی هر مدلی اعمال می‌شود؛ انتخاب اول برای اجرای محلی و کاهش هزینه‌ی سرویس‌دهی.
- تقطیر: ابزار «ساخت» است — به داده‌ی خروجی مدل بزرگ و چرخه‌ی آموزش نیاز دارد؛ انتخاب برای ساختن مدل اختصاصی کوچک برای یک کار تکرارشونده‌ی پرتکرار.
- ترکیب هر دو: الگوی متداول صنعت — مدل را تقطیر کن تا کوچک شود، بعد کوانتیزه کن تا سبک اجرا شود؛ حاصل، مدلی چند برابر سبک‌تر با کیفیت نزدیک.
- ارتباط با LoRA: LoRA برای «آموزشِ سبک» است و QLoRA ترکیب کوانتیزاسیون با آن؛ سه ابزار مکمل‌اند نه جایگزین.
چه چیزی را از دست می‌دهید؟
هیچ تکنیک سبک‌سازی رایگان نیست و دانستن مرزها مهم است: کوانتیزاسیون سنگین (زیر ۴ بیت) روی مدل‌های کوچک افت محسوس می‌دهد؛ تقطیر دانش عمومی واری را کامل منتقل نمی‌کند — مدل تقطیرشده در حوزه‌های بیرون از داده‌ی تقطیر ضعیف‌تر است؛ و در هر دو، خروجی‌های حساس — عددی، حقوقی — باید راستی‌آزمایی شوند. تجربه‌ی عملی صنعت این است: سبک‌سازی را با نسخه‌ی بزرگ مقایسه کنید روی کار واقعی خودتان، نه روی حس‌های عمومی؛ گاهی مدل سبک ۴ بیتی از نظر کاربر نهایی غیرقابل تفکیک است و هزینه را ده برابر کم می‌کند.
کجاها این دو را می‌بینید؟
همه‌جا: مدل‌هایی که با LM Studio روی لپ‌تاپ اجرا می‌کنید کوانتیزه‌شده‌اند؛ مدل‌های کوچک تجاری عموماً تقطیرشده‌اند؛ سرویس‌دهنده‌ها برای کاهش هزینه‌ی استنتاج مدل‌های بزرگ از کوانتیزاسیون استفاده می‌کنند. در ماین‌دبیس، مدل‌های کوچک سریع که برای کارهای عمومی پیشنهاد می‌شوند همین معماری‌های بهینه‌شده‌اند — کیفیت مناسب با هزینه‌ی کمتر، دقیقاً نتیجه‌ی این دو تکنیک در پشت صحنه.
جمع‌بندی
دو ابزار، دو مأموریت: کوانتیزاسیون «همان مدل را» با فشرده‌کردن اعداد سبک می‌کند و برای اجرای ارزان‌تر و محلی انتخاب اول است؛ تقطیر «مدل کوچک‌تری می‌سازد» که از مدل بزرگ یاد گرفته و برای کارهای پرتکرار و محدود اقتصادی‌ترین است. مرز افت کیفیت را با کار واقعی خودتان بسنجید، نه با اعداد روی کاغذ — و یادتان باشد هر جا مدل سبک شد، هزینه‌ی سنجش کیفیتش هم کم می‌شود؛ پس بیشتر تست کنید.