اعداد را نگاه کنید: مدل‌های پیشرفته‌ی امروز صدها میلیارد و حتی تریلیون پارامتر دارند، اما هزینه‌ی هر پاسخ‌شان به‌اندازه‌ی اندازه‌شان نیست — گاهی به‌اندازه‌ی مدلی ده‌ها بار کوچک‌تر. راز این تناقض یک معماری است: Mixture of Experts یا MoE. به‌جای اینکه کل مدل برای هر سؤال روشن شود، فقط بخشی از آن — چند «متخصص» مرتبط — فعال می‌شود. در این مطلب می‌بینیم این ایده چطور کار می‌کند، چرا هزینه را چند برابر کم می‌کند و چه معاوضه‌هایی دارد.
ایده‌ی اصلی: نه همه‌چیز برای همه‌ی سؤال‌ها
در مدل معمولی — که به آن «متراکم» یا Dense می‌گویند — برای هر ورودی، همه‌ی پارامترها در محاسبه شرکت می‌کنند؛ چه سؤال درباره‌ی آشپزی باشد چه جبر خطی. این یعنی هزینه‌ی هر توکن با کل اندازه‌ی مدل متناسب است. اما تجربه نشان می‌دهد یک سؤال مشخص فقط به بخشی از دانش مدل نیاز دارد؛ دانش لازم برای حل یک انتگرال با دانش لازم برای نثر روان فرق دارد.
MoE همین مشاهده را معماری می‌کند: شبکه‌ی بزرگ به بخش‌های مستقلی تقسیم می‌شود که هر کدام «متخصص» خوانده می‌شوند — به‌معنای فنی، یک شبکه‌ی پیشخور جدا. کنار آن‌ها یک قطعه‌ی کوچک به نام روتر یا مسیریاب قرار می‌گیرد که برای هر توکن ورودی تصمیم می‌گیرد کدام متخصص‌ها بهترین‌اند و فقط همان‌ها را صدا می‌زند — معمولاً یکی تا دو متخصص از بین هشت تا چند صد. خروجی متخصص‌های انتخابی ترکیب می‌شود و به لایه‌ی بعد می‌رود.
روتر مثل پذیرش هوشمند یک ساختمان بزرگ است: برای هر مهمان فقط دو اتاق مرتبط را روشن می‌کند؛ نه کل طبقات.
نتیجه‌ی حسابی: بزرگ فکر کن، ارزان اجرا کن
اینجا مفهوم مهمی وارد می‌شود: تفاوت «پارامترهای کل» و «پارامترهای فعال». یک مدل MoE با یک تریلیون پارامتر که برای هر توکن فقط ۵۰ میلیاردش را فعال می‌کند، ظرفیت دانش مدل یک‌تریلیونی دارد اما هزینه‌ی هر پاسخش در حد مدل ۵۰ میلیاردی است. این دقیقاً معادله‌ای است که شرکت‌های مدل‌ساز دنبالش بودند: ظرفیت عظیم برای دانستن، هزینه‌ی کوچک برای اجرا.
سه پیامد عملی برای کاربر این معماری دارد: مدل‌های پرچم‌دار با قیمت‌های استنتاج نسبتاً منطقی عرضه می‌شوند؛ سرعت پاسخ بالا می‌ماند چون در هر لحظه محاسبه‌ی فعالی کم است؛ و امکان ساخت مدل‌های چندمنظوره‌ی بسیار بزرگ — که هم ریاضی‌دان‌اند و هم شاعر — اقتصادی می‌شود.
مشکل اصلی: آموزش متخصص‌ها
اگر روتر آزاد بگذارید که هر توکن را به متخصص موردعلاقه‌اش بفرستد، همه‌ی کارها پیش چند متخصص محبوب می‌رود و بقیه بی‌کار می‌مانند — مدل ناقص آموزش می‌بیند. راه‌حل، تکنیکی به نام «بار متوازن» است: در آموزش، جریمه‌ای اعمال می‌شود که روتر را تشویق کند کار را بین متخصص‌ها پخش کند. توزیع نهایی در مدل‌های آموزش‌دیده معمولاً بر اساس «نوع محتوا» است، نه موضوع‌های آشکار: متخصص‌های دستور زبان، ریاضیات، کد و... — چیزی شبیه تقسیم کار در یک تحریریه‌ی بزرگ.
یک نکته‌ی رایج را هم تصحیح کنیم: متخصص‌ها «حوزه‌های موضوعی» به معنای انسانی‌اش نیستند؛ یک متخصص حتماً «پزشکی‌دان» نیست. تقسیم‌بندی در سطح الگوهای محاسباتی رخ می‌دهد و از بیرون همیشه قابل توصیف نیست. چیزی که مهم است عملکرد کلی است، نه شکل توزیع.
چه مدل‌هایی از MoE استفاده می‌کنند؟
MoE در چند سال اخیر از یک ایده‌ی آزمایشگاهی به انتخاب پیش‌فرض مدل‌های پرچم‌دار تبدیل شده است: خانواده‌های بزرگ مثل مدل‌های DeepSeek و GLM و Qwen و مدل‌های متوسط و بزرگ OpenAI و Mixtral خانواده‌ی Mistral، همگی در لایه‌هایشان از متخصص‌ها استفاده می‌کنند. وقتی فهرست مدل‌های یک سرویس را می‌بینید و مدل‌های مختلف با قیمت‌های متفاوت پیشنهاد می‌شوند، معماری هر مدل — متراکم یا MoE — بخشی از معادله‌ی کیفیت/هزینه است که در پشت آن قیمت نشسته است.
معاوضه‌ها: چرا همه‌ی مدل‌ها MoE نیستند؟
- حافظه: همه‌ی پارامترها باید در حافظه‌ی سرویس‌دهنده جا شوند، حتی اگر در هر لحظه همه فعال نباشند؛ یعنی MoE برای استقرار حافظه‌ی بیشتری می‌خواهد و اجرای محلی آن را سخت می‌کند.
- پیچیدگی آموزش: توازن بار، پایداری روتر و تنظیم دقیق‌تر — دشوارتر از مدل متراکم.
- دقت در کارهای ظریف: در بعضی بنچمارک‌ها مدل متراکم هم‌اندازه، رفتار یکدست‌تری نشان می‌دهد؛ به همین دلیل مدل‌های کوچک و SLMها معمولاً متراکم می‌مانند.
برای کاربر نهایی این انتخاب‌ها دیده نمی‌شود؛ اما وقتی در فهرست مدل‌های ماین‌دبیس مدل‌های مختلف با قیمت‌های متفاوت را می‌بینید، پشت هر قیمت معماری‌ای نشسته که همین معاوضه‌ها را جمع‌بندی کرده است.
جمع‌بندی
MoE پاسخ به یک سؤال اقتصادی است: چطور ظرفیت دانستنِ عظیم را با هزینه‌ی اجرای کوچک داشته باشیم؟ پاسخ: مدل را به متخصص‌ها بشکن و برای هر توکن فقط چند متخصص مرتبط را روشن کن. نتیجه، مدل‌های یک‌تریلیونی با قیمت استنتاج معقول است — همان چیزی که نسل فعلی مدل‌های پرچم‌دار را ممکن کرد. ادامه‌ی این مسیر فنی در دو مطلب: تقطیر و کوانتیزاسیون که مدل را برای اجرا سبک‌تر می‌کند و مدل زبانی چیست که تصویر کلی را می‌سازد.