یک جمله به مدل می‌دهید و در چند ثانیه پاسخی می‌گیرد که انگار کل مطلب را از اول فهمیده. پشت این صحنه، معماری‌ای کار می‌کند که از سال ۲۰۱۷ — با مقاله‌ای که عنوانش «تنها به توجه نیاز دارید» بود — زیربنای تمام مدل‌های زبانی بزرگ شده است: ترنسفورمر. جالب این‌جاست که این معماری اول برای ترجمه‌ی ماشینی ساخته شد و کسی انتظار نداشت روزی موتور چت‌بات‌ها، دستیارهای کدنویسی و موتورهای جست‌وجو شود. در این مطلب بدون فرمول سنگین می‌بینیم ترنسفورمر چه مسئله‌ای را حل کرد، مکانیزم «توجه» چطور کار می‌کند و چرا بعد از سال‌ها هنوز پادشاه است.
مسئله‌ای که ترنسفورمر حل کرد
قبل از ترنسفورمر، مدل‌های زبانی متن را مثل انسان می‌خواندند: کلمه‌به‌کلمه و به‌ترتیب. این معماری‌ها — به نام شبکه‌های بازگشتی — برای هر کلمه یک «حالت درونی» به‌روز می‌کردند که خلاصه‌ی همه‌ی کلمات قبلی بود. مشکل در دو جا بود: اول، فراموشی تدریجی؛ در جمله‌های طولانی، اطلاعات ابتدای متن در حالت درونی رقیق می‌شد و مدل رابطه‌ی کلمات دور از هم را از دست می‌داد. دوم، سرعت: چون پردازش ترتیبی است، نمی‌توان کلمات را هم‌زمان پردازش کرد و آموزش روی داده‌ی عظیم کُند و پرهزینه می‌ماند.
ترنسفورمر هر دو را یک‌جا حل کرد: پردازش موازی همه‌ی کلمات (سرعت آموزش چند برابر شد و مقیاس عظیم ممکن شد) و دسترسی مستقیم هر کلمه به همه‌ی کلمات دیگر (دیگر چیزی در مسیر انتقال گم نمی‌شود). ابزار این دو حل، همان مکانیزم توجه است.
مکانیزم توجه: هر کلمه به همه نگاه می‌کند
به این جمله نگاه کنید: «مانو کتاب را از سارا گرفت و به او برگرداند.» کلمه‌ی «او» به چه کسی برمی‌گردد؟ برای فهمیدنش، باید هم‌زمان به «مانو» و «سارا» نگاه کنید و بر اساس معنا انتخاب کنید. مکانیزم توجه دقیقاً همین کار را برای هر کلمه‌ی جمله انجام می‌دهد: هر کلمه به همه‌ی کلمات دیگر «توجه» می‌کند، به هر یک وزنی می‌دهد — بر اساس مرتبط بودنش — و نمای جدید خودش را از ترکیب وزن‌دار آن‌ها می‌سازد.
به زبان فنی‌تر اما هنوز ساده: هر توکن سه بردار می‌گیرد — «پرسش» (دنبال چه چیزی هستم؟)، «کلید» (چه چیزی ارائه می‌دهم؟) و «مقدار» (محتوای واقعی‌ام). پرسشِ هر کلمه با کلیدِ همه‌ی کلمات مقایسه می‌شود؛ هر تطابق، یک وزن توجه می‌سازد؛ و خروجی، میانگین وزن‌دار مقادیر است. کلمه‌ی «او» با پرسشِ «مرجع من کیست؟» به کلیدهای «مانو» و «سارا» وزن می‌دهد و با توجه به ساختار جمله، تصمیم می‌گیرد کدام برنده است.
توجه یعنی: هر کلمه جای اینکه فقط به همسایه‌اش تکیه کند، مستقیم از هر کلمه‌ی دیگری که به کارش می‌آید خبر می‌گیرد.
سر توجه: چند زاویه هم‌زمان
یک نگاه کافی نیست. کلمه در هر لحظه چند نوع رابطه دارد: دستوری، معنایی، ارجاع. برای همین ترنسفورمر «خودِ توجه» را موازی اجرا می‌کند — هر سر، یک زاویه‌ی نگاه مستقل است. در عمل یکی از سرها روابط دستوری را یاد می‌گیرد، یکی ارجاع‌دهی، یکی نظم کلمات کنار هم. خروجی همه‌ی سرها با هم ترکیب می‌شود و تصویر غنی‌تری از جمله می‌سازد. مدل‌های بزرگ ده‌ها سر و در چند لایه دارند؛ هر لایه روی خروجی لایه‌ی قبل ساخته می‌شود و انتزاع را عمیق‌تر می‌کند: از الگوهای سطحی به مفاهیم کامل.
چرا این معماری مقیاس‌پذیر بود و همه‌چیز را عوض کرد؟
سه ویژگی، ترنسفورمر را به انتخاب طبیعی مدل‌های عظیم تبدیل کرد:
- موازی‌سازی کامل: چون ترتیبی بودن حذف شده، آموزش روی GPUهای هزارتایی تقسیم می‌شود؛ بدون این ویژگی، آموزش مدل‌های امروز ناممکن بود.
- دسترسی مستقیم: فاصله‌ی دو کلمه در متن، دیگر مانع ارتباطشان نیست؛ رابطه‌ی کلمه‌ی اول و آخر یک پاراگراف به همان سادگیِ کلمات کنار هم دیده می‌شود.
- عمومی بودن: هیچ فرضی درباره‌ی زبان خاصی ندارد؛ متن، کد، تصویر تکه‌تکه‌شده و صدا همه به‌شکل دنباله‌ی توکن در می‌آیند و همین معماری روی همه کار می‌کند — پایه‌ی مدل‌های چندوجهی.
نقطه‌ضعفش را هم باید شناخت: پردازش همه‌ی کلمات با همه‌ی کلمات، هزینه‌ای است که با مجذور طول متن رشد می‌کند؛ همین است که «پنجره‌ی زمینه» را پرهزینه می‌کند و تحقیقات سال‌های اخیر برای پنجره‌های بزرگ‌تر و ارزان‌تر حول همین مسئله می‌چرخد.
ترنسفورمر کجاها زندگی می‌کند؟
تمام مدل‌هایی که در این مجموعه درباره‌شان می‌خوانید روی همین معماری‌اند: مدل‌های زبانی بزرگ مثل GPT، Claude، Gemini و GLM؛ مدل‌های تولید تصویر مثل مدل‌های خانواده‌ی انتشار که متن شما را با توجه می‌فهمند؛ مدل‌های گفتار؛ و حتی مدل‌های زیست‌شناسی که ساختار پروتئین را پیش‌بینی می‌کنند. وقتی می‌گوییم «مقس بزرگ‌تر» یا «آموزش بیشتر»، تغییر در معماری نیست؛ همان ترنسفورمر با مقیاس بزرگ‌تر و داده‌ی بیشتر است — موضوعی که در مدل زبانی چگونه ساخته می‌شود بررسی می‌کنیم.
جمع‌بندی
ترنسفورمر با یک ایده‌ی ساده — توجه به‌جای خواندن ترتیبی — دو قید قدیمی پردازش زبان را شکست: فراموشی در متن‌های طولانی و ناتوانی از موازی‌سازی. نتیجه، معماری‌ای شد که هم مقیاس‌پذیر است و هم عمومی؛ و همین دو ویژگی، راه را برای مدل‌های زبانی بزرگ باز کرد. برای ادامه‌ی مسیر، دو مطلب پیشنهاد می‌شود: معماری Mixture of Experts که نشان می‌دهد مدل‌های عظیم چطور با هزینه‌ی معقول اجرا می‌شوند، و توکن چیست که واحد این پردازش را باز می‌کند.