Temperature، Context Window و Token در مدل‌های AI یعنی چه؟

وقتی با یک مدل هوش مصنوعی مانند مدل‌های زبانی بزرگ یا LLM کار می‌کنیم، معمولاً با عباراتی مثل Token، Context Window و Temperature روبه‌رو می‌شویم.

برای یک کاربر عادی شاید این تنظیمات فقط چند عدد در API یا پنل مدل باشند، اما در واقع هرکدام بخش مهمی از رفتار مدل را کنترل می‌کنند.

مثلاً:

• چرا یک مدل نمی‌تواند یک کتاب کامل را همیشه در یک درخواست پردازش کند؟
• چرا هزینه API بر اساس تعداد Token محاسبه می‌شود؟
• چرا یک درخواست یکسان گاهی پاسخ‌های متفاوت تولید می‌کند؟
• چرا افزایش Temperature می‌تواند خروجی را خلاق‌تر اما کم‌ثبات‌تر کند؟
• چرا Context بزرگ‌تر الزاماً به معنی پاسخ بهتر نیست؟

پاسخ بسیاری از این سؤال‌ها به همین سه مفهوم برمی‌گردد.

برای درک نحوه کار مدل‌های زبانی، باید ابتدا یک نکته مهم را بدانیم: مدل زبان متن را دقیقاً همان‌طور که ما می‌بینیم، نمی‌خواند. متن ابتدا توسط Tokenizer به واحدهای قابل پردازش و سپس به شناسه‌های عددی تبدیل می‌شود.

Token چیست؟

Token کوچک‌ترین واحدی است که یک مدل زبانی برای پردازش متن دریافت می‌کند.

یک Token لزوماً برابر با یک کلمه نیست.

بسته به Tokenizer و زبان، یک Token ممکن است:

• یک کلمه کامل باشد
• بخشی از یک کلمه باشد
• یک حرف باشد
• یک علامت نگارشی باشد
• فاصله همراه با یک کلمه باشد
• یک قطعه متنی پرتکرار باشد

برای مثال ممکن است یک کلمه ساده انگلیسی به یک Token تبدیل شود، اما یک کلمه طولانی به چند Token تقسیم شود.

Hugging Face توضیح می‌دهد که Tokenization فرآیند تبدیل متن خام به Token ID است، زیرا مدل‌های زبانی متن را به شکل مستقیم پردازش نمی‌کنند و با داده‌های عددی کار می‌کنند. Tokenها نیز بسته به مدل می‌توانند یک کاراکتر، یک کلمه یا بخشی از یک کلمه باشند.

مثال ساده از Token

فرض کنید این جمله را به مدل می‌دهیم:

«هوش مصنوعی در حال تغییر دنیا است.»

مدل ممکن است آن را مفهومی شبیه این پردازش کند:

• هوش
• مصنوعی
• در
• حال
• تغییر
• دنیا
• است
• .

اما این فقط یک مثال ساده برای درک موضوع است.

در عمل Tokenizer ممکن است کلمات را به شکل دیگری تقسیم کند و حتی بخش‌هایی از یک کلمه را به Tokenهای جداگانه تبدیل کند.

بنابراین این تصور که:

هر کلمه = یک Token

درست نیست.

تعداد Tokenها به Tokenizer و مدل مورد استفاده بستگی دارد.

Tokenizer چیست؟

Tokenizer ابزاری است که متن انسان را به شکلی تبدیل می‌کند که مدل بتواند آن را پردازش کند.

یک فرآیند ساده Tokenization معمولاً شامل مراحل زیر است:

1. دریافت متن خام
2. Normalization یا یکسان‌سازی برخی ویژگی‌های متن
3. تقسیم اولیه متن
4. تبدیل بخش‌های متن به Token
5. تبدیل Tokenها به شناسه‌های عددی
6. ارسال Token IDها به مدل

مستندات Hugging Face مفهوم Tokenizer را به‌عنوان یک Pipeline معرفی می‌کند که متن خام را پردازش کرده و Encoding تولید می‌کند. در این فرایند بخش‌هایی مانند Normalizer، Pre-Tokenizer، Model و Post-Processor می‌توانند نقش داشته باشند.

به زبان ساده:

متن شما ← Tokenizer ← Tokenها ← Token IDها ← مدل AI

سپس هنگام تولید پاسخ، این فرآیند در جهت دیگری اتفاق می‌افتد تا Tokenهای تولیدشده دوباره به متن قابل خواندن تبدیل شوند.

چرا Token اهمیت دارد؟

Token تقریباً در تمام بخش‌های کار با مدل‌های AI اهمیت دارد.

تعداد Token روی موارد زیر تأثیر می‌گذارد:

• هزینه API
• حداکثر طول ورودی
• حداکثر طول پاسخ
• سرعت پردازش
• مصرف حافظه
• ظرفیت Context
• امکان پردازش فایل‌ها و اسناد بزرگ

به همین دلیل وقتی یک سرویس AI اعلام می‌کند:

Context Window: 128K

منظور آن معمولاً 128 هزار کلمه نیست.

منظور 128 هزار Token است.

و این دو عدد اصلاً یکی نیستند. انسان‌ها البته عاشق تبدیل هر واحد فنی به یک تخمین ساده هستند، بعد هم وقتی نتیجه اشتباه شد از مدل انتظار معجزه دارند.

Input Token و Output Token چیست؟

در بسیاری از APIهای هوش مصنوعی، Tokenها به دو بخش تقسیم می‌شوند:

Input Token

تمام Tokenهایی که به مدل ارسال می‌کنید.

این موارد می‌توانند شامل:

• Prompt
• System Prompt
• تاریخچه گفتگو
• دستورالعمل‌ها
• متن فایل
• محتوای RAG
• خروجی ابزارها

باشند.

Output Token

Tokenهایی که مدل برای تولید پاسخ ایجاد می‌کند.

برای مثال فرض کنید شما در مجموع 5,000 Token به مدل ارسال می‌کنید و مدل پاسخی برابر با 1,000 Token تولید می‌کند.

در این درخواست داریم:

• Input: 5,000 Token
• Output: 1,000 Token
• مجموع پردازش: 6,000 Token

البته نحوه قیمت‌گذاری هر سرویس متفاوت است و معمولاً Input و Output Token ممکن است قیمت یکسانی نداشته باشند.

آیا Token فقط مربوط به متن است؟

خیر.

در مدل‌های چندوجهی، مفهوم Token می‌تواند برای داده‌های دیگر نیز به کار برود.

برای مثال:

• Image Token
• Audio Token
• Video Token

یک مدل چندوجهی ممکن است تصویر یا صوت را نیز به نمایش‌هایی تبدیل کند که در ساختار پردازش مدل قابل استفاده باشند.

بنابراین وقتی درباره Context یک مدل Multimodal صحبت می‌کنیم، باید توجه داشت که مصرف ظرفیت فقط مربوط به متن نیست.

یک تصویر یا داده چندوجهی نیز می‌تواند بخشی از ظرفیت پردازش مدل را مصرف کند.

Context Window چیست؟

Context Window حداکثر مقدار اطلاعاتی است که مدل می‌تواند در یک مرحله پردازش و در Context فعال خود در نظر بگیرد.

این ظرفیت معمولاً بر اساس Token بیان می‌شود.

برای مثال:

• 8K Context
• 32K Context
• 128K Context
• 256K Context
• 1M Context

اگر یک مدل دارای Context برابر با 128K باشد، این عدد به معنی 128 هزار کلمه نیست.

یعنی مدل می‌تواند تا سقف مشخصی از Tokenهای مربوط به ورودی، تاریخچه و در بسیاری از معماری‌ها خروجی مورد نیاز را در محدوده Context خود مدیریت کند.

محدودیت دقیق نیز به نحوه پیاده‌سازی و پارامترهای مدل بستگی دارد.

Context Window چگونه کار می‌کند؟

فرض کنید مدل شما Context Window برابر با 100,000 Token دارد.

حالا شما موارد زیر را به مدل می‌دهید:

• System Prompt: 2,000 Token
• تاریخچه گفتگو: 18,000 Token
• متن یک سند: 60,000 Token

تا اینجا:

80,000 Token

از Context استفاده شده است.

اگر سیستم بخواهد 10,000 Token پاسخ تولید کند، مجموع موردنیاز می‌تواند به 90,000 Token برسد.

اما اگر درخواست شما از ظرفیت Context عبور کند، سیستم باید با محدودیت برخورد کند.

بسته به سرویس و پیاده‌سازی ممکن است:

• درخواست رد شود
• بخشی از ورودی حذف شود
• تاریخچه قدیمی حذف شود
• متن خلاصه شود
• مقدار خروجی محدود شود

بنابراین Context Window را می‌توان نوعی ظرفیت حافظه فعال مدل برای همان درخواست دانست، هرچند از نظر فنی با حافظه دائمی انسان تفاوت دارد.

آیا مدل تمام گفتگو را همیشه به خاطر دارد؟

خیر.

این یکی از سوءتفاهم‌های رایج درباره مدل‌های AI است.

مدل معمولاً فقط اطلاعاتی را می‌بیند که در Context فعلی آن قرار گرفته‌اند.

اگر تاریخچه یک گفتگوی بسیار طولانی از Context خارج شود، مدل لزوماً دیگر آن بخش را در ورودی فعال خود ندارد.

به همین دلیل سیستم‌های گفتگو معمولاً برای مدیریت Context از روش‌هایی مانند:

• حذف پیام‌های قدیمی
• خلاصه‌سازی گفتگو
• نگهداری اطلاعات مهم
• RAG
• Memory جداگانه

استفاده می‌کنند.

پس Context Window را با «حافظه دائمی مدل» اشتباه نگیرید.

Context بیشتر شبیه میز کاری فعلی مدل است، نه انباری که تمام خاطرات زندگی‌اش در آن نگهداری شده باشد.

Context Window بزرگ چه مزیتی دارد؟

Context بزرگ‌تر اجازه می‌دهد اطلاعات بیشتری در یک درخواست به مدل داده شود.

برای مثال می‌توان از Context بزرگ برای:

• تحلیل کتاب
• تحلیل قراردادهای طولانی
• بررسی PDF
• تحلیل Repository
• پردازش کدهای زیاد
• گفتگوهای طولانی
• Agentهای چندمرحله‌ای
• تحلیل چندین سند

استفاده کرد.

فرض کنید یک پروژه برنامه‌نویسی شامل صدها فایل است.

هرچه Context مدل بزرگ‌تر باشد، احتمال اینکه بتوانید بخش بیشتری از اطلاعات پروژه را هم‌زمان به مدل بدهید افزایش پیدا می‌کند.

اما اینجا یک نکته مهم وجود دارد.

آیا Context بزرگ‌تر همیشه بهتر است؟

نه.

این یکی از اشتباهاتی است که در تبلیغات مدل‌ها زیاد دیده می‌شود.

مثلاً:

مدل A: یک میلیون Token Context

ممکن است در نگاه اول بسیار بهتر از مدل 128K به نظر برسد.

اما سؤال مهم این است:

آیا مدل واقعاً می‌تواند در تمام طول Context، اطلاعات مهم را با کیفیت بالا بازیابی و استفاده کند؟

طول Context و کیفیت استفاده از Context دو چیز متفاوت هستند.

ممکن است مدلی بتواند حجم زیادی از Token را دریافت کند، اما در تشخیص اطلاعات مهم در بخش‌های دورتر Context عملکرد ضعیف‌تری داشته باشد.

به همین دلیل در ارزیابی مدل‌ها فقط نباید به عدد Context Window نگاه کرد.

بنچمارک‌های Long Context نیز اهمیت دارند.

Context Window چه تأثیری روی RAG دارد؟

در سیستم‌های RAG، مدل معمولاً قبل از پاسخ دادن اطلاعات مرتبط را از یک پایگاه داده یا Vector Database دریافت می‌کند.

سپس این اطلاعات به Prompt اضافه می‌شوند.

هرچه تعداد اسناد بازیابی‌شده بیشتر باشد، تعداد Tokenهای ورودی نیز افزایش پیدا می‌کند.

برای مثال:

سؤال کاربر ← جست‌وجوی اطلاعات ← بازیابی 20 بخش سند ← اضافه شدن به Context ← پاسخ مدل

اگر Context محدود باشد، نمی‌توانید مقدار زیادی اطلاعات را هم‌زمان وارد مدل کنید.

اما Context بسیار بزرگ نیز مجوزی برای ریختن تمام دیتابیس داخل Prompt نیست.

RAG خوب یعنی:

اطلاعات درست را پیدا کنید، نه اینکه هرچه دارید داخل Context بریزید.

مدل با Context بزرگ هم از اطلاعات نامرتبط باهوش‌تر نمی‌شود.

Temperature چیست؟

Temperature پارامتری است که روی نحوه انتخاب Token بعدی توسط مدل تأثیر می‌گذارد.

مدل هنگام تولید پاسخ، برای Tokenهای مختلف احتمال در نظر می‌گیرد.

برای مثال ممکن است بعد از یک جمله، احتمال Tokenهای بعدی تقریباً به این شکل باشد:

• «است»: 60٪
• «بود»: 20٪
• «خواهد»: 10٪
• گزینه‌های دیگر: 10٪

Temperature روی شکل این توزیع احتمال اثر می‌گذارد.

مستندات Hugging Face مفهوم temperature را مقداری معرفی می‌کند که برای تغییر احتمال‌های Token بعدی استفاده می‌شود. مقدار کمتر معمولاً خروجی را متمرکزتر و قابل پیش‌بینی‌تر می‌کند، در حالی که مقدار بالاتر تنوع و تصادفی بودن را افزایش می‌دهد.

Temperature پایین یعنی چه؟

Temperature پایین باعث می‌شود مدل بیشتر به سمت گزینه‌هایی برود که احتمال بالاتری دارند.

نتیجه معمولاً:

• قابل پیش‌بینی‌تر
• پایدارتر
• کم‌تنوع‌تر
• متمرکزتر

است.

برای کارهایی مانند:

• برنامه‌نویسی
• استخراج اطلاعات
• پاسخ‌های ساختاریافته
• تحلیل داده
• تولید JSON
• خلاصه‌سازی

معمولاً Temperature پایین‌تر منطقی‌تر است.

Hugging Face نیز در توضیح پارامترهای Generation اشاره می‌کند که برای کارهای مرتبط با کد، تنوع کمتر و در نتیجه Temperature پایین‌تر معمولاً مناسب‌تر است.

مثال تنظیم Temperature پایین

مقادیر تقریبی:

• 0 تا 0.2: بسیار متمرکز
• 0.3 تا 0.5: کنترل‌شده
• 0.6 تا 0.8: متعادل

این اعداد قانون جهانی و ثابت نیستند.

رفتار دقیق به مدل و روش Sampling بستگی دارد.

Temperature بالا یعنی چه؟

Temperature بالاتر باعث می‌شود Tokenهایی با احتمال پایین‌تر نیز شانس بیشتری برای انتخاب داشته باشند.

در نتیجه خروجی معمولاً:

• متنوع‌تر
• خلاق‌تر
• غیرقابل پیش‌بینی‌تر

می‌شود.

اما اگر مقدار بیش از حد بالا باشد، احتمال تولید پاسخ‌های نامنسجم نیز افزایش پیدا می‌کند.

Hugging Face توضیح می‌دهد که Temperature نزدیک به صفر مدل را به رفتار نزدیک به انتخاب محتمل‌ترین گزینه می‌برد، در حالی که مقادیر بسیار بالاتر می‌توانند خروجی را بسیار تصادفی‌تر کنند.

بهترین Temperature برای AI چقدر است؟

یک عدد ثابت به‌عنوان «بهترین Temperature» وجود ندارد.

تنظیم مناسب به نوع کار بستگی دارد.

برای برنامه‌نویسی

معمولاً:

0 تا 0.3

هدف، پاسخ پایدار و دقیق‌تر است.

برای تولید محتوای عمومی

معمولاً:

0.5 تا 0.8

می‌تواند تعادل خوبی بین خلاقیت و انسجام ایجاد کند.

برای داستان و ایده‌پردازی

معمولاً:

0.8 تا 1.2 یا بیشتر

ممکن است خروجی متنوع‌تری ایجاد کند.

اما افزایش Temperature نباید به‌عنوان دکمه «باهوش‌تر کردن مدل» دیده شود.

Temperature بالاتر مدل را باهوش‌تر نمی‌کند.

فقط روش انتخاب Tokenهای بعدی را تصادفی‌تر و متنوع‌تر می‌کند.

این تفاوت مهمی است.

آیا Temperature صفر همیشه بهترین پاسخ را می‌دهد؟

نه لزوماً.

در بسیاری از سیستم‌ها Temperature بسیار پایین یا نزدیک صفر باعث می‌شود مدل به انتخاب‌های بسیار مشابه و تکراری گرایش داشته باشد.

برای وظایف خلاقانه این موضوع می‌تواند مشکل‌ساز باشد.

فرض کنید از مدل بخواهید 20 ایده متفاوت برای یک کمپین تبلیغاتی ارائه دهد.

اگر Sampling بیش از حد محدود باشد، احتمال دارد ایده‌ها شباهت زیادی به هم پیدا کنند.

بنابراین باید تنظیم را با نوع وظیفه هماهنگ کرد.

Temperature چگونه از نظر فنی کار می‌کند؟

مدل قبل از انتخاب Token بعدی برای هر Token یک مقدار امتیاز یا Logit تولید می‌کند.

سپس این مقادیر به توزیع احتمال تبدیل می‌شوند.

Temperature روی این توزیع اثر می‌گذارد.

به‌صورت ساده:

• Temperature کمتر: تفاوت بین گزینه‌های محتمل و کم‌احتمال بیشتر برجسته می‌شود.
• Temperature بیشتر: توزیع احتمال مسطح‌تر می‌شود و گزینه‌های کم‌احتمال شانس بیشتری پیدا می‌کنند.

به همین دلیل Temperature پایین خروجی را متمرکزتر و Temperature بالا آن را متنوع‌تر می‌کند.

Temperature و Top P چه تفاوتی دارند؟

این دو پارامتر گاهی با هم اشتباه گرفته می‌شوند.

Temperature شکل توزیع احتمال را تغییر می‌دهد.

اما Top P مجموعه Tokenهای قابل انتخاب را بر اساس مجموع احتمال محدود می‌کند.

برای مثال اگر:

Top P = 0.9

باشد، سیستم کوچک‌ترین مجموعه‌ای از Tokenهای محتمل را نگه می‌دارد که مجموع احتمال آن‌ها حداقل به 0.9 برسد.

Tokenهای خارج از این محدوده برای Sampling کنار گذاشته می‌شوند.

به زبان ساده:

• Temperature: میزان تصادفی بودن انتخاب را تغییر می‌دهد.
• Top P: محدوده گزینه‌های قابل انتخاب را بر اساس احتمال محدود می‌کند.

Temperature و Top K چه تفاوتی دارند؟

Top K تعداد مشخصی از محتمل‌ترین Tokenها را نگه می‌دارد.

برای مثال:

Top K = 50

یعنی مدل فقط از میان 50 Token دارای بیشترین احتمال انتخاب می‌کند.

Hugging Face Top K را تعداد Tokenهای دارای بالاترین احتمال تعریف می‌کند که برای فرآیند Sampling نگه داشته می‌شوند.

بنابراین:

• Top K = محدود کردن تعداد گزینه‌ها
• Top P = محدود کردن گزینه‌ها بر اساس مجموع احتمال
• Temperature = تغییر میزان تمرکز یا تصادفی بودن توزیع

Context Window و Token چه ارتباطی دارند؟

ارتباط این دو بسیار مستقیم است.

Context Window با Token اندازه‌گیری می‌شود.

برای مثال اگر یک مدل:

128K Context Window

داشته باشد، یعنی ظرفیت پردازش آن بر اساس Token تا حدود 128 هزار واحد Context است.

بنابراین هرچه Tokenهای زیر بیشتر شوند:

• System Prompt
• پیام کاربر
• تاریخچه گفتگو
• اسناد
• داده RAG
• خروجی ابزارها
• پاسخ مدل

بخش بیشتری از ظرفیت Context مصرف می‌شود.

آیا Output Token نیز Context را مصرف می‌کند؟

در بسیاری از سناریوهای تولید، باید برای خروجی مدل نیز ظرفیت در نظر گرفت.

به همین دلیل وقتی با API کار می‌کنید، فقط نمی‌توانید تمام ظرفیت Context را با Input پر کنید و انتظار پاسخ نامحدود داشته باشید.

برای مثال اگر Context مدل 128K باشد و تقریباً تمام آن با ورودی پر شود، فضای بسیار کمی برای تولید خروجی باقی می‌ماند.

پارامترهایی مانند max_new_tokens نیز برای کنترل سقف Tokenهای تولیدشده استفاده می‌شوند.

تفاوت Token، Context Window و Temperature در یک نگاه

مفهوم وظیفه اصلی روی چه چیزی تأثیر دارد

Token واحد پردازش اطلاعات هزینه، طول ورودی و خروجی

Context Window ظرفیت اطلاعات فعال مدل مقدار داده قابل پردازش

Temperature کنترل Sampling تنوع و تصادفی بودن خروجی

مثال واقعی: هر سه مفهوم چگونه با هم کار می‌کنند؟

فرض کنید یک API AI دارید.

تنظیمات مدل:

• Context Window: 128K
• Temperature: 0.7
• Max Output: 8K

حالا کاربر یک مقاله 50 هزار Tokenی ارسال می‌کند و از مدل می‌خواهد آن را تحلیل کند.

در اینجا:

مرحله اول: Tokenization

متن مقاله به Token تبدیل می‌شود.

مرحله دوم: بررسی Context

مدل باید ببیند مجموع Tokenهای:

• System Prompt
• مقاله
• دستور کاربر

چقدر است.

اگر مجموع آن‌ها کمتر از ظرفیت Context باشد، مدل می‌تواند درخواست را پردازش کند.

مرحله سوم: تولید پاسخ

مدل شروع به تولید Tokenهای پاسخ می‌کند.

در هر مرحله، Temperature روی نحوه Sampling Token بعدی اثر می‌گذارد.

مرحله چهارم: محدودیت خروجی

مدل نمی‌تواند بیش از سقف تنظیم‌شده Output Token تولید کند.

در این مثال سه مفهوم با هم کار می‌کنند.

چرا در API هزینه بر اساس Token محاسبه می‌شود؟

زیرا مدل عملاً حجم پردازش را بر اساس Token انجام می‌دهد.

هرچه Token بیشتری ارسال کنید:

• پردازش بیشتری لازم است
• Context بیشتری مصرف می‌شود
• در برخی معماری‌ها حافظه بیشتری نیاز است
• هزینه محاسباتی افزایش پیدا می‌کند

به همین دلیل سرویس‌های AI معمولاً قیمت‌گذاری خود را بر اساس:

• Input Token
• Output Token
• گاهی Cached Token

انجام می‌دهند.

برای کاهش هزینه API می‌توان:

• Promptها را کوتاه‌تر کرد
• تاریخچه غیرضروری را حذف کرد
• RAG را دقیق‌تر کرد
• خروجی را محدود کرد
• اطلاعات تکراری را ارسال نکرد

چگونه مصرف Token را کاهش دهیم؟

اگر در حال ساخت یک اپلیکیشن AI هستید، مدیریت Token اهمیت زیادی دارد.

چند روش کاربردی:

1. System Prompt را بیش از حد طولانی نکنید

Prompt هزاران توکنی همیشه به معنی Prompt بهتر نیست.

دستورالعمل‌ها باید واضح و ضروری باشند.

2. تمام تاریخچه را ارسال نکنید

در گفتگوهای طولانی می‌توان بخش‌های قدیمی را خلاصه کرد.

3. RAG را بهینه کنید

به جای ارسال ده‌ها سند نامرتبط، فقط اطلاعات مرتبط را بازیابی کنید.

4. خروجی را محدود کنید

اگر پاسخ 500 توکنی کافی است، سقف خروجی 10,000 Token قرار ندهید.

5. داده تکراری را حذف کنید

ارسال دوباره اطلاعاتی که مدل قبلاً در همان Context دارد فقط مصرف Token را افزایش می‌دهد.

Context Window بزرگ برای برنامه‌نویسی چه مزیتی دارد؟

در پروژه‌های نرم‌افزاری، Context بزرگ می‌تواند بسیار مهم باشد.

یک Coding Agent ممکن است نیاز داشته باشد:

• ساختار پروژه را ببیند
• چندین فایل را بررسی کند
• خطاها را تحلیل کند
• مستندات را بخواند
• خروجی Terminal را بررسی کند

هرچه Context بزرگ‌تر باشد، می‌توان اطلاعات بیشتری را هم‌زمان در اختیار مدل قرار داد.

اما باز هم نباید کل Repository را بدون انتخاب هوشمندانه به مدل ارسال کرد.

بهترین Agentها معمولاً ابتدا اطلاعات مرتبط را پیدا می‌کنند و سپس همان بخش‌ها را وارد Context می‌کنند.

Context Window بزرگ برای تولید محتوا چه کاربردی دارد؟

برای تولید محتوا می‌توان از Context بزرگ برای مواردی مانند:

• بررسی چند مقاله مرجع
• تحلیل سایت
• بررسی دستورالعمل برند
• حفظ سبک نوشتاری
• مقایسه چند منبع
• تولید مقاله براساس اسناد طولانی

استفاده کرد.

برای مثال اگر بخواهید یک مقاله تخصصی بر اساس چند مستند فنی بنویسید، Context بزرگ می‌تواند کمک کند منابع بیشتری هم‌زمان در اختیار مدل باشند.

اما کیفیت مقاله همچنان به کیفیت منابع و Prompt بستگی دارد.

مدلی که 200 هزار Token اطلاعات نامرتبط دریافت کند، ناگهان تبدیل به دانشمند نمی‌شود.

بهترین تنظیم برای Temperature در تولید مقاله چیست؟

برای تولید مقاله، معمولاً Temperature متوسط انتخاب منطقی‌تری است.

اگر هدف شما:

• متن دقیق
• ساختار منظم
• کاهش تناقض
• حفظ اطلاعات منبع

باشد، Temperature پایین تا متوسط می‌تواند مناسب‌تر باشد.

اگر هدف:

• ایده‌پردازی
• تیترهای متنوع
• زاویه‌های جدید
• لحن خلاقانه

باشد، مقدار بالاتر می‌تواند مفید باشد.

یک Workflow مناسب این است که:

مرحله تحقیق: Temperature پایین‌تر

مرحله ایده‌پردازی: Temperature متوسط یا بالاتر

مرحله نهایی و ویرایش: Temperature پایین‌تر

آیا Temperature روی صحت اطلاعات تأثیر دارد؟

Temperature مستقیماً دانش مدل را افزایش یا کاهش نمی‌دهد.

اما می‌تواند روی میزان احتمال انتخاب پاسخ‌های مختلف اثر بگذارد.

در کارهای factual، افزایش بیش از حد Temperature ممکن است احتمال انتخاب ادامه‌های غیرمعمول و کم‌احتمال را افزایش دهد.

به همین دلیل برای استخراج اطلاعات، تحلیل مستندات و پاسخ‌های ساختاریافته معمولاً تنظیمات محافظه‌کارانه‌تر مناسب‌تر هستند. Hugging Face نیز برای وظایف مبتنی بر داده ورودی و کارهایی مانند خلاصه‌سازی یا ترجمه، روش‌های تولید متمرکزتر را از وظایف خلاقانه متمایز می‌کند.

اما برای اطلاعات حساس، تنظیم Temperature پایین جای منبع معتبر، جست‌وجو یا اعتبارسنجی را نمی‌گیرد.

مدل می‌تواند با Temperature برابر 0 هم اطلاعات اشتباه تولید کند.

سه اشتباه رایج درباره Token و Context

اشتباه اول: هر Token یک کلمه است

خیر.

Token ممکن است کلمه، بخشی از کلمه یا حتی یک کاراکتر باشد.

اشتباه دوم: Context بزرگ یعنی مدل همه چیز را عالی می‌فهمد

خیر.

ظرفیت Context با کیفیت بازیابی و استفاده از اطلاعات متفاوت است.

اشتباه سوم: Temperature بالاتر یعنی مدل باهوش‌تر

خیر.

Temperature فقط نحوه Sampling و تنوع انتخاب Tokenهای بعدی را تغییر می‌دهد.

جمع‌بندی

برای درک نحوه کار مدل‌های AI، سه مفهوم Token، Context Window و Temperature اهمیت زیادی دارند.

Token واحدی است که متن قبل از پردازش توسط Tokenizer به آن تبدیل می‌شود و مدل در نهایت با نمایش‌های عددی مربوط به این Tokenها کار می‌کند.

Context Window ظرفیت اطلاعاتی است که مدل می‌تواند در Context فعال یک درخواست پردازش کند و معمولاً با تعداد Token بیان می‌شود.

Temperature نیز پارامتری برای کنترل تمرکز یا تنوع فرآیند انتخاب Token بعدی است. مقدار پایین‌تر معمولاً خروجی متمرکزتر و قابل‌پیش‌بینی‌تری ایجاد می‌کند و مقدار بالاتر می‌تواند تنوع بیشتری ایجاد کند.

به‌صورت خلاصه:

Token مشخص می‌کند اطلاعات چگونه به واحدهای قابل پردازش تبدیل شوند.

Context Window مشخص می‌کند چه مقدار از این اطلاعات می‌تواند در محدوده پردازش مدل قرار بگیرد.

Temperature مشخص می‌کند مدل هنگام انتخاب ادامه پاسخ تا چه اندازه محافظه‌کار یا متنوع عمل کند.

اگر در حال استفاده از API یا ساخت یک محصول AI هستید، درک این سه مفهوم فقط دانش تئوری نیست. این تنظیمات مستقیماً روی کیفیت پاسخ، هزینه، سرعت، طول ورودی و خروجی و رفتار کلی مدل اثر می‌گذارند.