چگونه نمونه‌برداری دما و هسته‌ای خروجی مدل‌های زبان را شکل می‌دهند

پیش از آنکه یک هوش مصنوعی حتی یک هجا تولید کند، مهندس نرم‌افزاری که فراخوانی API را پیکربندی می‌کند، یک انتخاب ریاضی انجام می‌دهد. توسعه‌دهنده با تنظیم دو پارامتر مشخص—دما (temperature) و تاپ-پی (top-p)—درست قبل از اجرای درخواست تولید، دقیقاً میزان هرج و مرج آماری مجاز برای تزریق به پاسخ مدل را تعیین می‌کند.[6]

مدل‌های زبان در واقع متن خروجی نمی‌دهند؛ بلکه یک توزیع احتمال تولید می‌کنند. هنگامی که یک مدل یک پرامپت را پردازش می‌کند، لایه نهایی شبکه عصبی آن، نمرات خام و نرمال‌نشده‌ای به نام لاجیت‌ها (Logits) را برای هر توکن بعدی ممکن در واژگان خود تولید می‌کند، که اغلب از ۵۰,۰۰۰ قطعه کلمه متمایز فراتر می‌رود.[2][5]

این لاجیت‌های خام سپس از طریق تابع سافت‌مکس (Softmax) عبور داده می‌شوند و به یک توزیع احتمال مبتنی بر درصد تمیز تبدیل می‌شوند که مجموع آن ۱۰۰ درصد است. همانطور که ماکسیم لابون در یک تحلیل فنی در سال ۲۰۲۴ برای هاگینگ فیس اشاره کرد: «استراتژی‌های رمزگشایی نحوه انتخاب توکن بعدی از توزیع احتمال را دیکته می‌کنند.»[2]

ساده‌ترین رویکرد، رمزگشایی حریصانه (Greedy Decoding) است، که در آن سیستم کورکورانه تنها توکنی را انتخاب می‌کند که بالاترین احتمال را دارد. اگر کلمه "The" شانس ۴۲ درصدی برای ظاهر شدن بعدی داشته باشد و "A" شانس ۳۸ درصدی، رمزگشایی حریصانه هر بار "The" را انتخاب می‌کند، که خروجی را کاملاً قطعی (deterministic) و بسیار تکراری می‌سازد.[2][4]

برای شکستن این یکنواختی ماشینی، توسعه‌دهندگان از طریق پارامتری به نام دما، تصادفی بودن کنترل‌شده (استوکاستیسیته) را معرفی می‌کنند. محققان در مؤسسه مهندسی پرامپت در تحلیل آگوست ۲۰۲۴ خود توضیح دادند: «دما به عنوان یک عامل مقیاس‌بندی بر روی لاجیت‌های خام، پیش از تبدیل شدن به احتمالات، عمل می‌کند.»[4]

از نظر ریاضی، مقدار دما لاجیت‌های خام را قبل از اعمال تابع سافت‌مکس تقسیم می‌کند. دمای ۱.۰ توزیع را دقیقاً همانطور که مدل محاسبه کرده است باقی می‌گذارد و فواصل اطمینان اصلی شبکه عصبی را حفظ می‌کند.[4][5]

کاهش دما به زیر ۱.۰—که معمولاً برای وظایف برنامه‌نویسی یا استخراج داده تا ۰.۲ پایین می‌آید—توزیع را تیزتر می‌کند و تفاوت بین احتمالات بالا و پایین را تقویت می‌نماید. برعکس، افزایش آن به ۰.۸ یا ۱.۲ منحنی را مسطح می‌کند، و به توکن‌های با رتبه پایین‌تر شانس آماری قابل توجهی برای انتخاب می‌دهد، که خوانندگان انسانی آن را به عنوان "خلاقیت" درک می‌کنند.[4]

با این حال، دما به تنهایی یک آسیب‌پذیری حیاتی ایجاد می‌کند: دنباله طولانی (long tail). در واژگانی متشکل از ۵۰,۰۰۰ توکن، مسطح کردن توزیع به این معنی است که هزاران توکن کاملاً نامرتبط ناگهان کسری از درصد احتمال را به دست می‌آورند. در طول یک تولید ۵۰۰ کلمه‌ای، مدل به ناچار تاس می‌اندازد و یکی از این ناهنجاری‌ها را انتخاب می‌کند، که منجر به توهم (hallucination) یا از دست دادن ناگهانی انسجام گرامری می‌شود.[5]

برای کوتاه کردن این دنباله از توکن‌های بی‌ارزش، مهندسان از نمونه‌برداری هسته‌ای (Nucleus Sampling) استفاده می‌کنند که در مستندات API به طور جهانی به عنوان تاپ-پی (Top-P) شناخته می‌شود. تاپ-پی به جای مقیاس‌بندی احتمالات، به عنوان یک نگهبان ریاضی سخت‌گیر عمل می‌کند و توزیع را قبل از وقوع انتخاب تصادفی قطع می‌کند.[3][5]

یک بررسی فنی عمیق در سال ۲۰۲۵ توسط Lundgren.io توضیح داد: «نمونه‌برداری تاپ-پی تضمین می‌کند که ما فقط محتمل‌ترین توکن‌هایی را در نظر می‌گیریم که هسته توزیع را تشکیل می‌دهند.» اگر توسعه‌دهنده‌ای تاپ-پی را روی ۰.۹۰ تنظیم کند، الگوریتم توکن‌ها را از محتمل‌ترین به کم‌احتمال‌ترین مرتب می‌کند و احتمالات آن‌ها را با هم جمع می‌زند، و فوراً هر توکنی را که خارج از آن آستانه تجمعی ۹۰ درصدی قرار گیرد، کنار می‌گذارد.[5]

این بدان معناست که مجموعه توکن‌های موجود به صورت پویا گسترش و انقباض می‌یابد. اگر مدل بسیار مطمئن باشد—مثلاً پیش‌بینی کلمه "States" بعد از "United"—ممکن است ۹۰ درصد برتر فقط شامل دو یا سه توکن باشد. اگر مدل نامطمئن باشد، هسته ممکن است گسترش یابد تا ۵۰ گزینه معتبر را در بر گیرد، و تنوع را بدون به خطر انداختن دنباله طولانی حفظ کند.[4][5]

با این حال، حتی تاپ-پی نیز موارد حاشیه‌ای دارد. هنگامی که یک مدل به شدت نامطمئن است، توزیع آنقدر مسطح می‌شود که جمع‌آوری ۹۰ درصد احتمال مستلزم گنجاندن صدها توکن است، که برخی از آنها از نظر بافتی نامناسب هستند.[1]

این نقص، توسعه نمونه‌برداری مین-پی (Min-P) را به دنبال داشت، یک الگوریتم جدیدتر که در پیش‌چاپ arXiv در سال ۲۰۲۴ شرح داده شد. به جای آستانه تجمعی، «مین-پی یک آستانه پویا بر اساس حداکثر احتمال توکن تعیین می‌کند، و تضمین می‌کند که فقط توکن‌هایی با احتمالی حداقل $p \times P_{max}$ در نظر گرفته شوند.»[1]

اگر محتمل‌ترین توکن احتمال ۴۰ درصدی داشته باشد، و مین-پی روی ۰.۱۰ تنظیم شده باشد، هر توکنی با شانس کمتر از ۴ درصد بلافاصله کنار گذاشته می‌شود. این مقیاس‌بندی نسبی از گنجاندن توکن‌های با کیفیت پایین حتی زمانی که توزیع کلی مسطح است جلوگیری می‌کند و یک محافظ محکم‌تر نسبت به نمونه‌برداری هسته‌ای سنتی ارائه می‌دهد.[1][3]

در عمل، سیستم‌های تولیدی به ندرت به یک روش واحد متکی هستند. پیکربندی استاندارد صنعتی هر دو را اعمال می‌کند: دمای ٠.٧ برای مسطح کردن منحنی، و به دنبال آن تاپ-پی ٠.٩٥ برای قطع تمیز دنباله طولانی. توسعه‌دهندگان با تنظیم این دو دایال، یک ماتریس ریاضی ایستا را به موتوری تبدیل می‌کنند که قادر به منطق سخت‌گیرانه و نثر گسترده است.[6]