چگونه نمونه‌برداری دما و هسته‌ای خروجی مدل‌های زبان را شکل می‌دهند

پیش از آنکه یک هوش مصنوعی حتی یک هجا تولید کند، مهندس نرم‌افزاری که فراخوانی API را پیکربندی می‌کند، یک انتخاب ریاضی انجام می‌دهد. توسعه‌دهنده با تنظیم دو پارامتر مشخص—دما (temperature) و تاپ-پی (top-p)—درست قبل از اجرای درخواست تولید، دقیقاً میزان هرج و مرج آماری مجاز برای تزریق به پاسخ مدل را تعیین می‌کند.[6]

مدل‌های زبان در واقع متن خروجی نمی‌دهند؛ بلکه یک توزیع احتمال تولید می‌کنند. هنگامی که یک مدل یک پرامپت را پردازش می‌کند، لایه نهایی شبکه عصبی آن، نمرات خام و نرمال‌نشده‌ای به نام لاجیت‌ها (Logits) را برای هر توکن بعدی ممکن در واژگان خود تولید می‌کند، که اغلب از ۵۰,۰۰۰ قطعه کلمه متمایز فراتر می‌رود.[2][5]

این لاجیت‌های خام سپس از طریق تابع سافت‌مکس (Softmax) عبور داده می‌شوند و به یک توزیع احتمال مبتنی بر درصد تمیز تبدیل می‌شوند که مجموع آن ۱۰۰ درصد است. همانطور که ماکسیم لابون در یک تحلیل فنی در سال ۲۰۲۴ برای هاگینگ فیس اشاره کرد: «استراتژی‌های رمزگشایی نحوه انتخاب توکن بعدی از توزیع احتمال را دیکته می‌کنند.»[2]

ساده‌ترین رویکرد، رمزگشایی حریصانه (Greedy Decoding) است، که در آن سیستم کورکورانه تنها توکنی را انتخاب می‌کند که بالاترین احتمال را دارد. اگر کلمه "The" شانس ۴۲ درصدی برای ظاهر شدن بعدی داشته باشد و "A" شانس ۳۸ درصدی، رمزگشایی حریصانه هر بار "The" را انتخاب می‌کند، که خروجی را کاملاً قطعی (deterministic) و بسیار تکراری می‌سازد.[2]