معیار پرپلکسیتی (Perplexity): میانگین هندسی احتمالات معکوس چگونه عملکرد مدل‌های زبانی را می‌سنجد؟

معیار پرپلکسیتی عملکرد یک مدل زبانی را با اندازه‌گیری دقیق تعداد کلماتی که مدل هنگام پیش‌بینی توکن بعدی در یک توالی بین آن‌ها حدس می‌زند، کمّی می‌کند. این معیار به عنوان میانگین هندسی احتمالات معکوس اختصاص داده شده به کلمات صحیح در یک مجموعه داده محاسبه می‌شود و مفهوم انتزاعی افت لگاریتمی را به یک سنجه شهودی از عدم قطعیت تبدیل می‌کند.

وقتی یک مدل زبانی بزرگ متنی را پردازش می‌کند، معنی را به شیوه انسانی درک نمی‌کند؛ بلکه یک توزیع احتمال را روی کل دایره واژگان خود برای آنچه باید در ادامه بیاید محاسبه می‌کند. اگر مدلی بسیار مطمئن و درست عمل کند، احتمال بالایی را به کلمه بعدی واقعی اختصاص می‌دهد. اگر نامطمئن باشد، این احتمال در میان هزاران کاندیدای بالقوه پخش می‌شود. پرپلکسیتی این پویایی را با ارزیابی اینکه یک مدل چقدر از یک توالی متن در دنیای واقعی «غافلگیر» شده است، به تصویر می‌کشد.

برای درک این سازوکار، باید به نحوه ارزیابی این مدل‌ها در حین و پس از آموزش نگاه کرد. بر اساس راهنمای جامع هفته دوم NPTEL LLM، ارزیابی این مدل‌ها نیازمند چارچوب‌های ریاضی قدرتمندی برای سنجش قابلیت‌های تولیدی آن‌هاست. همان‌طور که در مستندات Hugging Face به تفصیل آمده است، پرپلکسیتی از نظر ریاضی به عنوان میانگین نمایی لگاریتم درست‌نمایی منفی یک توالی تعریف می‌شود. اگرچه این عبارت پیچیده به نظر می‌رسد، اما عملیات زیربنایی آن ساده است: توالی‌ای از توکن‌ها به مدل داده می‌شود و از آن خواسته می‌شود در هر مرحله توکن بعدی را پیش‌بینی کند.[3][5]

در هر مرحله، مدل احتمالی را برای توکن صحیح خروجی می‌دهد. اگر متن «گربه روی فرش» باشد و کلمه بعدی «نشست» باشد، مدل ممکن است به «نشست» احتمال ۰.۹۰ را اختصاص دهد. معکوس این احتمال محاسبه می‌شود و میانگین هندسی این احتمالات معکوس در سراسر یک توالی کامل، مثلاً ۱۰۰۰ کلمه‌ای، نمره نهایی پرپلکسیتی را به دست می‌دهد.

پرپلکسیتی ۱ نشان‌دهنده یک مدل بی‌نقص نظری است که کلمه بعدی را با اطمینان ۱۰۰ درصد در هر بار پیش‌بینی می‌کند. در عمل، مدلی با پرپلکسیتی ۱۰ طوری عمل می‌کند که گویی در هر مرحله به طور یکنواخت از بین ۱۰ گزینه با احتمال برابر انتخاب می‌کند. همان‌طور که MetricGate در تحلیل ماه مه ۲۰۲۶ خود از این معیار اشاره می‌کند، این امر هزینه متوسط اطلاعات را به یک کمیت شمارشی تبدیل می‌کند که تفسیر آن آسان است. مستندات Hugging Face توضیح می‌دهد: «به طور شهودی، می‌توان آن را به عنوان ارزیابی توانایی مدل برای پیش‌بینی یکنواخت در میان مجموعه‌ای از توکن‌های مشخص شده در یک پیکره متنی در نظر گرفت.»[4][5]

ریشه‌های این معیار به نظریه اطلاعات و کار بنیادین کلود شانون در دهه ۱۹۴۰ برمی‌گردد. شانون از مفهوم آنتروپی برای اندازه‌گیری غیرقابل پیش‌بینی بودن اطلاعات استفاده کرد. در نظریه اطلاعات، پرپلکسیتی یک توزیع احتمال گسسته به سادگی برابر است با ۲ به توان آنتروپی آن توزیع، همان‌طور که در تعاریف ریاضی ویکی‌پدیا به تفصیل آمده است.[6]

در زمینه شبکه‌های عصبی مدرن، این مفهوم به افت آنتروپی متقاطع (cross-entropy loss) ترجمه می‌شود. در طول آموزش، هدف یک مدل به حداقل رساندن افت آنتروپی متقاطع است که واگرایی بین توزیع احتمال پیش‌بینی شده مدل و توزیع واقعی داده‌های آموزشی را اندازه‌گیری می‌کند. پرپلکسیتی به سادگی به توان رساندن این افت آنتروپی متقاطع است که معمولاً با استفاده از پایه e (عدد اویلر، تقریباً ۲.۷۱۸) در چارچوب‌های یادگیری عمیق مدرن محاسبه می‌شود.

این رابطه ریاضی دلیل آن است که پرپلکسیتی همچنان معیار استاندارد ارزیابی درونی برای مدل‌های زبانی احتمالی باقی مانده است. MachineLearningMastery در راهنمای دسامبر ۲۰۲۵ خود تأکید می‌کند که «پرپلکسیتی معیاری است که میانگین میزان تردید یک مدل زبانی در مورد توکن بعدی را کمّی می‌کند.» اگر یک مدل زبانی کاملاً نامطمئن باشد، هر توکن در دایره واژگان آن به یک اندازه محتمل است. برای مدلی با دایره واژگان ۵۰,۰۰۰ توکن، عدم قطعیت مطلق منجر به پرپلکسیتی دقیقاً ۵۰,۰۰۰ می‌شود. بنابراین، پرپلکسیتی پایین‌تر نشان‌دهنده یک مدل احتمالی با برازش بهتر است.[1]

از نظر تاریخی، دستیابی به پرپلکسیتی پایین یک مانع بزرگ بود. مدل‌های اولیه n-gram در دهه ۱۹۹۰ اغلب برای دستیابی به نمرات پرپلکسیتی زیر ۱۰۰ در مجموعه داده‌های استاندارد با مشکل مواجه بودند. امروزه، ترانسفورمرهای پیشرفته به طور معمول به نمرات پرپلکسیتی بین ۱۰ تا ۲۰ در پیکره‌های متنی پیچیده دست می‌یابند که نشان‌دهنده جهشی عظیم در اطمینان پیش‌بینی است.

با این حال، این معیار دارای مرزهای عملیاتی دقیقی است. این معیار به طور خاص برای مدل‌های زبانی کلاسیک و خودهمبسته (autoregressive) کاربرد دارد؛ یعنی مدل‌هایی که متن را دقیقاً متوالی پیش‌بینی می‌کنند. مستندات Hugging Face صریحاً هشدار می‌دهد که پرپلکسیتی برای مدل‌های زبانی پوششی (masked) مانند BERT که از زمینه دوطرفه برای پیش‌بینی کلمات جاافتاده در وسط جمله استفاده می‌کنند، به خوبی تعریف نشده است.[5]

علاوه بر این، محاسبه پرپلکسیتی برای مدل‌های زبانی بزرگ مدرن چالش‌های معماری را به همراه دارد. اگر منابع محاسباتی نامحدود بود، پژوهشگران پرپلکسیتی یک مدل را با فاکتورسازی خودهمبسته یک توالی و شرطی کردن آن بر کل متن قبلی در هر مرحله ارزیابی می‌کردند. از آنجا که مدل‌ها دارای پنجره‌های زمینه (context windows) ثابتی هستند - مانند ۱۰۲۴ توکن برای مدل‌های اولیه GPT-2 - این امر برای توالی‌های طولانی‌تر غیرممکن است.

برای حل این مشکل، پژوهشگران از استراتژی پنجره لغزان (sliding-window) استفاده می‌کنند. پنجره زمینه به طور مکرر به جلو منتقل می‌شود و به مدل اجازه می‌دهد تا از حداکثر متن قبلی موجود برای هر پیش‌بینی استفاده کند. اگرچه این روش تقریب نزدیک‌تری به احتمال واقعی توالی ارائه می‌دهد، اما برای هر توکن منفرد به یک گذر رو به جلو (forward pass) جداگانه نیاز دارد که برای مدل‌هایی با میلیاردها پارامتر از نظر محاسباتی گران تمام می‌شود.

با وجود کاربرد گسترده، پرپلکسیتی یک نماینده بی‌نقص برای کارایی مدل در دنیای واقعی نیست. Analytics Vidhya در بررسی آوریل ۲۰۲۵ خود اشاره می‌کند که اگرچه پرپلکسیتی نشان می‌دهد یک مدل چقدر خوب متن را پیش‌بینی می‌کند، اما ارزیابی نمی‌کند که آیا آن متن صادقانه، منسجم یا مفید است یا خیر. یک مدل می‌تواند با حفظ کردن صرف داده‌های آموزشی خود بدون یادگیری واقعی برای تعمیم دادن، به نمره پرپلکسیتی پایینی به صورت مصنوعی دست یابد.[2]

علاوه بر این، نمرات پرپلکسیتی را نمی‌توان مستقیماً در میان مدل‌هایی که از طرح‌های توکنایز کردن متفاوتی استفاده می‌کنند مقایسه کرد. از آنجا که پرپلکسیتی بر اساس هر توکن محاسبه می‌شود، مدلی که کلمات را به واحدهای زیرکلمه‌ای کوچکتر می‌شکند، طبیعتاً توزیع احتمال پایه متفاوتی نسبت به مدلی که کلمات کامل را پردازش می‌کند، خواهد داشت. مقایسه نمرات پرپلکسیتی آن‌ها از نظر ریاضی نامعتبر است.

این معیار همچنین عدم قطعیت را به طور یکنواخت در تمام توکن‌ها تجمیع می‌کند. این بدان معناست که عملکرد یک مدل روی کلمات توقف (stop words) بسیار قابل پیش‌بینی، مانند «و» یا «از»، دقیقاً همان وزنی را دارد که عملکرد آن روی اسم‌های پیچیده و وابسته به زمینه دارد. در نتیجه، یک مدل ممکن است به پرپلکسیتی کلی پایینی دست یابد در حالی که هنوز در درک معنای مفهومی حیاتی یک جمله ناکام است.

مرز بعدی در ارزیابی مدل شامل فراتر رفتن از تخمین چگالی است. در حالی که پرپلکسیتی روشی سریع و خودکار برای ردیابی پیشرفت آموزش در اختیار توسعه‌دهندگان قرار می‌دهد، حوزه هوش مصنوعی در حال حرکت به سمت استدلال پیچیده و رفتار عامل‌گونه (agentic) است. برای اندازه‌گیری واقعی آنچه یک مدل می‌تواند انجام دهد، توسعه‌دهندگان اکنون باید این بررسی احتمالاتی بنیادین را با ارزیابی‌های بیرونی که دقت واقعی و انسجام منطقی را آزمایش می‌کنند، ترکیب کنند.