چگونه مدل بردلی-تری از مقایسه‌های زوجی پراکنده رتبه‌بندی سراسری می‌سازد

برگزارکنندگان مسابقات و آزمایش‌کنندگان محصولات پیوسته بر این باورند که دستیابی به رتبه‌بندی قطعی مستلزم اجرای یک لیگ دوره‌ای کامل است که در آن تک‌تک نامزدها با یکدیگر روبه‌رو شوند. با این حال، شواهد ریاضی حاصل از مقیاس‌بندی لجستیک این فرض سنتی را کاملاً ابطال می‌کند.[1]

بر اساس چارچوب بنیادینی که در سال ۱۹۵۲ در مجله معتبر Biometrika منتشر شد، آزمایش جامع و همه‌جانبه از نظر آماری کاملاً غیرضروری است. مدل بردلی-تری (Bradley-Terry) اثبات می‌کند که یک ماتریس پراکنده از مقایسه‌های زوجی نیز حاوی اطلاعات نهفته کافی برای استخراج یک سلسله‌مراتب سراسری دقیق است.[1]

تا زمانی که شبکه مسابقات از طریق حریفان مشترک پیوسته بماند، این الگوریتم می‌تواند شکاف‌ها را پر کند. این مدل با ارزیابی عملکرد متقابل دو گزینه در برابر معیارهای مشترک، احتمال دقیق برتری گزینه‌ای بر گزینه دیگر را، حتی بدون رویارویی مستقیم، محاسبه می‌کند.[2][8]

سازوکار مقیاس‌بندی لجستیک

سازوکار مدل به این صورت است که به هر یک از گزینه‌های موجود یک نمره «کیفیت پنهان» اختصاص می‌دهد. هنگام ارزیابی دو گزینه در کنار هم، احتمال برتری یکی بر دیگری بر مبنای نسبت این پارامترهای کیفی پنهان بیان می‌شود.[1][4]

اگر گزینه الف نمره کیفی ۱۰ و گزینه ب نمره ۵ داشته باشد، احتمال پیروزی گزینه الف در این رقابت ۶۶٫۶ درصد خواهد بود. تابع لجستیک این احتمالات خام را به مقیاسی خطی از توان نسبی تبدیل می‌کند.[4]

این سازوکار مقیاس‌بندی، کاستی بنیادین رتبه‌بندی بر اساس «درصد برد خام» را برطرف می‌سازد. از منظر ریاضیاتی، نرخ برد ۶۰ درصدی در برابر رقبای تراز اول، نمره بردلی-تری بالاتری نسبت به نرخ برد ۹۰ درصدی در برابر رقبای ضعیف‌تر ثبت می‌کند.[5]

پژوهشگران با بهره‌گیری از بسته نرم‌افزاری BradleyTerry2 در محیط R، برآورد بیشینه‌ درست‌نمایی را پیاده می‌کنند تا بهترین مجموعه از نمرات کیفی را متناسب با نتایج رصدشده بیابند. نرم‌افزار به صورت رفت‌وبرگشتی رتبه‌ها را تعدیل می‌کند تا احتمالات پیش‌بینی‌شده با داده‌های واقعی همگام شوند.[4]

مدیریت شبکه‌های ناپیوسته

چالش اصلی در سیستم‌های ارزیابی امروزی، «پراکندگی مفرط داده‌ها» است. در فضاهایی که هزاران متغیر ارزیابی می‌شوند، هر کاربر در طول یک نشست تنها دو گزینه مشخص را مقایسه می‌کند و اکثریت قریب‌به‌اتفاق جفت‌های بالقوه دست‌نخورده باقی می‌مانند.[7][8]

به‌روزرسانی سال ۲۰۲۳ جدول رتبه‌بندی Chatbot Arena نشان داد که با وجود تنوع سرسام‌آور جفت‌های ممکن از مدل‌های زبانی بزرگ، چارچوب بردلی-تری نمرات Elo پایدار و قابل اعتمادی تولید می‌کند. تنها شرط سیستم این است که هیچ خوشه یا دسته‌ای به صورت جزیره‌ای و جدا از گراف باقی نماند.[7]

اگر گروهی از رقبا صرفاً با یکدیگر مسابقه دهند، الگوریتم از نظر ریاضی قادر نخواهد بود جایگاه آن‌ها را نسبت به کل جامعه ارزیابی کند. نشریه The Annals of Applied Probability متذکر می‌شود که نظریه مجانبی مدل‌های پراکنده تماماً به شکاف طیفی (spectral gap) این شبکه مقایسه‌ای وابسته است.[8]

تیم سازمان LMSYS در تشریح متدولوژی لیدربورد سال ۲۰۲۳ خود قید می‌کند: «ما از مدل بردلی-تری برای تخمین رتبه Elo هر مدل استفاده می‌کنیم.» طراحان برای پیشگیری از تشکیل جزایر مجزا، مقایسه‌های کاملاً تصادفی را به چرخه آزمون‌ها تزریق می‌کنند.[7]

تحمیل این رویارویی‌های متقاطع میان خوشه‌ها تضمین می‌کند که پیوستگی زنجیره ریاضی حفظ شود. این تصادفی‌سازی مهارشده به رگرسیون لجستیک امکان می‌دهد تا رتبه‌ها را در کل جمعیت توزیع کند و اعضای تازه‌وارد را در برابر معیارهای تثبیت‌شده بسنجد.[7][8]

نقش تساوی و سوگیری‌ها

فرمول‌بندی نخستین در سال ۱۹۵۲ بر مبنای یک برونداد دودویی سفت‌وسخت بنا شده بود که در آن همواره یک طرف برنده می‌شد. با این حال، داده‌های جهان واقعی سرشار از تساوی هستند و آمارشناسان ناچار شدند ساختار لجستیک را برای پذیرش حالات خنثی تعمیم دهند.[1][3]

مدل‌های تعمیم‌یافته مدرن متغیری تحت عنوان پارامتر آستانه تعریف می‌کنند که احتمال تساوی را نشان می‌دهد. اگر فاصله کیفیت پنهان میان دو رقیب درون این حاشیه مشخص قرار گیرد، مدل به جای برد قطعی، پیش‌بینی تساوی ارائه می‌دهد.[3][6]

چارچوب فوق همچنین قادر است تورش‌ها و سوگیری‌های سیستماتیک نظیر مزیت میزبان یا تقدم در نمایش را مهار و اندازه‌گیری کند. با اضافه کردن متغیر اثر ترتیب به رگرسیون لجستیک، کیفیت بنیادین گزینه از مزیت ساختاری اول نشان‌داده‌شدن تفکیک می‌گردد.[4][6]

ژورنال The Annals of Statistics شرح می‌دهد که چگونه الگوریتم‌های کمینه‌سازی-بیشینه‌سازی (Minorize-Maximize) این مدل‌های تعمیم‌یافته را حل می‌کنند. این تکنیک معادلات پیچیده درست‌نمایی چندمتغیره را به توابع جایگزین ساده‌تری می‌شکند که همگرایی ریاضی پایدار را تضمین می‌کنند.[3]

مرکزیت رتبه و روش‌های طیفی

هرچند برآورد بیشینه‌ درست‌نمایی رویکرد استاندارد باقی مانده است، پژوهشگران روش‌های نوینی را برای استخراج رتبه‌بندی از کلان‌داده‌ها پدید آورده‌اند. الگوریتم مرکزیت رتبه (Rank Centrality)، ماتریس زوجی را مانند یک گشت تصادفی روی گراف شبکه می‌بیند.[5]

این روش طیفی که در نشریه Operations Research معرفی شده، زنجیره مارکوفی می‌سازد که احتمالات انتقال میان گره‌های آن توسط نرخ بردهای تجربی مشخص می‌شود. توزیع مانای این گشت تصادفی مستقیماً با نمرات کیفیت مدل بردلی-تری تطابق دارد.[5]

این رویکرد مبتنی بر شبکه، گزینه‌ای بسیار کم‌هزینه‌تر از حیث محاسباتی برای پایش میلیون‌ها تعامل به دست می‌دهد. این امر ثابت می‌کند که مدل‌سازی لجستیک از منظر ریاضی با سنجش نفوذ مرکزی یک گره در گراف جهت‌دار هم‌ارز است.[5][8]

روش طیفی همچنین مزیت برجسته‌ای در مواجهه با داده‌های نامتوازن دارد؛ داده‌هایی که برخی جفت‌های آن هزاران بار و برخی تنها یک‌بار مقایسه شده‌اند. این الگو پیوندهای شبکه را به شکل ذاتی وزن‌دهی می‌کند تا جفت‌های پرتکرار رتبه‌بندی کلی را مخدوش نکنند.[5]

مرزها و محدودیت‌های تعدی‌پذیری

کل ساختار بردلی-تری بر فرض «تعدی‌پذیری تصادفی قوی» استوار است. پیش‌فرض این است که اگر گزینه الف از ب برتر باشد، و ب از ج بهتر باشد، الف باید به شکل پیش‌بینی‌پذیری از ج بهتر عمل کند.[2][6]

این فرض بنیادین در زمان وجود پدیده‌های چرخه‌ای مشابه بازی «سنگ، کاغذ، قیچی» کارایی خود را از دست می‌دهد. مقاله‌ای مروری در پایگاه arXiv در سال ۲۰۱۲ خاطرنشان می‌سازد که مدل‌های مقایسه زوجی در تحلیل داده‌هایی که در آن‌ها تقابل سبک‌ها بر کیفیت مطلق غلبه دارد دچار چالش می‌شوند.[6]

اگر الف پیوسته ب را شکست دهد، ب بر ج پیروز شود، اما ج همواره الف را مغلوب کند، رگرسیون لجستیک نمی‌تواند سلسله‌مراتبی خطی بسازد. در این وضعیت، الگوریتم نمرات هر سه مورد را به سمت میانگین فشرده می‌کند تا خطای آماری حداقل شود.[6]

برای ردیابی این ناهنجاری‌های چرخه‌ای، متخصصان آمار نیکویی برازش (Goodness-of-fit) مدل را نسبت به داده‌های تجربی می‌سنجند. انحراف معنادار میان احتمالات پیش‌بینی‌شده و نتایج رخ‌داده، نشان می‌دهد که پارامتر کیفی تک‌بعدی برای تبیین شرایط کافی نیست.[4][6]

کاربردها فراتر از دنیای ورزش

مقیاس‌بندی لجستیک با اینکه اغلب با رتبه‌بندی Elo در شطرنج یا تورنمنت‌های ورزشی شناخته می‌شود، تحولی بنیادین در روان‌سنجی و تحقیقات بازار به وجود آورده است. این فن تحلیلگران را قادر می‌سازد ترجیحات ذهنی را بدون الزام کاربران به نمره‌دهی دلخواه رتبه‌بندی کنند.[1][6]

درخواست از مصرف‌کننده برای نمره‌دهی به ده ترکیب قهوه مختلف از یک تا ده معمولاً به داده‌هایی آشفته و بدون تمایز دقیق منجر می‌شود. انسان‌ها به ندرت می‌توانند در ارزیابی‌های پیاپی یک خط مبنای درونی پایدار را حفظ کنند.[6]

در مقابل، نمایش همزمان دو ترکیب به مصرف‌کننده و پرسش در مورد ترجیح میان آن‌ها، سیگنال دودویی فوق‌العاده مطمئنی خلق می‌کند. مدل بردلی-تری سپس این تصمیم‌های زوجی خرد را از هزاران کاربر جمع‌آوری کرده و به مقیاسی پیوسته از تمایلات بازار بدل می‌سازد.[4][6]

دقیقاً همین سازوکار، موتور محرک فیدهای الگوریتمی و سیستم‌های پیشنهاددهنده امروزی است. با تلقی هر کلیک کاربر به عنوان یک برد زوجی برای محتوای انتخاب‌شده در برابر گزینه‌های نادیده‌گرفته‌شده، پلتفرم‌ها پارامتر کیفیت مخفی محتوا را همواره به‌روزرسانی می‌کنند.[5][7]

آینده ارزیابی‌های کلان‌مقیاس

با رشد قارچ‌گونه مدل‌های هوش مصنوعی، نیاز به سازوکارهای سنجش مقیاس‌پذیر و پایدار شتابی دوچندان یافته است. با توجه به آلودگی روزافزون بنچمارک‌های ایستا به داده‌های آموزشی، آزمون‌های مقایسه‌ای پویا به معیاری بدون جایگزین بدل شده‌اند.[7]

سکوی Chatbot Arena وابسته به LMSYS تماماً بر آزمون‌های دوگان کور متکی بر خرد جمعی تکیه دارد تا مدل‌های زبانی بزرگ را ارزیابی کند. از آنجا که هفتگی مدل‌های جدیدی معرفی می‌شوند، ماتریس مسابقات همیشه پراکنده است و مدل‌های قدیمی به ندرت مستقیماً روبروی نگارش‌های جدید قرار می‌گیرند.[7]

مقیاس‌بندی لجستیک بردلی-تری پلی بر روی این شکاف نسلی می‌زند. با تکیه بر مدل‌های مستقر به عنوان خطوط مبنا، الگوریتم می‌تواند تنها پس از چند صد رویارویی تصادفی، جایگاه مدل‌های تازه‌نفس را در رده‌بندی جهانی با دقت تعیین کند.[7][8]

این مهندسی ریاضی تضمین می‌کند که سامانه‌های سنجش بدون نیاز به رشد تصاعدی آزمایش‌ها، توانایی گسترش نامحدود داشته باشند. چارچوب لجستیک بیشترین داده معنادار را از کمترین تعامل ممکن استخراج کرده و برخوردهای منفرد را به یک نقشه منسجم از توانمندی‌های نسبی بدل می‌سازد.[5][8]