دقت رتبه‌محور چگونه با الگوبرداری از شکیبایی کاربر، خطای لگاریتمی موتورهای جستجو را اصلاح می‌کند

هر بار که عبارتی را در نوار جستجو تایپ می‌کنید یا فید شبکه‌ای اجتماعی را بالا و پایین می‌برید، یک فرمول ریاضی نادیدنی درباره جایگاه محتوا در بالای صفحه تصمیم می‌گیرد. مهندسان فرصت بازبینی دستی میلیون‌ها نتیجه را ندارند؛ در نتیجه برای اطمینان از این‌که الگوریتم واقعاً مرتبط‌ترین داده‌ها را بالا می‌آورد، ناچارند به معیارهای ارزیابی خودکار تکیه کنند.

معیار طلایی و بی‌رقیب برای سنجش این کیفیت طی سال‌های متمادی، معیاری به نام «بهره تجمعی تنزیل‌یافته نرمال‌شده» یا همان NDCG بوده است. این سنجه، ابزار پیش‌فرض ارزیابی تقریباً در تمام کتابخانه‌های یادگیری ماشین، از Scikit-Learn گرفته تا موتورهای پیشنهاددهنده سازمانی به شمار می‌رود.[2][3]

با این حال، شمار روزافزونی از پژوهش‌های علم داده از نقصی ساختاری در شیوه مدل‌سازی رفتار انسان توسط NDCG پرده برداشته‌اند. این شاخص بر پایه جریمه موقعیت لگاریتمی کار می‌کند که گویی شکیبایی کاربر نامحدود است، و به همین دلیل ارزش نتایج متوسط مدفون در میانه صفحه جستجو را از نظر ریاضی بیش از حد بالا ارزیابی می‌کند.[4]

توهم ریاضی در تابع لگاریتم

برای درک چرایی ارائه نتایج نوسانی و آزاردهنده توسط الگوریتم‌ها، باید به سازوکار نمره‌دهی به آن‌ها نگاه کرد. اگر الگوریتم مرتبط‌ترین سند را دقیقاً در صدر فهرست بنشاند، بالاترین امتیاز ممکن را می‌گیرد. با پایین‌تر رفتن اسناد مرتبط، امتیاز داده‌شده با این پیش‌فرض کاهش می‌یابد که کاربران ترجیح می‌دهند بی‌درنگ به پاسخ برسند.

معیار NDCG این افت امتیاز را از طریق یک تابع استهلاک لگاریتمی اعمال می‌کند؛ به این صورت که امتیاز ارتباط سند را بر لگاریتم بر مبنای ۲ رتبه سند به علاوه یک تقسیم می‌کند. به بیان ساده، رتبه نخست ۱۰۰ درصد ارزش خود را حفظ می‌کند، در حالی که رتبه سوم دقیقاً ۵۰ درصد ارزش را دریافت خواهد کرد.[3]

نکته ظریف توابع لگاریتمی این است که با افزایش مقادیر، سرعت افت امتیاز به‌شدت کند می‌شود. هنگامی که کاربر به نتیجه دهم در پایین یک صفحه جستجوی استاندارد می‌رسد، جریمه لگاریتمی هنوز نزدیک به ۲۹ درصد از حداکثر امتیاز ممکن را به الگوریتم پاداش می‌دهد.[3]

این افت کند، انگیزه‌ای گمراه‌کننده در طول فاز آموزش مدل‌های یادگیری ماشین پدید می‌آورد. یک مدل می‌تواند با قرار دادن تنها یک نتیجه عالی در رتبه اول و پر کردن میانه فهرست با گزینه‌های نه‌چندان مرتبط، نمره کل NDCG چشمگیری بگیرد؛ زیرا این فرمول همچنان نمره‌های بخشی دست‌ودلبازانه‌ای به رتبه‌های میانی اعطا می‌کند.[3]

مدل‌سازی ظرفیت اسکن انسانی

ریشه این گسست در واقعیت رفتار ما نهفته است: توجه انسان تابع افت لگاریتمی نیست. پژوهش‌های ردگیری چشم و سیاهه کلیک‌های کاربران مکرراً اثبات کرده‌اند که افراد جستجو را بسیار زود رها می‌کنند و چنانچه دو یا سه پیوند اول پاسخگوی نیازشان نباشد، به‌سرعت کل صفحه را می‌بندند.[1]

به منظور بستن این فاصله میان نمره‌گذاری ریاضی و محدودیت واقعی انسان در مرور محتوا، دو پژوهشگر به نام‌های الیستر موفات و جاستین زوبل در سال ۲۰۰۸ معیار جایگزینی پیشنهاد دادند. چارچوب آن‌ها که در نشریه ACM Transactions on Information Systems منتشر شد، «دقت رتبه‌محور» یا RBP نام گرفت.[1]

برخلاف NDCG که متکی بر یک منحنی صلب ریاضی است، دقت رتبه‌محور مستقیماً بر مبنای مدل احتمالاتی رفتار کاربر طراحی شده است. فرض پایه بر این است که مخاطب نخستین پیوند را می‌بیند و سپس آگاهانه تصمیم می‌گیرد که اسکرول کند یا صفحه جستجو را کلاً ببندد.[1]

این تصمیم به‌وسیله پارامتری به نام پایداری (که با p نشان داده می‌شود) محاسبه می‌گردد؛ پارامتری که احتمال رفتن کاربر از یک رتبه به رتبه بعدی را بازمی‌تاباند. چنانچه کاربران سامانه‌ای کم‌حوصله ارزیابی شوند، مهندسان می‌توانند p را روی ۰٫۵ تنظیم کنند؛ یعنی با عبور از هر رتبه، نیمی از مخاطبان صفحه را ترک خواهند کرد.[1]

پرتگاه هندسی

چون شانس ادامه حضور کاربر در هر گام به‌صورت پیاپی ضرب می‌شود، دقت رتبه‌محور افت ارزش را با الگوی هندسی اعمال می‌کند و نه لگاریتمی. این روند، منحنی نمره‌دهی صخره‌مانندی ایجاد می‌کند که به‌خوبی با واقعیت سرسخت افت توجه مخاطبان در اینترنت همخوانی دارد.[1]

در یک افت هندسی با ضریب پایداری ۰٫۵، ارزش نتیجه دوم دقیقاً نصف نتیجه اول است. رتبه سوم یک‌چهارم و رتبه چهارم یک‌هشتم ارزش پیدا می‌کند؛ جریمه با هر اسکرول، با شتابی بی‌رحمانه انباشته می‌شود.

تا زمانی که ارزیابی به نتیجه دهم برسد، تنزیل هندسی تنها ۰٫۱۹ درصد ارزش اولیه را منظور می‌کند. در قیاس با رقم ۲۹ درصدی منحنی لگاریتمی NDCG، معیار RBP عملاً هیچ امتیازی به الگوریتمی که پاسخ مرتبط را به قعر صفحه رانده باشد اختصاص نمی‌دهد.[1]

این تمایز فرمولی، بنیان‌های بهینه‌سازی مدل‌های رتبه‌بندی را دگرگون می‌سازد. با معیار RBP، سیستم دیگر نمی‌تواند ضعف خود را پشت انبوهی از نتایج متوسط پنهان کند؛ در عوض مجبور است تمام توانش را بر دقت مطلق در سه جایگاه بالایی بگذارد، چرا که سیستم پاداشی به رده‌های بعدی نخواهد داد.[1]

اهمیت اقلام میانه فهرست

جدال بر سر سازوکار کاهش ارزش موقعیت، بحثی دانشگاهی و انتزاعی نیست؛ بلکه مهندسی اقتصاد داده‌محور را جهت می‌دهد. فروشگاه‌های اینترنتی، سرویس‌های نمایش فیلم و سامانه‌های توزیع خبر به کیفیت پیشنهادهای خود وابسته‌اند و میانه فهرست همان‌جایی است که اعتماد کاربر بی‌صدا تحلیل می‌رود.[1][4]

پلتفرمی که سیستم خود را بر اساس افت لگاریتمی بهینه‌سازی می‌کند، معمولاً در رتبه‌های چهارم تا دهم محتوای ارگانیک را با کالاهای تبلیغاتی یا پیشنهادات کم‌ارزش‌تر درمی‌آمیزد. متریک ارزیابی به مهندسان می‌گوید سیستم کارآمد است، در حالی که کاربر فیدی نامرتب و بی‌ربط را تجربه می‌کند.[4]

دقت رتبه‌محور با حذف ارزش‌های کاذب رتبه‌های میانه، این انباشتگی نامناسب را فاش می‌کند. اگر سامانه‌ای فیلم مورد نظر کاربر را زیر شش پیشنهاد نامربوط مدفون کند، RBP این شکست را به حساب می‌آورد و شاخص ریاضی را با کلافگی مخاطب هم‌راستا می‌سازد.[5]

اعمال این جریمه سنگین به‌ویژه در نمایشگرهای تلفن همراه حیاتی است، جایی که فضای صفحه به‌شدت محدود است. در گوشی‌های هوشمند رسیدن به رتبه پنجم نیازمند دو بار اسکرول کامل است؛ واقعیتی که استفاده از افت لگاریتمی را کاملاً از شیوه تعامل فیزیکی کاربر با رابط کاربری جدا می‌سازد.[5]

تنظیم شاخص بر اساس مخاطب

برجسته‌ترین مزیت دقت رتبه‌محور، انطباق‌پذیری بالای آن است. از آن‌جا که پارامتر پایداری متغیری منعطف است و نه ثابتی ریاضی و تحمیلی، دانشمندان داده می‌توانند شاخص را دقیقاً متناسب با ظرفیت مرور گروه‌های مختلف کاربر تنظیم کنند.[4][5]

برای برنامه‌های عامه‌پسند مانند فید ویدیوهای کوتاه که مخاطب شتاب دارد، می‌توان ضریب پایداری را بسیار پایین آورد تا اولویت بر مرتبط‌ترین پاسخ آنی قرار گیرد. بدین ترتیب الگوریتم بر اساس موفقیت فوری در همان ثانیه‌های نخست داوری می‌شود.[4]

در نقطه مقابل، اگر بستر کاری پایگاه اسناد حقوقی یا متون تخصصی پزشکی باشد، کاربران انگیزه دارند نتایج را با حوصله بکاوند. در اینجا مهندسان ضریب پایداری را تا ۰٫۹ بالا می‌برند و به سامانه می‌فهمانند که کندوکاو در اعماق فهرست از جانب مخاطب پذیرفته شده است.[1]

در ضریب ۰٫۹، سنجه RBP هنوز ۳۸ درصد ارزش اولیه را در رتبه دهم نگه می‌دارد. این سطح از انعطاف امکان می‌دهد تا تنها با دستکاری یک متغیر احتمالاتی، شاخص از سنجش مخاطبان عجول به ارزیابی رفتاری پژوهشگران دقیق تغییر وضعیت دهد.[1]

دگرگونی ارزیابی در عصر هوش مصنوعی

ظهور سامانه‌های هوش مصنوعی مولد، ایرادات تنزیل لگاریتمی را آشکارتر کرده است. پلتفرم‌های نوین به‌شکلی فزاینده بر تکنیک «تولید مبتنی بر بازیابی» (RAG) اتکا دارند؛ فرآیندی که در آن موتور جستجو مدارک را یافته و به مدل زبانی بزرگ می‌خوراند تا پاسخ نهایی تدوین شود.[1]

مدل‌های زبانی نیز دچار محدودیت در پردازش اطلاعات پشت سر هم هستند؛ چالشی که در ادبیات فنی به «گم‌شدگی در میانه» شهرت دارد. اگر موتور بازیابی نکته اصلی را در مدرک هفتم یا هشتم جای دهد، احتمال زیادی وجود دارد که هوش مصنوعی آن را نادیده بگیرد، هرچند داده‌ها به‌ظاهر ارائه شده باشند.[1][4]

ارزیابی این خطوط لوله بازیابی با NDCG نوعی امنیت خاطر کاذب تزریق می‌کند. شاخص لگاریتمی ادعا می‌کند بازیابی به دلیل حضور مدرک در میان ۱۰ نتیجه اول موفق بوده است، اما مدل خروجی اشتباه می‌دهد چون داده از پنجره اصلی پردازش بسیار دور بوده است.

به همین سبب، حوزه هوش مصنوعی به‌آرامی به سوی معیارهای متمرکز بر صدر جدول مانند دقت رتبه‌محور و رتبه متقابل میانگین رو می‌آورد. این شاخص‌ها با ملزم ساختن مدل به پذیرش سقف توجه انسان و ماشین، اطمینان می‌دهند که الگوریتم‌ها برای واقعیت تنظیم می‌شوند، نه برای تخفیف‌های سخاوتمندانه یک منحنی لگاریتمی.[4]