چگونه نرمال‌سازی جمع-به-یک با تغییر مخرج‌ها رتبه‌بندی گزینه‌ها را معکوس می‌کند

یک کمیته استخدام دو داوطلب نهایی به نام‌های آلیس و باب را بر اساس سابقه کار و نتیجه یک آزمون فنی می‌سنجد. آلیس بیشترین امتیاز کل را به دست می‌آورد و برای شغل برگزیده می‌شود.[4]

سپس داوطلب سومی به نام چارلی وارد می‌شود؛ فردی که کاملاً فاقد صلاحیت است و نمراتش آن‌قدر پایین است که با اختلاف در رده آخر قرار می‌گیرد.[4]

اما وقتی کمیته امتیازهای نهایی را با در نظر گرفتن چارلی از نو محاسبه می‌کند، ناگهان باب از آلیس پیشی می‌گیرد. جایگاه دو داوطلب برتر جابه‌جا می‌شود، آن هم در شرایطی که نمرات خام اولیه هیچ‌کدام تغییری نکرده است.[4]

این پارادوکس ریاضی «وارونگی رتبه» نام دارد و گریبان‌گیر تصمیم‌گیری‌های چندمعیاره است؛ پدیده‌ای که در آن ورود یک گزینه ضعیف، جایگاه نسبی گزینه‌های برتر را به هم می‌ریزد.[1]

ریشه این مشکل به‌ندرت یک اشتباه محاسباتی است. برعکس، خطایی ساختاری در مرحله‌ای به‌ظاهر بی‌ضرر از ریاضیات است که برای استانداردسازی داده‌ها استفاده می‌شود: نرمال‌سازی جمع-به-یک.

مکانیسم امتیازدهی چندمعیاره

تحلیل‌گران برای تلفیق واحدهای گوناگون—مانند سال‌های سابقه کار و نمره آزمون از صد—باید داده‌ها را نرمال‌سازی کنند. نمی‌توان نمره ۹۵ را صرفاً با ۸ سال سابقه جمع کرد؛ چون مقیاس آزمون بر نتیجه سایه می‌اندازد.[2]

نرمال‌سازی واحدهای اصلی را حذف می‌کند و اعداد خام را به یک مقیاس بدون بُعد و مشترک درمی‌آورد. این کار به تصمیم‌گیرندگان امکان می‌دهد وزن‌های درصدی را روی شاخص‌های مختلف اعمال کرده و در قالب یک امتیاز تجمیع کنند.[2]

یکی از رایج‌ترین رویکردها، نرمال‌سازی جمع-به-یک است. در این شیوه، نمره خام هر داوطلب بر مجموع کل نمرات موجود در همان ستون تقسیم می‌شود.

اگر سه داوطلب در یک آزمون نمرات ۱۰، ۲۰ و ۷۰ بگیرند، مجموع ستون ۱۰۰ خواهد بود. نمرات نرمال‌شده آن‌ها به ترتیب ۰٫۱، ۰٫۲ و ۰٫۷ می‌شود که سهم متناسب هر یک از کل مجموعه را بازتاب می‌دهد.[4]

سپس این کسرها در وزن تعیین‌شده شاخص—برای نمونه ۶۰ درصد برای مهارت فنی و ۴۰ درصد برای سابقه—ضرب شده و برای به‌دست‌آوردن رتبه‌بندی نهایی از طریق «روش میانگین‌گیری وزنی ساده» با هم جمع می‌شوند.[4]

نحوه تغییر مخرج در معادلات

نقطه ضعف نرمال‌سازی جمع-به-یک تماماً در مخرج کسر نهفته است. این مقسوم‌علیه یک ویژگی ثابت برای آن معیار نیست، بلکه هدفی متحرک است که ترکیب داوطلبان حاضر در ارزیابی تعیینش می‌کند.[1]

وقتی داوطلب جدیدی به سامانه افزوده می‌شود، نمرات خام او به مجموع کل ستون اضافه خواهد شد. این موضوع از نظر ریاضی مخرج‌ها را در همه شاخص‌ها بزرگ‌تر می‌کند و مقدار نرمال‌شده بقیه گزینه‌ها را در ماتریس کاهش می‌دهد.

نکته کلیدی اینجاست که این افزایش به‌ندرت متقارن است. اگر داوطلب جدید در یک شاخص امتیاز بسیار بالا و در دیگری امتیاز پایینی کسب کند، مخرج شاخص اول با سرعتی بسیار بیشتر از مخرج شاخص دوم رشد می‌کند.

یک مرور پژوهشی در سال ۲۰۲۱ در European Journal of Operational Research خاطرنشان می‌کند: «روش جمع-به-یک ذاتاً گزینه‌ها را به هم گره می‌زند و ارزیابی مطلق را ناممکن می‌سازد. امتیاز نهایی هر داوطلب به نمرات خام دیگر داوطلبان وابسته است».[1]

این تورم نامتقارن، وزن‌های نسبی مدنظر تصمیم‌گیرندگان را تحریف می‌کند. ضریب ۶۰ درصدی که بر یک مخرج به‌شدت بزرگ‌شده اعمال می‌شود، در عمل اثری بسیار کمتر از حد انتظار به جا می‌گذارد.[2]

کالبدشکافی پدیده وارونگی رتبه

ارقام دقیق سناریوی استخدام را بازخوانی کنیم: وزن سابقه کار ۴۰ درصد و مهارت فنی ۶۰ درصد تعیین شده است. آلیس ۸ سال سابقه و نمره فنی ۹۵ دارد.[4]

باب ۱۲ سال سابقه و نمره فنی ۶۰ دارد. در رقابت دونفره، مجموع سابقه کار ۲۰ و مجموع مهارت فنی ۱۵۵ است.[4]

سابقه نرمال‌شده آلیس ۰٫۴۰۰ و نمره فنی نرمال‌شده‌اش ۰٫۶۱۳ است. با اعمال وزن‌ها، آلیس به امتیاز نهایی ۰٫۵۲۸ دست می‌یابد.[4]

سابقه نرمال‌شده باب ۰٫۶۰۰ و مهارت فنی‌اش ۰٫۳۸۷ است و امتیاز وزنی نهایی او به ۰٫۴۷۲ می‌رسد. آلیس با اتکا به برتری چشمگیر در شاخص سنگین‌تر، یعنی آزمون فنی، به‌راحتی برنده می‌شود.[4]

اکنون چارلی را وارد گود کنید؛ او تنها ۲ سال سابقه کار دارد، اما نمره فنی غیرمنتظره و عجیب ۱۵۰ را ثبت کرده است. مجموع سابقه کار تکان چندانی نمی‌خورد و به ۲۲ می‌رسد.[4]

بااین‌حال، مجموع امتیازات آزمون فنی تقریباً دو برابر شده و به ۳۰۵ می‌رسد. به دلیل بزرگ‌شدن جهشی مخرج این شاخص، ارزش نرمال‌شده برتری فنی آلیس به‌شدت تحلیل می‌رود.[4]

امتیاز نهایی آلیس به ۰٫۳۳۲ سقوط می‌کند؛ امتیاز باب به ۰٫۳۳۶ می‌رسد و چارلی با ۰٫۳۳۱ در رتبه آخر می‌ایستد. باب از آلیس جلو افتاده، صرفاً به این دلیل که نمره عجیب چارلی ارزش شاخصی را سوزاند که نقطه قوت اصلی آلیس بود.[4]

نقض اصل استقلال از گزینه‌های نامربوط

این رخداد یکی از اصول بنیادین انتخاب عقلانی، موسوم به «استقلال از گزینه‌های نامربوط» را نقض می‌کند.[3]

بر پایه قضیه کِنِت ارو، اقتصاددان برجسته در سال ۱۹۵۱، اگر گزینه الف به گزینه ب ترجیح داده شود، افزودن گزینه سوم یعنی ج نباید سبب شود گزینه ب به الف ترجیح یابد.[3]

در نرمال‌سازی جمع-به-یک، گزینه‌ها از لحاظ ریاضی به هم زنجیر شده‌اند. شما نمی‌توانید جایگاه آلیس در برابر باب را بدون دانستن حضور سایر افراد حاضر در اتاق ارزیابی بسنجید.[1][3]

پژوهشگران در تحلیلی که سال ۲۰۲۲ در نشریه IEEE Access منتشر شد یادآور شدند: «نرمال‌سازی صرفاً یک عمل ریاضی خنثی نیست؛ بلکه نوعی فرض ساختاری درباره ماهیت بنیادین داده‌هاست».[5]

این گره‌خوردگی نشان می‌دهد رتبه‌بندی‌های این روش بازتابی از شایستگی مطلق نیستند، بلکه عملکرد نسبی در یک زیست‌بوم بسته و به‌شدت حساس به داده‌های پرت را نشان می‌دهند.[2]

پیامدهای عملیاتی در جهان واقعی و راهکارهای جایگزین

وارونگی رتبه فقط یک دغدغه تئوریک در دانشگاه نیست، بلکه در جهان واقعی تخصیص منابع را دچار خطا می‌کند. مدیران زنجیره تأمین برای گزینش پیمانکاران و نهادهای دولتی برای امتیازدهی به پروژه‌های عمرانی بر همین مدل‌های جمعی متکی هستند.[1]

هنگامی که یک پیشنهاد نامربوط نتیجه قراردادی میلیونی در مناقصات را عوض می‌کند، سلامت کل فرایند سنجش لکه‌دار می‌شود؛ برنده‌ای که شاید فقط محصول تصادفی تغییر مخرج بوده باشد.[1][4]

دانشمندان نظریه تصمیم برای کاستن از این خطا، روش‌های جایگزینی را پیشنهاد می‌دهند که به جای اتکا به مجموع‌های متغیر، بر نقاط ثابت تکیه دارند.[2]

روش کمینه‌-بیشینه مقادیر را میان بدترین و بهترین امتیازهای ممکن مقیاس‌بندی می‌کند. از آنجا که مخرج کسر تفاضل بیشینه و کمینه است، افزودن گزینه‌ای درون این بازه هیچ چیز را دگرگون نخواهد کرد.[5]

روش دیگر، نرمال‌سازی برداری است که داده را بر ریشه دوم مجموع مربعات تقسیم می‌کند. این سازوکار غیرخطی از شدت اثر داده‌های پرت مثل چارلی می‌کاهد و فاصله نسبی مدعیان صدر را حفظ می‌کند.

تحلیل‌گران باید متوجه باشند که انتخاب مخرج، حاوی مفروضاتی ساختاری پیرامون نحوه توزیع ارزش است. نشناختن این سازوکار می‌تواند ارزیابی‌های دقیق را به قماری در محاسبات ریاضی بدل کند.[4]