چرا توافق درصد ساده در داده‌های نامتوازن شکست می‌خورد و چگونه کاپای کوهن آن را اصلاح می‌کند

در اکتبر ۲۰۲۳، هنگامی که مدل‌های زبان بزرگ شروع به جایگزینی حاشیه‌نویسان انسانی در خطوط لوله برچسب‌گذاری داده کردند، چارچوب‌های ارزیابی به یک دیوار ریاضی برخورد کردند. تیم‌ها نرخ توافق ۹۰ درصدی بین ارزیابان هوش مصنوعی و انسانی را در وظایفی مانند تشخیص گفتار سمی گزارش می‌کردند، اما مدل‌ها همچنان در محیط عملیاتی شکست می‌خوردند. نقص نه در مدل‌ها، بلکه در معیار بود. توافق درصد ساده با نادیده گرفتن احتمال حدس زدن تصادفی پاسخ یکسان توسط دو ارزیاب، میزان قابلیت اطمینان را بیش از حد واقعی نشان می‌دهد.[6]

برای حل این مشکل، تیم‌های علوم داده معیاری را که توسط جیکوب کوهن در سال ۱۹۶۰ منتشر شده بود، احیا کردند: کاپای کوهن (Cohen's Kappa). این آمار قابلیت اطمینان بین ارزیابان را برای موارد دسته‌بندی‌شده اندازه‌گیری می‌کند، اما برخلاف درصد خام، نویز پایه شانس تصادفی را به صورت ریاضی حذف می‌کند. مجله آسیب‌شناسی دهان و فک و صورت (Journal of Oral and Maxillofacial Pathology) اشاره می‌کند: «کاپا معیاری برای این تفاوت است که استاندارد شده تا در مقیاس ۱- تا ۱ قرار گیرد، جایی که ۱ توافق کامل، ۰ دقیقاً همان چیزی است که به صورت تصادفی انتظار می‌رود، و مقادیر منفی نشان‌دهنده توافقی کمتر از شانس است.»[1]

این سازوکار بر دو احتمال متمایز متکی است. اولی توافق نسبی مشاهده شده در میان ارزیابان است که به عنوان متغیرهای احتمال مشاهده شده مشخص می‌شود. دومی احتمال فرضی توافق تصادفی است که با استفاده از داده‌های مشاهده شده برای محاسبه احتمالات انتخاب تصادفی یک دسته معین توسط هر ناظر محاسبه می‌شود. خود فرمول ساده است: توافق مشاهده شده منهای توافق تصادفی، تقسیم بر یک منهای توافق تصادفی.[2][4]

مجموعه‌داده‌ای متشکل از ۱۰۰ بررسی مشتری را در نظر بگیرید که در آن ۹۰ مورد مثبت و ۱۰ مورد منفی هستند. اگر دو ارزیاب به سادگی هر بار بدون خواندن متن «مثبت» را حدس بزنند، توافق مشاهده شده آنها ۹۰٪ است. تحت معیار درصد ساده، این شبیه به اجماع تقریباً کامل به نظر می‌رسد. با این حال، از آنجایی که مجموعه‌داده به شدت نامتوازن است، احتمال توافق آنها به صورت تصادفی نیز بسیار بالا است.[7]

هنگامی که کاپای کوهن در این سناریوی دقیق اعمال می‌شود، توهم اجماع فرو می‌ریزد. توافق تصادفی ۰٫۸۲ محاسبه می‌شود. قرار دادن این مقدار در فرمول، نمره کاپای ۰٫۴۴ را به دست می‌دهد. بنابراین، نرخ توافق خام ۹۰ درصدی به چیزی تنزل می‌یابد که آمارشناسان آن را صرفاً توافق «متوسط» طبقه‌بندی می‌کنند.[1][7]

این جریمه ریاضی دلیلی است که این معیار به استاندارد ارزیابی توهمات هوش مصنوعی و وظایف طبقه‌بندی تبدیل شده است. به گفته گالیله (Galileo)، یک پلتفرم ارزیابی هوش مصنوعی، «کاپای کوهن به ویژه زمانی مفید است که مجموعه‌داده نامتوازن باشد، زیرا احتمال توافق ارزیابان به صورت تصادفی را در نظر می‌گیرد.»[6]

تفسیر نمره حاصل بر آستانه‌های تعیین شده متکی است. نمره زیر صفر نشان‌دهنده عدم توافق است، ۰٫۰۱ تا ۰٫۲۰ اندک، ۰٫۲۱ تا ۰٫۴۰ منصفانه، ۰٫۴۱ تا ۰٫۶۰ متوسط، ۰٫۶۱ تا ۰٫۸۰ قابل توجه، و ۰٫۸۱ تا ۱٫۰۰ تقریباً کامل است. دانشمندان داده Built In هشدار می‌دهند که «مقدار کاپای ۰٫۸ یا بالاتر به طور کلی نشان‌دهنده توافق خوب در نظر گرفته می‌شود، اما این آستانه می‌تواند بسته به حوزه خاص مطالعه متفاوت باشد.»[1][3]

با وجود کاربردش، این آمار محدودیت‌های شناخته شده‌ای دارد. این معیار منحصراً برای دو ارزیاب طراحی شده است که موارد یکسانی را ارزیابی می‌کنند. اگر پروژه‌ای به سه یا چند حاشیه‌نویس نیاز داشته باشد، محققان باید به کاپای فلیس (Fleiss' Kappa) روی آورند، که تعمیمی از فرمول است که ارزیابان متعدد را در یک مجموعه‌داده جای می‌دهد.[5]

علاوه بر این، کاپا به شدت به شیوع وضعیت زمینه‌ای حساس است. در مجموعه‌داده‌هایی که یک دسته به شدت نادر است، مقدار توافق تصادفی آنقدر بالا می‌رود که حتی یک عدم توافق بین ارزیابان می‌تواند نمره کاپا را نزدیک به صفر کاهش دهد. این پدیده، که به عنوان «پارادوکس کاپا» شناخته می‌شود، آمارشناسان را مجبور می‌کند تا برای درک قابلیت اطمینان واقعی ارزیابان، هم توافق خام و هم مقدار کاپا را در کنار هم بررسی کنند.[2]

پذیرش کاپای کوهن در خطوط لوله یادگیری ماشین مدرن نشان می‌دهد که چگونه یک آمار روان‌شناختی ۶۰ ساله همچنان مؤثرترین دفاع در برابر توهم اجماع است. همانطور که سیستم‌های خودکار وظایف برچسب‌گذاری ذهنی را بر عهده می‌گیرند، سؤال دیگر این نیست که چند وقت یکبار دو سیستم با هم توافق می‌کنند، بلکه این است که چند وقت یکبار با هم توافق می‌کنند در حالی که نباید توافق کنند.[6][7]