سازوکار عدالت هوش مصنوعی: مقایسه برابری جمعیتی، فرصت برابر و برابری پیش‌بینی

هنگامی که یک سامانه هوش مصنوعی درخواست وام مسکن را رد می‌کند، یک رزومه را فیلتر می‌کند یا یک اسکن پزشکی را علامت‌گذاری می‌کند، انتظار فوری انسانی این است که تصمیم گرفته شده «عادلانه» باشد. اما عدالت یک مفهوم فلسفی انسانی است، نه یک ثابت ریاضی جهانی. برای یک مدل یادگیری ماشین، انصاف باید به صورت یک معادله صلب بیان شود، و شواهد نشان می‌دهد که این معادلات اساساً با یکدیگر در تضاد هستند.[2]

صنعت هوش مصنوعی و نهادهای نظارتی عمدتاً حول سه معیار اصلی برای اندازه‌گیری سوگیری الگوریتمی توافق کرده‌اند: برابری جمعیتی، فرصت برابر و برابری پیش‌بینی. هر معیار، تعریف متفاوتی از عدالت را که به طور شهودی جذاب است، در بر می‌گیرد. با این حال، یک اثبات ریاضی بنیادی در یادگیری ماشین نشان می‌دهد که نمی‌توان همه آنها را به طور همزمان برآورده کرد.[1][3]

معیار اول، برابری جمعیتی، ایجاب می‌کند که نتایج مدل مستقل از طبقه محافظت‌شده (مانند جنسیت یا نژاد) باشد. اگر ۲۰٪ از متقاضیان وام زن باشند، دقیقاً ۲۰٪ از وام‌های تأیید شده نیز باید به زنان تعلق گیرد. این معیار عمیقاً ریشه در چارچوب‌های حقوق مدنی دارد و اغلب به عنوان مبنایی برای ممیزی سوگیری سیستمی استفاده می‌شود.[3][4]

با این حال، شواهد نشان می‌دهد که برابری جمعیتی محدودیت‌های جدی دارد، به ویژه زمانی که داده‌های زیربنایی از قبل دارای سوگیری هستند. اگر یک گروه به طور تاریخی نرخ پایه صلاحیت پایین‌تری داشته باشد—شاید به دلیل نسل‌ها تبعیض سیستمی یا دسترسی نابرابر به آموزش—اعمال برابری جمعیتی مستلزم آن است که مدل، آستانه تأیید خود را برای آن گروه خاص کاهش دهد. منتقدان استدلال می‌کنند که این کار دقت کلی مدل را به خطر می‌اندازد و داده‌های واقعیت میدانی را نادیده می‌گیرد.[1][2][5]

فرصت برابر، دومین معیار اصلی، تمرکز را از نتایج برابر به دقت برابر برای افراد واجد شرایط تغییر می‌دهد. این معیار ایجاب می‌کند که «نرخ مثبت واقعی» در تمام گروه‌های جمعیتی یکسان باشد. بر اساس این تعریف، یک متقاضی سیاهپوست واجد شرایط و یک متقاضی سفیدپوست واجد شرایط باید دقیقاً احتمال ریاضی یکسانی برای تأیید شدن توسط الگوریتم داشته باشند.[1][3]

محدودیت فرصت برابر این است که عدم توازن‌های تاریخی را به عنوان یک واقعیت پذیرفته‌شده می‌پذیرد. اگر افراد کمتری در یک گروه به حاشیه رانده شده به دلیل نابرابری‌های تاریخی، تعریف مدل از «واجد شرایط» را برآورده کنند، تعداد کل افراد انتخاب شده از آن گروه به طور نامتناسبی پایین خواهد ماند. این معیار عدالت را در سطح فردی تضمین می‌کند اما برای اصلاح نابرابری‌های سیستمی در سطح جمعیت کاری انجام نمی‌دهد.[1][2][5]

معیار سوم، برابری پیش‌بینی، بر اعتماد و قابلیت اطمینان مدل تمرکز دارد. این معیار ایجاب می‌کند که یک پیش‌بینی مثبت، صرف نظر از گروه جمعیتی متقاضی، دقیقاً معنای یکسانی داشته باشد. اگر هوش مصنوعی ۷۰٪ شانس موفقیت را برای یک نامزد پیش‌بینی کند، آن نامزد باید واقعاً ۷۰٪ مواقع موفق شود، چه مرد باشد و چه زن.[3][4]

برابری پیش‌بینی در بخش‌های مالی و پزشکی که کالیبراسیون (تنظیم دقیق) حیاتی است، بسیار مورد توجه قرار می‌گیرد. با این حال، شواهد یک نقطه کور حیاتی را آشکار می‌کند: یک مدل می‌تواند به برابری پیش‌بینی کامل دست یابد در حالی که همزمان تعداد زیادی از نامزدهای اقلیت واجد شرایط را رد می‌کند، به شرطی که همان تعداد اندک پیش‌بینی‌های مثبتی که انجام می‌دهد، بسیار دقیق باشند.[1][4]

بحران اصلی در عدالت هوش مصنوعی به عنوان «قضیه عدم امکان» شناخته می‌شود. اثبات‌های ریاضی به طور قطعی نشان داده‌اند که اگر نرخ‌های پایه دو گروه متفاوت باشد—که تقریباً همیشه در داده‌های جامعه‌شناختی دنیای واقعی صادق است—از نظر ریاضی غیرممکن است که برابری جمعیتی، فرصت برابر و برابری پیش‌بینی به طور همزمان برآورده شوند.[1][2]

بهینه‌سازی برای فرصت برابر، به لحاظ ریاضی نقض برابری پیش‌بینی را تحمیل می‌کند. برعکس، تنظیم یک مدل برای دستیابی به برابری جمعیتی به ناچار نمره فرصت برابر آن را کاهش می‌دهد و منجر به رد شدن افراد واجد شرایط از گروه اکثریت برای برقراری توازن در مقیاس‌های آماری می‌شود.[1][3]

این واقعیت ریاضی، توسعه‌دهندگان و نهادهای نظارتی را به یک بازی با حاصل جمع صفر وادار می‌کند. به عنوان مثال، در سیستم عدالت کیفری، ابزارهای ارزیابی ریسک که برای برابری پیش‌بینی بهینه‌سازی شده بودند، متهمان سیاهپوست را با نرخی دو برابر متهمان سفیدپوست به اشتباه علامت‌گذاری کردند—شکستی عظیم در فرصت برابر که خشم ملی را برانگیخت و اهمیت واقعی این معادلات را برجسته ساخت.[2][5]

نهادهای نظارتی در حال حاضر در تلاشند تا این بده‌بستان‌های ریاضی را با چارچوب‌های قانونی موجود تطبیق دهند. قانون کار ایالات متحده اغلب به سمت برابری جمعیتی متمایل است و از «قانون چهار پنجم» برای اندازه‌گیری تأثیر نامتناسب استفاده می‌کند. در همین حال، مقررات مالی اغلب به طور ضمنی برابری پیش‌بینی را برای تضمین ثبات سبد وام‌ها طلب می‌کنند.[4][5]

شواهد نشان می‌دهد که انتخاب معیار عدالت در نهایت یک تصمیم سیاسی است که در لباس یک مسئله ریاضی پنهان شده است. از آنجایی که ریاضیات ثابت می‌کند عدالت کامل غیرممکن است، سازمان‌ها باید به طور شفاف اعلام کنند که کدام نوع سوگیری را مایل به پذیرش هستند و از کدام نوع از نظر قانونی ملزم به جلوگیری می‌باشند.[1][2][5]