سازوکار سوگیری هوش مصنوعی: مقایسه سوگیری داده، سوگیری الگوریتمی و شواهد ممیزی نظام‌مند

رایج‌ترین تصور غلط در مورد سوگیری هوش مصنوعی این است که این پدیده صرفاً یک مشکل داده‌ای است—یک معادله ریاضی ساده که در آن داده‌های ورودی بد، منجر به پیش‌بینی‌های خروجی بد می‌شوند. این چارچوب‌بندی نشان می‌دهد که اگر مهندسان صرفاً مجموعه‌های داده‌ای بزرگ‌تر و متنوع‌تر جمع‌آوری کنند و بازنمایی جمعیتی آنها را متوازن سازند، الگوریتم‌های حاصل به طور طبیعی برای استقرار عمومی عادلانه، عینی و ایمن خواهند شد. سال‌هاست که این دیدگاه داده‌محور بر صنعت فناوری حاکم بوده و منجر به سرمایه‌گذاری‌های هنگفت در تلاش‌های جمع‌آوری و برچسب‌گذاری داده‌ها شده که برای رفع عدم توازن‌های تاریخی طراحی شده بودند. با این حال، با خروج سامانه‌های هوش مصنوعی از آزمایشگاه و ورود به محیط‌های پرمخاطره مانند بخش‌های بیمارستانی، دفاتر تأیید وام و پلتفرم‌های استخدام، این مدل ساده بارها در جلوگیری از نتایج تبعیض‌آمیز شکست خورده است. واقعیت این است که الگوریتم‌ها صرفاً داده‌هایی را که به آنها خورانده می‌شود منعکس نمی‌کنند؛ بلکه فعالانه مفروضات زیربنایی، زمینه‌های تاریخی و نابرابری‌های ساختاری نهفته در آن داده‌ها را تقویت می‌کنند.

شواهد به واقعیتی بسیار پیچیده‌تر اشاره دارند که فراتر از ردیف‌ها و ستون‌های یک مجموعه داده آموزشی است. بر اساس اعلام مؤسسه ملی استانداردها و فناوری (NIST)، سوگیری در هوش مصنوعی باید به عنوان یک چالش اجتماعی-فنی درک شود که نمی‌توان آن را تنها از طریق مهندسی داده یا بهینه‌سازی ریاضی حل کرد. این امر مستلزم بررسی کل چرخه حیات یک مدل یادگیری ماشینی است، از زمینه تاریخی مشکلی که سعی در حل آن دارد تا سوگیری‌های شناختی انسانی توسعه‌دهندگانی که معماری آن را طراحی می‌کنند. این رویکرد اجتماعی-فنی اذعان دارد که سامانه‌های هوش مصنوعی در محیط‌های انسانی آشفته و نابرابر مستقر می‌شوند و رفتار با آنها به عنوان توابع ریاضی مجزا، شکست را تضمین می‌کند. با تغییر تمرکز از راه‌حل‌های صرفاً فنی به ممیزی‌های نظام‌مند گسترده‌تر، سازمان‌ها می‌توانند پیش از استقرار این سامانه‌ها در مقیاس بزرگ، علل ریشه‌ای آسیب الگوریتمی را شناسایی کنند.[2]

برای درک اینکه این سامانه‌ها چگونه در عمل شکست می‌خورند، لازم است سازوکار سوگیری هوش مصنوعی را به اجزای متمایز و متقابل آن تجزیه کنیم. اولین و شناخته‌شده‌ترین لایه، سوگیری محاسباتی یا آماری است. این سوگیری زمانی رخ می‌دهد که داده‌های آموزشی، نماینده جمعیتی که مدل در نهایت به آن خدمت خواهد کرد، نباشند و منجر به دقت پیش‌بینی متمایل در گروه‌های جمعیتی مختلف شود. به عنوان مثال، یک سامانه تشخیص چهره که عمدتاً با تصاویر افراد با پوست روشن‌تر آموزش دیده است، از نظر ریاضی برای شناسایی دقیق افراد با پوست تیره‌تر با مشکل مواجه خواهد شد؛ نه به دلیل بدخواهی، بلکه به این دلیل که وزن‌های ریاضی آن برای داده‌هایی که بیشتر دیده است، بهینه‌سازی شده‌اند. این شکل از سوگیری آسان‌ترین نوع برای اندازه‌گیری و پرتکرارترین مورد بحث است، اما تمرکز انحصاری بر خطاهای محاسباتی، حس امنیت کاذبی را برای سازمان‌هایی که هوش مصنوعی را مستقر می‌کنند، ایجاد می‌کند.[2]

مستندات فنی و دستورالعمل‌های صنعتی تأکید می‌کنند که سوگیری الگوریتمی اغلب در طول این فاز محاسباتی، زمانی که مدل‌ها برای انجام پیش‌بینی‌های خود به متغیرهای نیابتی متصل می‌شوند، پدیدار می‌شود. به عنوان مثال، یک الگوریتم که برای پیش‌بینی اعتبار مالی طراحی شده است، ممکن است به صراحت برنامه‌ریزی شده باشد تا ویژگی‌های محافظت‌شده مانند نژاد یا جنسیت را نادیده بگیرد. با این حال، مدل‌های یادگیری ماشینی در یافتن همبستگی‌های پنهان، مهارت فوق‌العاده‌ای دارند. مدل ممکن است به یک متغیر ظاهراً خنثی مانند کد پستی یا یک عادت خرید خاص، وزن زیادی بدهد و عملاً شیوه‌های تاریخی تبعیض منطقه‌ای (redlining) را از طریق یک متغیر نیابتی خنثی از نظر ریاضی بازسازی کند. از آنجایی که الگوریتم از نظر فنی نسبت به نژاد کور است، سازندگان آن ممکن است آن را عادلانه اعلام کنند، حتی در حالی که به طور نظام‌مند وام‌ها را با نرخ‌های نامتناسبی به متقاضیان اقلیت رد می‌کند.[6]

اما خطاهای محاسباتی و متغیرهای نیابتی تنها یک لایه از مشکل هستند. استاندارد جامع NIST برای شناسایی و مدیریت سوگیری، دسته دومی را معرفی می‌کند که بسیار موذیانه‌تر و اندازه‌گیری آن دشوارتر است: سوگیری نظام‌مند. این شکل از سوگیری در نهادها، شیوه‌های تاریخی و هنجارهای اجتماعی که در وهله اول داده‌ها را تولید می‌کنند، نهفته است. سوگیری نظام‌مند خارج از الگوریتم وجود دارد؛ این همان آبی است که الگوریتم در آن شنا می‌کند. این بدان معناست که حتی اگر یک تیم مهندسی مجموعه داده‌ای را کاملاً متوازن کند و تمام متغیرهای نیابتی را حذف نماید، مدل همچنان می‌تواند نتایج تبعیض‌آمیز تولید کند، اگر خط مبنای تاریخی که سعی در پیش‌بینی آن دارد، از قبل به دلیل دهه‌ها رفتار نابرابر، اساساً متمایل باشد.[2]

در حوزه‌های پرمخاطره‌ای مانند مراقبت‌های بهداشتی، این تمایز بین سوگیری محاسباتی و نظام‌مند، مسئله مرگ و زندگی است. یک بررسی جامع از داده‌های بزرگ و هوش مصنوعی در مراقبت‌های بهداشتی تأکید می‌کند که داده‌های بالینی تقریباً همیشه بازتاب‌دهنده نابرابری‌های تاریخی در دسترسی به مراقبت هستند. اگر یک گروه جمعیتی از لحاظ تاریخی تحت پوشش بیمه کافی نبوده یا از دسترسی به پزشکی پیشگیرانه محروم شده باشد، سوابق پزشکی آنها اساساً متفاوت از گروهی خواهد بود که کاملاً تحت پوشش بیمه قرار دارند. الگوریتم‌هایی که با این داده‌ها آموزش می‌بینند، یاد خواهند گرفت که به جای نتایج عینی سلامت، برای این نابرابری‌های موجود بهینه‌سازی کنند و عملاً همان نابرابری‌هایی را که مقامات بهداشت عمومی در تلاش برای حذف آنها هستند، خودکارسازی و مقیاس‌دهی می‌کنند.[4]

یک نمونه برجسته از سوگیری نظام‌مند زمانی رخ داد که مشخص شد یک الگوریتم بالینی پرکاربرد، به طور نظام‌مند خطرات سلامتی بیماران سیاه‌پوست در سراسر ایالات متحده را کمتر از حد واقعی تخمین می‌زند. همانطور که در متون مربوط به سوگیری در الگوریتم‌های بالینی شرح داده شده است، طراحان مدل از هزینه‌های تاریخی مراقبت‌های بهداشتی به عنوان یک متغیر نیابتی ریاضی برای نیازهای درمانی بیمار استفاده کردند. در ظاهر، این منطقی به نظر می‌رسد: افراد بیمارتر عموماً هزینه درمان بیشتری دارند. با این حال، از آنجایی که از لحاظ تاریخی به دلیل موانع دسترسی نظام‌مند و شکاف‌های ثروت، پول کمتری برای مراقبت از بیماران سیاه‌پوست هزینه شده بود، الگوریتم به اشتباه نتیجه گرفت که آنها سالم‌تر از بیماران سفیدپوست با شرایط مزمن یکسان هستند و در نتیجه دسترسی آنها به برنامه‌های مراقبت تخصصی را سلب کرد.[7]

دسته سوم شناسایی شده توسط استانداردهای فدرال، سوگیری انسانی است. این سوگیری شامل میانبرهای شناختی، مفروضات و نقاط کور مهندسان، مدیران محصول و مدیرانی است که تابع هدف مدل را تعریف می‌کنند. هنگامی که یک تیم توسعه تصمیم می‌گیرد که یک الگوریتم باید برای چه چیزی بهینه‌سازی کند—چه به حداکثر رساندن تعامل کاربر در فید رسانه‌های اجتماعی باشد، چه به حداقل رساندن هشدارهای مثبت کاذب در یک سامانه تشخیص تقلب، یا پیش‌بینی حفظ کارکنان—آنها در حال کدگذاری ارزش‌های ذهنی انسانی در قوانین ریاضی سخت‌گیرانه هستند. اگر تیم فاقد تنوع باشد یا در مشورت با جوامعی که تحت تأثیر سامانه قرار خواهند گرفت کوتاهی کند، مفروضات بررسی‌نشده آنها به حقیقت مطلق الگوریتم تبدیل شده و هرگونه تلاش بعدی برای دستیابی به عدالت را تحت‌الشعاع قرار خواهد داد.[2]

چالش کاهش این سوگیری‌های محاسباتی، نظام‌مند و انسانی همپوشان، منجر به رشد سریع ممیزی الگوریتمی به عنوان یک رشته متمایز شده است. با این حال، یک بررسی نظام‌مند از متون مربوط به ممیزی الگوریتم‌ها، چشم‌اندازی عمیقاً چندپاره و ناسازگار را آشکار می‌سازد. در حالی که محققان علوم کامپیوتر ده‌ها تعریف ریاضی برای عدالت پیشنهاد کرده‌اند—مانند برابری جمعیتی، شانس‌های برابرشده و برابری نرخ پیش‌بینی—این تعاریف اغلب از نظر ریاضی با یکدیگر ناسازگار هستند. الگوریتمی که یک تعریف از عدالت را برآورده کند، تقریباً مطمئناً تعریف دیگری را نقض خواهد کرد و ممیزان را بدون یک استاندارد واحد و جهانی برای تعیین ایمن بودن یک مدل برای استقرار، رها می‌کند.[3]

از نظر ریاضی، اگر نرخ‌های پایه زیربنایی نتیجه پیش‌بینی‌شده در گروه‌های جمعیتی مختلف متفاوت باشد، برای یک الگوریتم غیرممکن است که به طور همزمان تمام تعاریف اصلی عدالت را برآورده سازد. این واقعیت ریاضی سازمان‌ها را مجبور می‌کند تا مصالحه‌های اخلاقی صریح و اغلب ناخوشایندی انجام دهند. آنها باید تصمیم بگیرند که کدام نوع عدالت برای یک مورد استفاده خاص مهم‌تر است: آیا مهم‌تر است که یک الگوریتم تأیید وام، درصد برابری از متقاضیان را از هر گروه جمعیتی تأیید کند، یا مهم‌تر است که نرخ رد کاذب الگوریتم در آن گروه‌ها یکسان باشد؟ اینها سؤالات مهندسی نیستند؛ بلکه تصمیمات سیاستی هستند که در قالب کد پنهان شده‌اند.[3]

تحلیلگران سیاست‌گذاری خاطرنشان می‌کنند که این فقدان اجماع ریاضی، توسعه بهترین شیوه‌ها و مقرراتی را که برای کاهش آسیب‌های مصرف‌کننده طراحی شده‌اند، به شدت پیچیده می‌کند. بدون یک استاندارد جهانی برای آنچه یک الگوریتم "عادلانه" را تشکیل می‌دهد، شرکت‌ها اغلب به شیوه‌های خودتنظیمی روی می‌آورند که روابط عمومی و حفاظت از مسئولیت را بر ممیزی دقیق اجتماعی-فنی اولویت می‌دهند. در غیاب تعاریف قانونی سخت‌گیرانه، سازمان‌ها می‌توانند معیار عدالتی را انتخاب کنند که مدل آنها را بهترین جلوه دهد و عملاً سامانه‌های سوگیرانه را تأیید کنند، در حالی که ادعا می‌کنند برای برابری به طور کامل ممیزی شده‌اند.[5]

برای رفع این شکاف نظارتی و فنی، چارچوب مدیریت ریسک هوش مصنوعی NIST (AI RMF 1.0) یک رویکرد داوطلبانه و ساختاریافته را برای سازمان‌ها فراهم می‌کند تا ریسک‌های هوش مصنوعی را در طول چرخه عمر محصول نقشه‌برداری، اندازه‌گیری و مدیریت کنند. این چارچوب به جای تجویز یک معیار عدالت واحد و سخت‌گیرانه، بر نظارت مستمر، مشارکت ذینفعان و مستندسازی شفاف نحوه عملکرد مدل‌ها در استقرارهای دنیای واقعی تأکید دارد. این امر سازمان‌ها را مجبور می‌کند تا مفروضات خود را مستند کنند، معیارهای عدالت انتخابی خود را توجیه نمایند و پروتکل‌های روشنی را برای مداخله انسانی در مواقعی که الگوریتم ناگزیر با موارد حاشیه‌ای که برای مدیریت آنها آموزش ندیده است، مواجه می‌شود، ایجاد کنند.[1]

اجرای این چارچوب‌های جامع مستلزم یک تغییر اساسی از آزمون ایستا به ممیزی پویا و نظام‌مند است. در یک آزمون ایستا سنتی، یک مدل یادگیری ماشینی یک بار در برابر یک مجموعه داده نگه داشته شده قبل از استقرار ارزیابی می‌شود و اگر قبول شود، برای مدت نامحدودی ایمن تلقی می‌گردد. در یک ممیزی نظام‌مند، خروجی‌های مدل به طور مستمر برای رانش داده‌ها نظارت می‌شوند و تأثیرات آن بر زیرجمعیت‌های مختلف با تغییر محیط دنیای واقعی، به طور منظم مورد ارزیابی مجدد قرار می‌گیرد. این رویکرد پویا اذعان دارد که یک الگوریتم که امروز عادلانه است، ممکن است فردا در صورت تغییر داده‌های اجتماعی زیربنایی، عمیقاً سوگیرانه شود.[1][8]

بخش مراقبت‌های بهداشتی به طور فزاینده‌ای پیشگام این استاندارد‌های ممیزی دقیق و مستمر است که ناشی از خطرات فیزیکی فوری ناشی از شکست الگوریتمی است. محققانی که از علم باز در هوش مصنوعی مراقبت‌های بهداشتی حمایت می‌کنند، استدلال می‌کنند که مدل‌های اختصاصی و جعبه سیاه، اساساً با ایمنی بالینی و اخلاق پزشکی ناسازگار هستند. آنها خواستار گزارش‌دهی شفاف در مورد جمعیت‌شناسی داده‌های آموزشی، معماری‌های مدل دقیق و معیارهای عملکرد جزئی در میان گروه‌های متنوع بیماران هستند تا اطمینان حاصل شود که محققان مستقل می‌توانند ادعاهای ایمنی مطرح شده توسط فروشندگان تجاری هوش مصنوعی را تأیید کنند.[4]

در نهایت، شواهد انباشته نشان می‌دهد که سوگیری هوش مصنوعی را نمی‌توان به طور کامل حذف کرد؛ بلکه فقط می‌توان آن را به طور دقیق مدیریت و کاهش داد. الگوریتم‌ها داوران عینی حقیقت نیستند؛ آنها آینه‌هایی هستند که داده‌ها، تصمیمات و زمینه‌های تاریخی جوامعی را که آنها را می‌سازند، منعکس می‌کنند. با تغییر تمرکز از کمال ریاضی غیرممکن به ممیزی شفاف و اجتماعی-فنی، سازمان‌ها و تنظیم‌کنندگان می‌توانند شروع به کاهش شدیدترین آسیب‌ها کنند و اطمینان حاصل نمایند که نسل بعدی هوش مصنوعی به جای کدگذاری دائمی نابرابری‌های تاریخی در زیرساخت دیجیتال ما، در خدمت برچیدن آنها باشد.[8]