مکانیسم‌های هوش مصنوعی توضیح‌پذیر: مقایسه SHAP، LIME و روش‌های ذاتی برای پاسخگویی مدل‌ها

رایج‌ترین تصور غلط درباره هوش مصنوعی توضیح‌پذیر (XAI) این است که عملکردی شبیه به پنجره‌ای به ذهن ماشین دارد. وقتی هوش مصنوعی یک بانک، وام مسکن را رد می‌کند و دلیلی ارائه می‌دهد، عموم مردم فرض می‌کنند که مدل در حال گزارش منطق داخلی خود است. اما اینطور نیست. در اکثر سیستم‌های سازمانی امروزی، «توضیح» در واقع یک الگوریتم کاملاً جداگانه است—یک هوش مصنوعی ثانویه—که حدس می‌زند هوش مصنوعی اولیه چه کاری انجام داده است.[3][7]

این تمایز بین مکانیسم واقعی یک مدل و یک حدس پسینی، خط گسل اصلی در سیاست‌های نوین هوش مصنوعی را تشکیل می‌دهد. از آنجا که چارچوب‌های نظارتی مانند قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) شفافیت را برای سیستم‌های پرخطر الزامی می‌کنند، سازمان‌ها در حال کشف این موضوع هستند که روش‌های XAI انتخابی آن‌ها ممکن است در دادگاه دوام نیاورند. این بحث به دو فلسفه مهندسی متمایز تقسیم شده است: افزودن تخمین‌های تقریبی به «جعبه‌های سیاه» مبهم، یا ساخت مدل‌های ذاتاً شفاف از ابتدا.[3][4]

برای درک این شکاف، ابتدا باید به ساختار داده‌های یادگیری عمیق مدرن نگاه کرد. یک شبکه عصبی قوانین را ذخیره نمی‌کند؛ بلکه میلیون‌ها یا میلیاردها وزن پیوسته را در فضای چندبُعدی ذخیره می‌کند. هنگامی که یک اسکن پزشکی را طبقه‌بندی می‌کند یا به یک رزومه امتیاز می‌دهد، به تعاملات غیرخطی متکی است که هیچ انسانی نمی‌تواند آن‌ها را به صورت متوالی ردیابی کند.

این ابهام، تقاضا برای ابزارهای توضیح‌دهنده پسینی را ایجاد کرد که با مدل مانند یک پیشگوی مهر و موم شده رفتار می‌کنند و تلاش می‌کنند با مشاهده ورودی‌ها و خروجی‌های آن، رفتار آن را مهندسی معکوس کنند.[1][6]

پرکاربردترین ابزار از این دست، LIME (توضیحات محلی قابل تفسیر مستقل از مدل) است. LIME بر اساس اصل اغتشاش محلی عمل می‌کند. اگر یک مدل جعبه سیاه وامی را رد کند، LIME صدها نسخه کمی تغییر یافته از مشخصات متقاضی را تولید می‌کند—مثلاً درآمد را کمی بالا می‌برد، سن را کمی پایین می‌آورد—و همه آن‌ها را به جعبه سیاه می‌دهد. با مشاهده نحوه تغییر تصمیمات مدل، LIME یک مرز خطی ساده در اطراف آن تصمیم خاص ترسیم می‌کند و عملاً می‌گوید: «در این محله ریاضی دقیق، درآمد عامل تعیین‌کننده بود.»[1][2]

شواهد حامی LIME بر سرعت و انعطاف‌پذیری آن تأکید دارند؛ این ابزار می‌تواند هر مدلی را، از جنگل تصادفی گرفته تا شبکه عصبی عمیق، بدون نیاز به دسترسی به کد اصلی توضیح دهد. با این حال، بررسی‌های سیستماتیک LIME در محیط‌های پرمخاطره، مانند تشخیص بیماری آلزایمر، محدودیت‌های جدی در «وفاداری محلی» آن را آشکار می‌کند.

از آنجا که LIME به اغتشاشات تصادفی متکی است، اجرای دقیقاً همان توضیح برای بار دوم می‌تواند دو پاسخ متفاوت به همراه داشته باشد. این بی‌ثباتی، آن را از نظر قانونی برای الزامات سختگیرانه پاسخگویی، خطرناک می‌سازد.[2][6]

برای حل ناسازگاری ریاضی LIME، صنعت به سمت SHAP (توضیحات افزایشی شاپلی) روی آورد. SHAP که ریشه در نظریه بازی‌های تعاونی دهه ۱۹۵۰ دارد، ویژگی‌های هوش مصنوعی—مانند سن، درآمد و سابقه اعتباری—را به عنوان بازیکنان یک بازی و پیش‌بینی نهایی را به عنوان پاداش در نظر می‌گیرد. این ابزار سهم حاشیه‌ای تک تک ویژگی‌ها را با آزمایش تمام ترکیبات ممکن حضور و عدم حضور آن‌ها محاسبه می‌کند.[1][4]

SHAP یک توزیع «عادلانه» تضمین‌شده ریاضی از سهم را ارائه می‌دهد و آن را به استاندارد طلایی برای توضیح‌پذیری پسینی تبدیل می‌کند. برخلاف LIME، شَپ سازگار است: یک ورودی یکسان همیشه توضیح یکسانی تولید خواهد کرد. با این حال، شواهد نشان می‌دهد که این سازگاری با یک هزینه محاسباتی فلج‌کننده همراه است.

از آنجا که باید هر جایگشت را محاسبه کند، پیچیدگی SHAP به صورت نمایی با تعداد ویژگی‌ها افزایش می‌یابد. در داده‌های چندبُعدی مانند تصاویر یا مدل‌های زبان بزرگ، SHAP دقیق غیرممکن است، که مهندسان را مجبور می‌کند از تخمین‌هایی استفاده کنند که همان خطاهایی را که SHAP برای حذف آن‌ها طراحی شده بود، دوباره وارد می‌کنند.[1][2]

هم LIME و هم SHAP از یک نقص اساسی مشترک رنج می‌برند: آن‌ها نسبت به مدل اصلی وفادار نیستند. آن‌ها توضیحی از تقریب ساده‌شده خودشان ارائه می‌دهند، نه جعبه سیاه واقعی. اگر تقریب اشتباه باشد، توضیح یک توهم است. در یک سناریوی مسئولیت قانونی، دفاع از یک تصمیم تبعیض‌آمیز هوش مصنوعی با استفاده از یک ابزار پسینی به معنای دفاع از یک حدس در مورد یک حدس است، استانداردی که محققان حقوقی هشدار می‌دهند ممکن است در آزمون‌های اولیه سهل‌انگاری شکست بخورد.[3][7]

این شکاف شواهد، باعث احیای روش‌های «ذاتی» یا «جعبه شیشه‌ای» شده است. مدل‌های ذاتی به گونه‌ای طراحی شده‌اند که ذاتاً قابل تفسیر باشند. این‌ها شامل درخت‌های تصمیم، رگرسیون خطی و مدل‌های افزودنی تعمیم‌یافته مدرن (GAMs) هستند. در یک مدل ذاتی، وزن ریاضی دقیق هر ویژگی قابل مشاهده و قابل حسابرسی است. هیچ حدسی در کار نیست؛ معماری مدل، توضیح خود آن است.[4][5]

از لحاظ تاریخی، صنعت هوش مصنوعی تا حد زیادی مدل‌های ذاتی را کنار گذاشت، با این فرض که یک «معاوضه» سخت بین دقت و قابلیت تفسیر وجود دارد. اجماع بر این بود که مدل‌های شفاف برای ثبت الگوهای پیچیده و واقعی بسیار ساده هستند، که باعث می‌شود چرخش ضروری به سمت یادگیری عمیق جعبه سیاه صورت گیرد. با این حال، معیارهای تجربی اخیر این روایت را به چالش می‌کشند.[5][6]

شواهد کنونی نشان می‌دهند که برای داده‌های جدولی ساختاریافته—نوعی که در امور مالی، سوابق مراقبت‌های بهداشتی و عدالت کیفری استفاده می‌شود—مدل‌های ذاتی مدرن مانند ماشین‌های تقویت‌کننده توضیح‌پذیر (EBMs) در حاشیه ناچیزی نسبت به مدل‌های جعبه سیاه عمل می‌کنند. شکاف دقت اغلب کمتر از چند درصد است، و در برخی مجموعه‌داده‌های نویزی، مدل‌های شفاف در واقع با اجتناب از بیش‌برازش رایج در شبکه‌های عصبی عمیق، عملکرد بهتری دارند.[4][5]

محاسبات زمانی که با داده‌های بدون ساختار مانند متن و ویدئو، یعنی حوزه مدل‌های زبان بزرگ (LLMs) سروکار داریم، به طور چشمگیری تغییر می‌کند. روش‌های ذاتی در حال حاضر نمی‌توانند زبان طبیعی را با روانی یک ترانسفورمر میلیارد پارامتری تجزیه و تحلیل کنند. برای هوش مصنوعی پیشرو، این حوزه در تلاش است تا شکاف را از طریق «قابلیت تفسیر مکانیکی» پُر کند—تلاش برای نگاشت مفاهیم خاص به نورون‌ها یا سربرگ‌های توجه فردی در داخل شبکه، به جای تکیه بر اغتشاشات ورودی پسینی.[4][7]

برخورد بین این واقعیت‌های فنی و مقررات آتی، بازار هوش مصنوعی را تغییر خواهد داد. چارچوب‌هایی که «اطلاعات معنادار درباره منطق درگیر» را طلب می‌کنند، افسران انطباق را مجبور می‌کنند تا خطوط لوله XAI خود را حسابرسی کنند. اگر یک شرکت از SHAP برای توضیح یک مدل جعبه سیاه استفاده کند، اکنون باید ثابت کند که تقریب SHAP از نظر آماری به سیستم زیربنایی وفادار است—کاری که از نظر ریاضی بسیار دشوار است.[3][6]

بسته شواهد مربوط به هوش مصنوعی توضیح‌پذیر به یک انشعاب ضروری اشاره دارد. برای وظایف ادراکی مانند بینایی کامپیوتر و متن مولد، روش‌های پسینی و کاوش مکانیکی، با وجود نقص‌هایشان، تنها ابزارهای عملی باقی می‌مانند.

اما برای تصمیمات پرمخاطره مبتنی بر داده‌های ساختاریافته—چه کسی وثیقه می‌گیرد، چه کسی وام می‌گیرد، چه کسی درمان پزشکی دریافت می‌کند—توجیه استفاده از جعبه‌های سیاه مبهم در حال فروپاشی است. آینده هوش مصنوعی پاسخگو در توضیح بهتر جعبه سیاه نیست؛ بلکه در امتناع از استفاده از جعبه سیاه است، زمانی که یک جعبه شیشه‌ای به همان خوبی کار می‌کند.[3][4][5][7]