تفاوت اساسی: قابلیت تفسیرپذیری هوش مصنوعی در برابر قابلیت توضیح‌پذیری (XAI) و شواهد کارایی آنها برای ایمنی

صنعت هوش مصنوعی در حال حاضر درگیر یک نبرد معنایی پرمخاطره است که پیامدهای عظیمی برای ایمنی عمومی و انطباق با مقررات دارد. هنگامی که یک مدل یادگیری ماشین درخواست وام مصرف‌کننده را رد می‌کند، بیمار را اشتباه تشخیص می‌دهد یا باعث تصادف یک وسیله نقلیه خودران می‌شود، نهادهای نظارتی و عموم مردم فوراً می‌خواهند بدانند که چرا سیستم چنین انتخابی کرده است. در پاسخ، فروشندگان تجاری اغلب وعده «هوش مصنوعی توضیح‌پذیر» (XAI) را می‌دهند و آن را به عنوان یک راه‌حل جامع برای شفافیت بازاریابی می‌کنند. با این حال، محققان ایمنی و نهادهای استاندارد فنی، خطی سخت و سازش‌ناپذیر بین مدلی که صرفاً می‌تواند خود را توضیح دهد و مدلی که واقعاً تفسیرپذیر است، ترسیم می‌کنند. این تمایز به هیچ وجه صرفاً آکادمیک نیست؛ بلکه تفاوت اساسی بین ارائه یک توجیه پسینی (post-hoc) قابل قبول و ارائه اثبات مطلق ریاضیاتی از منطق داخلی یک سیستم است.

ما دائماً شاهد اعلامیه‌هایی درباره سیستم‌های هوش مصنوعی «شفاف» و «پاسخگو» از سوی شرکت‌های بزرگ فناوری هستیم. با این حال، اگر فراتر از زبان بازاریابی صیقل‌خورده نگاه کنیم و محصولات عرضه‌شده را بررسی کنیم، اکثر مدل‌های پیشرو – به ویژه شبکه‌های عصبی عمیق عظیم و مدل‌های زبان بزرگ – همچنان جعبه‌های سیاه غیرقابل نفوذی باقی می‌مانند. برای پر کردن این شکاف شفافیت بدون قربانی کردن عملکرد، صنعت به شدت به تکنیک‌های XAI متکی است که اساساً یک ماژول توضیح‌دهنده را به بیرون مدل مات متصل می‌کنند. اما همانطور که انستیتوی ملی استانداردها و فناوری (NIST) در اصول بنیادی خود برای این حوزه تشریح می‌کند، یک توضیح معتبر باید هم برای کاربر معنادار باشد و هم کاملاً دقیق با فرآیند محاسباتی واقعی سیستم. دستیابی همزمان به هر دوی این موارد، جایی است که بازاریابی اغلب از واقعیت ریاضیاتی فاصله می‌گیرد.[1]

توضیح‌پذیری، در استقرار عملی، اغلب کمتر شبیه یک پنجره به درون ماشین عمل می‌کند و بیشتر شبیه یک نماینده روابط عمومی برای یک مدیر عامل است. سیستم ثانویه XAI – با استفاده از ابزارهای تشخیصی محبوبی مانند SHAP یا LIME – ورودی‌ها و خروجی‌های جعبه سیاه اصلی را مشاهده می‌کند و منطق زیربنایی را حدس می‌زند. سپس یک روایت قابل خواندن برای انسان ارائه می‌دهد که بسیار منطقی و متقاعدکننده به نظر می‌رسد. با این حال، تحقیقات دقیق در مورد گواهی‌نامه سیستم‌های هوش مصنوعی، یک نقص حیاتی و اغلب نادیده گرفته شده را برجسته می‌کند: این توضیحات پسینی (post-hoc) هیچ تضمینی ارائه نمی‌دهند که واقعاً منعکس‌کننده مکانیسم‌های داخلی واقعی مدل باشند. آنها تخمین‌های آماری هستند، و در سناریوهای استقرار پرمخاطره، یک تخمین می‌تواند به راحتی یک حالت شکست فاجعه‌بار را پنهان کند، در حالی که اعتماد کاذب را القا می‌کند.[3]

در مقابل، تفسیرپذیری ایجاب می‌کند که مدل بر اساس طراحی بنیادی خود به عنوان یک «جعبه سفید» عمل کند. شما نیازی به یک سیستم ثانویه برای حدس زدن منطق ندارید، زیرا کل مسیر تصمیم‌گیری به صورت ریاضیاتی قابل مشاهده و ذاتاً برای مهندسان انسانی قابل درک است. چارچوب معماری IEEE برای هوش مصنوعی توضیح‌پذیر بر تفاوت‌های ساختاری عمیقی که در ساخت سیستم‌هایی با منطق شفاف از پایه وجود دارد، تأکید می‌کند. این رویکرد معمولاً شامل استفاده از مدل‌های ساده‌تر و بسیار ساختاریافته – مانند درخت‌های تصمیم یا رگرسیون‌های خطی – یا سرمایه‌گذاری بر تکنیک‌های نوظهور «تفسیرپذیری مکانیکی» است که تلاش می‌کنند عملکرد دقیق نورون‌های منفرد را در یک شبکه عظیم با دقت مهندسی معکوس کنند.[2]

تنش اصلی که این شکاف تعریفی را هدایت می‌کند، مصالحه ذاتی بین عملکرد پیش‌بینی خام و قابلیت اثبات ریاضیاتی است. صنعت فناوری تجاری به شدت طرفدار توضیح‌پذیری است، زیرا به توسعه‌دهندگان اجازه می‌دهد تا پیچیده‌ترین و بسیار توانمندترین مدل‌های جعبه سیاه را مستقر کنند، در حالی که همچنان پوششی از شفافیت نظارتی ارائه می‌دهند. تفسیرپذیری اغلب یک مصالحه دشوار را تحمیل می‌کند و توسعه‌دهندگان را ملزم می‌سازد تا از معماری‌های کمتر پیچیده‌ای استفاده کنند که ذاتاً قابل درک هستند، اما ممکن است در وظایف پیچیده مولد به بالاترین امتیازات معیار دست نیابند. این یک انتخاب است بین یک سیستم بسیار توانمند که نمی‌توانیم کاملاً به آن اعتماد کنیم، و یک سیستم کمی کمتر توانمند که می‌توانیم آن را به صورت ریاضیاتی تأیید کنیم.

هنگامی که بحث به گواهی‌نامه ایمنی واقعی – فرآیند دقیق اثبات اینکه یک سیستم تحت شرایط مرزی (edge-case) آسیب نخواهد رساند – تغییر می‌کند، شواهد تجربی به شدت به نفع تفسیرپذیری واقعی است. کارشناسانی که سهم XAI در توسعه ایمن سیستم‌های خودران را تحلیل می‌کنند، خاطرنشان می‌سازند که توضیحات پسینی اغلب برای الزامات سختگیرانه گواهی‌نامه ایمنی کافی نیستند. اگر یک وسیله نقلیه خودران مرتکب خطای مرگبار شود، دانستن اینکه یک ماژول XAI فکر می‌کرده است سیستم بینایی خودرو جاده‌ای باز را دیده، کاملاً بی‌فایده است، اگر شبکه عصبی زیربنایی در واقع به دلیل نویز مخرب، در حال توهم یک علامت توقف بوده باشد.[3]

این آسیب‌پذیری دقیقاً همان دلیلی است که چهارمین اصل اصلی XAI از دیدگاه NIST بر «محدودیت‌های دانش» تمرکز دارد – الزام مطلق مبنی بر اینکه یک سیستم باید مواردی را که برای رسیدگی به آنها طراحی نشده است، به دقت شناسایی و اطلاع‌رسانی کند. مدل‌های جعبه سیاه به طور بدنامی با این اصل دست و پنجه نرم می‌کنند و اغلب با اطمینان کامل پاسخ‌هایی را توهم می‌کنند که خارج از توزیع آموزشی آنها عمل می‌کنند. مدل‌های تفسیرپذیر، با مرزهای شفاف و مسیرهای منطقی قابل مشاهده، به طور قابل توجهی کار را برای مهندسان آسان‌تر می‌کنند تا به صورت ریاضیاتی ثابت کنند که چه زمانی یک سیستم خارج از محدوده عمل می‌کند، و به آنها اجازه می‌دهند قبل از وقوع یک خطای فاجعه‌بار، مکانیزم‌های ایمنی را فعال کنند.[1]

در نهایت، انتخاب بین تفسیرپذیری و توضیح‌پذیری، نمایه ایمنی بنیادی یک استقرار هوش مصنوعی را تعیین می‌کند. توضیح‌پذیری همچنان یک ابزار تشخیصی بسیار مفید در طول فاز توسعه اولیه است و می‌تواند به راحتی کنجکاوی مصرف‌کننده در مورد توصیه‌های الگوریتمی را در محیط‌های کم‌خطر برآورده سازد. اما برای زیرساخت‌های حیاتی، تشخیص‌های مراقبت‌های بهداشتی و سیستم‌های فیزیکی خودران، وعده بازاریابی XAI به طرز خطرناکی ناکافی است. ایمنی واقعی در محیط‌های پرمخاطره نیازمند تفسیرپذیری است: سیستمی که نه تنها یک داستان متقاعدکننده در مورد رفتار خود تعریف کند، بلکه کار ریاضیاتی دقیق خود را به صراحت نشان دهد.