چرا ایمنی کامل هوش مصنوعی از نظر ریاضی غیرممکن است

فرض غالب در سیلیکون ولی و نهادهای نظارتی جهانی این است که ایمنی هوش مصنوعی اساساً یک مشکل مهندسی است. اجماع بر این است که با داده‌های آموزشی با کیفیت کافی، قدرت محاسباتی کافی و یادگیری تقویتی هوشمندانه، توسعه‌دهندگان می‌توانند یک حصار محافظ بی‌نقص بسازند که تضمین کند هوش مصنوعی هرگز کد مضر تولید نکند یا اپراتورهای خود را فریب ندهد. اما شواهد ریاضی به واقعیت دیگری اشاره دارد: هم‌ترازی کامل هوش مصنوعی نه تنها دشوار است، بلکه از نظر تئوری غیرممکن است.[4]

برای درک دلیل این امر، باید از شبکه‌های عصبی مدرن فراتر رفته و به ریاضیات بنیادی علوم کامپیوتر بازگردیم. مدت‌ها قبل از ساخت اولین ریزتراشه، ریاضیدانان در حال ترسیم محدودیت‌های مطلق محاسبات بودند. آنچه آنها کشف کردند این است که خود محاسبات دارای مرزهای غیرقابل عبوری است و این مرزها مستقیماً بر آنچه می‌توانیم و نمی‌توانیم هوش مصنوعی را مجبور به انجام آن کنیم، حاکم هستند.[1]

مشهورترین این مرزها در سال ۱۹۳۶ توسط آلن تورینگ در آنچه اکنون به عنوان مسئله توقف شناخته می‌شود، تعیین شد. تورینگ به صورت ریاضی ثابت کرد که ایجاد یک الگوریتم عمومی که بتواند هر برنامه کامپیوتری و ورودی آن را بررسی کند و به طور کامل تعیین کند که آیا آن برنامه در نهایت متوقف می‌شود یا برای همیشه اجرا خواهد شد، غیرممکن است.[1]

مکانیسم پشت اثبات تورینگ بر یک پارادوکس منطقی تکیه دارد. اگر بتوانید یک برنامه «بررسی‌کننده» کامل بسازید، می‌توانید یک برنامه مخرب به آن بدهید که طراحی شده است تا دقیقاً برعکس آنچه بررسی‌کننده پیش‌بینی می‌کند، عمل کند. اگر بررسی‌کننده بگوید «متوقف خواهد شد»، برنامه مخرب به طور نامحدود حلقه می‌زند. اگر بررسی‌کننده بگوید «حلقه خواهد زد»، برنامه مخرب متوقف می‌شود. بررسی‌کننده کامل مجبور به تناقض می‌شود و این امر ثابت می‌کند که نمی‌تواند وجود داشته باشد.[1]

در حالی که پیش‌بینی توقف یک برنامه محدود به نظر می‌رسد، پیامدهای آن در سال ۱۹۵۳ توسط ریاضیدان هنری گوردون رایس به شدت گسترش یافت. قضیه رایس کار تورینگ را تعمیم می‌دهد و ثابت می‌کند که هیچ ویژگی غیربدیهی از رفتار یک برنامه کامپیوتری را نمی‌توان به طور کامل توسط برنامه دیگری تأیید کرد.[4]

در چارچوب قضیه رایس، «غیربدیهی» به معنای هر رفتار جالبی است که در مورد همه برنامه‌ها صادق نباشد یا در مورد همه برنامه‌ها کاذب نباشد. «آیا این برنامه دستور پخت یک سلاح بیولوژیک را خروجی می‌دهد؟» یک ویژگی غیربدیهی است. «آیا این برنامه کاربر را فریب می‌دهد؟» یک ویژگی غیربدیهی است. طبق این قضیه، هیچ الگوریتمی نمی‌توان نوشت که بتواند این سؤالات را برای تمام خروجی‌های ممکن هوش مصنوعی به طور کامل و سازگار پاسخ دهد.[4]

این امر یک نقص مکانیسم بنیادی برای معماری‌های ایمنی هوش مصنوعی مدرن ایجاد می‌کند. امروزه، مدل‌های هوش مصنوعی پیشرو معمولاً با استفاده از طبقه‌بندی‌کننده‌های اکتشافی (heuristic classifiers) ایمن می‌شوند—شبکه‌های عصبی ثانویه که به عنوان فیلترهای ایمنی عمل می‌کنند و خروجی مدل اصلی را قبل از رسیدن به کاربر بررسی می‌کنند. این فیلترها وظیفه دارند دقیقاً کاری را انجام دهند که قضیه رایس آن را ممنوع می‌کند: پیش‌بینی کامل ویژگی‌های رفتاری یک سیستم پیچیده دیگر.[3]

از آنجا که اثبات ریاضی کامل رفتار غیرممکن است، این طبقه‌بندی‌کننده‌های ایمنی باید بر تطبیق الگوهای احتمالی تکیه کنند. آنها با قطعیت مطلق نمی‌دانند که یک خروجی ایمن است؛ آنها صرفاً محاسبه می‌کنند که خروجی از نظر آماری شبیه داده‌های ایمنی است که در گذشته دیده‌اند. آنها در حال حدس زدن هستند، هرچند با پیچیدگی بالا.[3]

داده‌های تجربی این محدودیت نظری را منعکس می‌کنند. هنگامی که در معرض دستورات خصمانه پیچیده—که اغلب «فرار از زندان» (jailbreaks) نامیده می‌شوند—قرار می‌گیرند، طبقه‌بندی‌کننده‌های ایمنی پیشرفته به طور مداوم نرخ شکستی بین ۴.۲٪ و ۸.۵٪ از خود نشان می‌دهند. آنها یا درخواست‌های بی‌ضرر را مسدود می‌کنند و مثبت کاذب ایجاد می‌کنند، یا خروجی‌های مضر را به عنوان منفی کاذب از خود عبور می‌دهند.[3]

صنعت فناوری عمدتاً این نرخ خطای ۵ درصدی مداوم را به عنوان یک اشکال موقت، یک نقص مهندسی که منتظر حل شدن توسط نسل بعدی تکنیک‌های آموزشی است، تلقی می‌کند. با این حال، نظریه محاسبات‌پذیری نشان می‌دهد که این نرخ خطا در واقع یک حد مجانب است. ما در حال نزدیک شدن به یک حد سخت ریاضی اثبات شده در تأیید رفتار هستیم، نه یک مانع موقت.[4]

این محدودیت هنگام در نظر گرفتن سیستم‌های هوش مصنوعی آینده و بسیار خودمختار، حتی جدی‌تر می‌شود. یک مطالعه برجسته در سال ۲۰۲۱ در مجله تحقیقات هوش مصنوعی، نظریه محاسبات‌پذیری را در مورد مفهوم ابرهوش مصنوعی مصنوعی به کار برد. محققان نشان دادند که یک الگوریتم مهار که برای کنترل کامل یک سیستم فوق‌هوشمند طراحی شده است، باید آن سیستم را به طور کامل شبیه‌سازی کند، که بلافاصله مسئله توقف را فعال می‌کند.[2]

محققان نتیجه گرفتند که اگر یک ابرهوش مصنوعی وجود داشته باشد، اساساً توسط هیچ مجموعه قوانین الگوریتمی قابل مهار نخواهد بود. فیلتر ایمنی یا برای درک رفتار هوش مصنوعی بسیار ساده خواهد بود، یا به اندازه کافی پیچیده خواهد بود که قربانی همان پارادوکس‌های غیرقابل محاسبه‌ای شود که تورینگ شناسایی کرد.[2]

این واقعیت ریاضی پیامدهای عمیقی برای نحوه برخورد دولت‌ها با مقررات هوش مصنوعی دارد. چارچوب‌هایی که از توسعه‌دهندگان می‌خواهند تضمین کنند مدل‌هایشان «ایمن قابل اثبات» هستند یا «قادر به تولید آسیب نیستند»، اساساً از مهندسان نرم‌افزار می‌خواهند که قوانین ریاضی را نقض کنند. مؤسسه ملی استانداردها و فناوری (NIST) شروع به پذیرش این موضوع کرده و مدیریت ریسک هوش مصنوعی را حول محور کاهش خطر به جای پیشگیری مطلق تعریف می‌کند.

پذیرش غیرممکن بودن هم‌ترازی کامل به معنای کنار گذاشتن تلاش‌های ایمنی نیست. در عوض، یک تغییر ضروری در مکانیسم را تحمیل می‌کند. اگر نمی‌توانیم یک دیوار الگوریتمی کامل بسازیم، باید بر دفاع چندلایه تکیه کنیم. این به معنای لایه‌بندی فیلترهای نرم‌افزاری ناقص با کنترل‌های دسترسی در سطح سخت‌افزار، امنیت عملیاتی سخت‌گیرانه و نظارت مستمر انسانی است.

در نهایت، درک قضیه‌های تورینگ و رایس به ما قدرت می‌دهد تا با پارادایم علمی صحیح با ایمنی هوش مصنوعی برخورد کنیم. ما باید از برخورد با هم‌ترازی هوش مصنوعی مانند رمزنگاری، که در آن تضمین‌های ریاضی کامل ممکن است، دست برداریم و شروع به برخورد با آن مانند اپیدمیولوژی یا هواشناسی کنیم—زمینه‌هایی که سیستم‌های پیچیده و احتمالی را مدیریت می‌کنند که در آنها پیش‌بینی کامل غیرممکن است، اما ریسک‌های فاجعه‌بار همچنان می‌توانند به طور سیستماتیک کاهش یابند.[4]