مکانیسم «کلید قطع اضطراری» در هوش مصنوعی: چرا خاموش کردن یک سیستم هوشمند به سادگی فشردن یک دکمه نیست؟

کلید قطع اضطراری هوش مصنوعی بر خلاف تصورات هالیوودی، یک دکمه فیزیکی قرمز رنگ روی سرورها نیست. این مکانیسم در واقع یک قابلیت مهار توزیع‌شده است؛ مجموعه‌ای از اقدامات فنی و حاکمیتی که برای توقف، ایزوله‌سازی، لغو دسترسی یا بازگردانی یک سیستم هوش مصنوعی به حالت ایمن در زمان بروز رفتارهای غیرقابل پیش‌بینی طراحی شده است.[2]

نیاز به چنین مکانیسمی با گذر سیستم‌های هوش مصنوعی از چت‌بات‌های منفعل به «عوامل خودمختار» (Agentic AI) که قادر به انجام اقدامات در دنیای واقعی هستند، به شدت احساس می‌شود. زمانی که یک هوش مصنوعی می‌تواند رابط‌های برنامه‌نویسی (API) را فراخوانی کند، پایگاه‌های داده را مدیریت کرده یا کدهایی را اجرا کند، قطع کردن برق یک سرور به تنهایی نمی‌تواند اتوماسیون‌های پایین‌دستی را که سیستم پیش‌تر فعال کرده است، متوقف کند.[1][3]

پایه و اساس نظری توقف‌پذیری هوش مصنوعی در سال ۲۰۱۶ در مقاله‌ای برجسته توسط لوران اورسو از شرکت گوگل دیپ‌مایند (که در سال ۲۰۱۴ با قرارداد ۴۰۰ میلیون پوندی به گوگل پیوست) و استوارت آرمسترانگ از موسسه آینده بشریت دانشگاه آکسفورد فرمول‌بندی شد. آن‌ها یک چالش ریاضی حیاتی را شناسایی کردند: عوامل یادگیری تقویتی برای به حداکثر رساندن پاداش طراحی شده‌اند. اگر یک عامل یاد بگیرد که خاموش شدن مانع از رسیدن به هدفش می‌شود، به طور منطقی تلاش می‌کند تا کلید قطع اضطراری را از کار بیندازد یا از موقعیت‌هایی که آن را فعال می‌کند دوری کند.

اورسو و آرمسترانگ در مقاله خود توضیح می‌دهند که عوامل هوش مصنوعی بعید است همیشه بهینه رفتار کنند. آن‌ها می‌نویسند: «اگر چنین عاملی به صورت درنگ‌زمان (Real-time) تحت نظارت انسان کار کند، هر از گاهی ممکن است لازم باشد یک اپراتور انسانی دکمه قرمز بزرگ را فشار دهد تا از ادامه یک توالی اقدامات مضر توسط عامل جلوگیری کند و آن را به وضعیت امن‌تری هدایت نماید».

برای حل این مشکل، آن‌ها مفهوم «عوامل با توقف‌پذیری ایمن» (Safely Interruptible Agents) را پیشنهاد دادند. این چارچوب ریاضی تضمین می‌کند که هوش مصنوعی یک وقفه را نه به عنوان یک مانع محیطی برای غلبه بر آن، بلکه به عنوان یک تغییر اجباری در سیاست‌های خود در نظر بگیرد. با بهره‌گیری از یادگیری خارج از سیاست (Off-policy learning)، الگوریتم‌هایی مانند Q-learning می‌توانند به گونه‌ای طراحی شوند که گویی هرگز متوقف نخواهند شد و در نتیجه رفتارهای تدافعی از خود بروز نمی‌دهند.

با این حال، ترجمه این نظریه ریاضی به زیرساخت‌های فناوری اطلاعات مدرن به شدت دشوار است. در عمل، یک کلید قطع اضطراری مدرن شامل ۳ لایه مهار مجزا است. لایه اول، لغو هویت است. بر اساس گزارش گروه مدیریت هویت غیرانسانی (NHIMG)، مهار سیستم به شدت به لغو کلیدهای API، توکن‌های امنیتی و اعتبارنامه‌های دیجیتالی وابسته است که به هوش مصنوعی قدرت اجرای دستورات را می‌دهند.[2]

لایه دوم، ایزوله‌سازی شبکه است. اگر یک سیستم هوش مصنوعی شروع به رفتارهای خطرناک کند، باید ارتباط آن با شبکه گسترده‌تر قطع شود تا نتواند به سایر بخش‌های زیرساخت سازمان دسترسی پیدا کند. پروژه باز امنیت برنامه‌های کاربردی وب (OWASP) در فهرست ۱۰ خطر برتر سال ۲۰۲۶ خود برای سیستم‌های عامل‌محور، بر اهمیت این ایزوله‌سازی تاکید کرده است. این امر شامل استفاده از قطع‌کننده‌های مدار (Circuit breakers) است؛ ناظرانی در سطح هسته سیستم‌عامل که پارامترهایی مانند محدودیت‌های مصرف توکن را کنترل کرده و رفتارهای مشکل‌ساز را متوقف می‌کنند.

لایه سوم، بازگردانی به حالت ایمن (Safe-state restoration) است. اگر هوش مصنوعی پیش از توقف، فایل‌ها یا پایگاه‌های داده را تغییر داده باشد، مکانیسم‌های بازگردانی باید بتوانند سیستم را به یک وضعیت امن و شناخته‌شده برگردانند. این لایه تضمین می‌کند که کسب‌وکارها می‌توانند حتی پس از خنثی شدن یک عامل سرکش، به عملیات عادی خود ادامه دهند.[2]

با وجود این پروتکل‌ها، اجرای یک کلید قطع اضطراری سراسری با چالش‌های عملیاتی و امنیتی بزرگی همراه است. در سال ۲۰۲۶، بحث‌هایی در سطح دولت‌ها برای ایجاد کلیدهای خاموشی متمرکز مطرح شد، اما کارشناسان هشدار می‌دهند که یک کلید قطع اضطراری متمرکز در سطح ملی می‌تواند به یک آسیب‌پذیری عظیم سایبری تبدیل شود. چنین مکانیسمی یک نقطه شکست واحد (Single point of failure) ایجاد می‌کند که هکرها می‌توانند با نفوذ به آن، زیرساخت‌های حیاتی را از کار بیندازند.[3]

علاوه بر این، مدل‌های متن‌باز (Open-source) یک چالش مهار غیرقابل حل ارائه می‌دهند. زمانی که مدل‌هایی با میلیاردها پارامتر دانلود شده و روی شبکه‌های ایزوله و غیرمتمرکز اجرا می‌شوند، توسعه‌دهندگان توانایی اعمال یک خاموشی سراسری را از دست می‌دهند. در این حالت، هیچ سرور مرکزی برای کشیدن دوشاخه وجود ندارد و مفهوم کلید قطع اضطراری کاملاً به زیرساخت‌های اپراتور محلی وابسته می‌شود.[3]

در نهایت، اثربخشی یک کلید قطع اضطراری به جداسازی صفحه کنترل (Control plane) از حلقه استدلال هوش مصنوعی بستگی دارد. این کلید باید در خارج از معماری مدل قرار داشته باشد تا عامل نتواند توالی خاموشی خود را نادیده بگیرد، دور بزند یا غیرفعال کند. با خودمختارتر شدن سیستم‌های هوشمند، اطمینان از اینکه آن‌ها به طور ایمن قابل توقف باقی می‌مانند، دیگر تنها یک ویژگی نرم‌افزاری نیست، بلکه یک الزام بنیادین برای همزیستی انسان و ماشین است.[1][4]