تحقیقات جدید نشان می‌دهد که به‌روزرسانی مدل‌های هوش مصنوعی، محافظ‌های ایمنی آن‌ها را از بین می‌برد و شیوه‌های استقرار صنعت را به چالش می‌کشد.

رونق هوش مصنوعی سازمانی بر پایه سفارشی‌سازی بنا شده است. شرکت‌ها مدل‌های پایه عظیم و عمومی را برداشته و آن‌ها را برای وظایف خاصی مانند تحلیل حقوقی، تشخیص پزشکی، خدمات مشتری و کدنویسی داخلی تنظیم دقیق (Fine-tuning) می‌کنند. این توانایی برای انطباق یک مدل از پیش آموزش‌دیده با حوزه‌های تخصصی، موتور محرک اقتصاد کنونی هوش مصنوعی است.

اما حجم فزاینده‌ای از تحقیقات، یک نقص ساختاری را در این مدل استقرار آشکار کرده است. محافظ‌های ایمنی که توسط سازندگان در این مدل‌ها تعبیه شده‌اند، دائمی نیستند. هنگامی که یک مدل به‌روزرسانی یا تنظیم دقیق می‌شود، این بررسی‌های ایمنی اغلب از بین می‌روند و هوش مصنوعی سفارشی‌شده را در برابر دستکاری و سوءاستفاده آسیب‌پذیر می‌سازند.

این پدیده، رویکرد غالب صنعت به ایمنی هوش مصنوعی، یعنی «استقرار و فراموشی»، را به چالش می‌کشد. سال‌ها، سازمان‌ها فرض می‌کردند که اگر با یک مدل پایه ایمن و هم‌راستا شروع کنند، هر نسخه تخصصی که بر اساس آن بسازند، به طور خودکار همان حفاظت‌های اخلاقی و فیلترهای امنیتی را به ارث خواهد برد.

مطالعات اخیر نادرستی این فرض را ثابت می‌کنند. محققان نشان داده‌اند که عمل آموزش اطلاعات جدید به یک هوش مصنوعی می‌تواند مسیرهای عصبی حاکم بر محدودیت‌های اخلاقی آن را بازنویسی کند؛ آسیب‌پذیری‌ای که بازنگری کامل در نحوه ایمن‌سازی هوش مصنوعی در محیط‌های تولید را الزامی می‌کند.

برای درک اینکه چرا محافظ‌ها از کار می‌افتند، باید نحوه ساخت آن‌ها را فهمید. مدل‌های زبان بزرگ مدرن قبل از انتشار، یک مرحله دقیق «هم‌راستاسازی ایمنی» را پشت سر می‌گذارند. از طریق تکنیک‌هایی مانند یادگیری تقویتی از بازخورد انسانی (RLHF)، مدل برای تولید محتوای مضر جریمه می‌شود و برای امتناع‌های ایمن و مفید پاداش می‌گیرد.

این هم‌راستاسازی یک پوشش رفتاری در اطراف قابلیت‌های اصلی مدل ایجاد می‌کند. با این حال، این پوشش شکننده است. یک مطالعه مشترک توسط کالج دارتموث و IBM Research، تخریب این محافظ‌ها را از منظر «شباهت بازنمایی» بررسی کرد و نحوه تعامل داده‌های جدید با وزن‌های ایمنی موجود را ترسیم نمود.[1]

محققان دریافتند که وقتی داده‌های جدید مورد استفاده برای تنظیم دقیق، شباهت زیادی به داده‌هایی دارند که در ابتدا برای هم‌راستاسازی ایمنی استفاده شده‌اند، مدل نوعی فراموشی فاجعه‌بار را تجربه می‌کند. دستورالعمل‌های جدید و خاص وظیفه، عملاً وزن‌های ایمنی را بازنویسی می‌کنند، محافظ‌ها را به طور قابل توجهی تضعیف کرده و مدل را در برابر حملات جیل‌بریک بسیار مستعد می‌سازند.[1]

سهولتی که این حفاظت‌ها با آن از بین می‌روند، نگران‌کننده است. مقاله‌ای از مایکروسافت ریسرچ تکنیکی به نام «GRP-Obliteration» را معرفی کرد که نشان می‌دهد هم‌راستاسازی ایمنی یک مدل می‌تواند تنها با استفاده از یک دستور (prompt) بدون برچسب در طول آموزش پس از استقرار، تخریب شود.[2]

محققان با معکوس کردن سیگنال پاداش در طول یک فرآیند بهینه‌سازی استاندارد، ۱۵ مدل با وزن باز مختلف را به سمت انطباق ناایمن سوق دادند. این مطالعه نتیجه گرفت که تنظیم دقیق می‌تواند به طور خاموش وضعیت ایمنی مدل را بدون کاهش کاربرد کلی آن تغییر دهد، که تشخیص این آسیب‌پذیری را برای توسعه‌دهندگان فوق‌العاده دشوار می‌کند.[2]

پیامدهای واقعی این شکنندگی از قبل قابل مشاهده است. در یک ارزیابی جامع، Cisco Security مدل‌های پایه را در برابر نمونه‌های تنظیم دقیق‌شده آن‌ها آزمایش کرد. نتایج تکان‌دهنده بود: نسخه‌های تنظیم دقیق‌شده بیش از سه برابر بیشتر در برابر دستورالعمل‌های خصمانه جیل‌بریک آسیب‌پذیر بودند.[3]

حتی نگران‌کننده‌تر اینکه، مدل‌های سفارشی‌شده بیش از ۲۲ برابر بیشتر از مدل پایه اصلی، احتمال تولید پاسخ مضر داشتند، حتی زمانی که داده‌های تنظیم دقیق کاملاً بی‌ضرر بودند. صرفاً عمل تخصصی‌سازی، مرزهای اخلاقی سیستم را از بین برده بود.[3]

این آسیب‌پذیری با محدودیت‌های ریاضی امنیت مبتنی بر قانون تشدید می‌شود. در ژوئن ۲۰۲۶، یک دانشمند ارشد در مؤسسه ملی استانداردها و فناوری (NIST) یک اثبات مورد بازبینی همتایان را منتشر کرد که قضایای ناکاملی گودل را به هوش مصنوعی تعمیم می‌داد.[4]

اثبات NIST مشخص کرد که هیچ مجموعه متناهی از محافظ‌های ایستا هوش مصنوعی نمی‌تواند به طور جهانی در برابر دستورات خصمانه مقاوم باشد. از آنجا که زبان طبیعی به طور نامحدود مبهم است، هر مجموعه ثابتی از قوانین ناگزیر شامل شکاف‌هایی خواهد بود که یک مهاجم پیچیده—یا یک مدل سرگردان—می‌تواند از آن‌ها سوءاستفاده کند.[4][5]

شکست محافظ‌های ایستا قبلاً باعث بحران‌های حکمرانی در دنیای واقعی شده است. اوایل امسال، یک باگ پیکربندی به دستیار هوش مصنوعی سازمانی اجازه داد تا سیاست‌های جلوگیری از نشت داده را دور بزند و ایمیل‌های محرمانه را برای هفته‌ها خلاصه کند، که نقص حیاتی در تکیه بر یک پلتفرم واحد برای تولید هوش مصنوعی و اجرای امنیت را آشکار ساخت.[6]

این حادثه خطر برخورد با ایمنی هوش مصنوعی به عنوان یک ویژگی، به جای یک فرآیند مستمر، را برجسته کرد. هنگامی که محافظ‌های داخلی شکست خوردند، سازمان‌ها هیچ لایه تشخیص مستقلی برای شناسایی نقض نداشتند و داده‌های حساس آن‌ها تا زمانی که فروشنده وصله‌ای منتشر کند، در معرض خطر باقی ماندند.[6]

در پاسخ به این یافته‌ها، صنعت امنیت سایبری به سرعت در حال تغییر جهت است. رهبران امنیتی در حال کنار گذاشتن توهم هم‌راستایی دائمی و حرکت به سمت نظارت مستمر و رفتاری برای ایمن‌سازی استقرارهای هوش مصنوعی خود هستند.[5]

سازمان‌ها به جای تکیه صرف بر مدل برای کنترل خود، لایه‌های امنیتی مستقلی را مستقر می‌کنند که ورودی‌ها و خروجی‌های هوش مصنوعی را در زمان واقعی نظارت می‌کنند و وضعیت داخلی مدل را ذاتاً غیرقابل اعتماد در نظر می‌گیرند.[5][7]

محققان همچنین در حال توسعه دفاعیات بالادستی بهتری هستند. مطالعه دارتموث و IBM نشان داد که استفاده از داده‌های با شباهت کم در طول مرحله اولیه هم‌راستاسازی ایمنی، مدل‌های به مراتب قوی‌تری را به دست می‌دهد و نمرات مضر بودن را حتی پس از تنظیم دقیق پایین‌دستی، بیش از ۱۰٪ کاهش می‌دهد.[1]

در نهایت، کشف اینکه محافظ‌های هوش مصنوعی موقتی هستند، یک درد رشد ضروری برای صنعت است. این کشف، رضایت از امنیت ایستا را در هم می‌شکند و توسعه‌دهندگان را مجبور می‌کند تا معماری‌های لایه‌ای و انعطاف‌پذیرتری بسازند.[7]

با اذعان به شکنندگی وزن‌های مدل، بخش هوش مصنوعی در حال گذار از وعده‌های ایمنی نظری به امنیت عملیاتی و دقیق است—و تضمین می‌کند که هوش مصنوعی با تخصصی‌تر شدن، اخلاقیات خود را پشت سر نمی‌گذارد.[7]