چگونه مخروط‌های مفهومی و پاک‌سازی درون‌پارامتری، از امتناع بیش‌ازحد مدل‌های هوش مصنوعی در برابر پرامپت‌های ایمن جلوگیری می‌کنند

وقتی کاربری پرامپتی را به یک مدل زبانی بزرگ ارسال می‌کند، متن بلافاصله در یک فضای فعال‌سازی با ابعاد بالا نگاشت می‌شود. این مختصات ریاضی خاص تعیین می‌کند که آیا مدل به پرسش پاسخ می‌دهد یا یک امتناع از پیش‌آماده تولید می‌کند.

سال‌هاست که هم‌راستایی ایمنی، این فضا را به‌عنوان یک خط ساده در نظر می‌گیرد: اگر پرامپت از یک آستانه واحد عبور کرده و وارد موضوعی «خطرناک» شود، مدل متوقف می‌شود. همین رویکرد تک‌برداری است که باعث می‌شود مدل‌ها به‌طور مداوم پرسش‌های ایمن، آموزشی یا روزنامه‌نگارانه را صرفاً به دلیل داشتن کلمات کلیدی حساس رد کنند.

مقیاس این شکست بسیار گسترده است. بر اساس پژوهشی که توسط Multiverse Computing در وبلاگ Hugging Face در سپتامبر ۲۰۲۶ منتشر شد، در نظر گرفتن ایمنی به‌عنوان یک ویژگی در سطح کل موضوع، باعث می‌شود مدل‌ها تا ۷۴٫۰۰ درصد از پرامپت‌های کاملاً بی‌خطری را که تصادفاً در نزدیکی یک مرز حساس قرار دارند، رد کنند.

همان‌طور که پژوهشگران خاطرنشان می‌کنند: «مدلی که بیشتر امتناع می‌کند لزوماً ایمن‌تر نیست، و در یک مرز باریک، همان اقدامی که امتناع در برابر پرامپت‌های مخرب را افزایش می‌دهد، می‌تواند بی‌سروصدا مدل را برای پرامپت‌های مشروعی که درست در کنار آن‌ها قرار دارند، بی‌مصرف کند.» مدلی که به این شکل تنظیم شده باشد در واقع ایمن‌تر نیست؛ بلکه صرفاً یک ماشین امتناعِ بی‌دقت است.[1]

راه‌حل این مشکل در نحوه شکل‌گیری هندسه داخلی مدل در طول فرآیند هم‌راستایی نهفته است. پژوهشگران دانشگاه فنی مونیخ در اوایل سال ۲۰۲۶ نشان دادند که امتناع توسط یک جهت خطی واحد کنترل نمی‌شود، بلکه توسط «مخروط‌های مفهومی» پیچیده و چندبعدی هدایت می‌شود. با نقشه‌برداری از این مخروط‌ها، مهندسان می‌توانند مختصات دقیق یک درخواست مخرب را از مختصات مجاور یک درخواست ایمن در همان موضوع تفکیک کنند و ثابت کنند که مکانیزم‌های متمایز متعددی رفتار امتناع را پیش می‌برند.[2]

این دقت هندسی، تکنیکی به نام خودتقطیری مرزآگاه را امکان‌پذیر می‌سازد. توسعه‌دهندگان به‌جای مسدود کردن کل یک موضوع، مدل را با استفاده از «جفت‌های مرزی» آموزش می‌دهند؛ پرامپت‌هایی که از نظر بافتار مشابه اما در نیت متفاوت هستند، مانند درخواست برای توضیح یک نظریه سیاسی در برابر درخواست برای تولید پروپاگاندای فریبکارانه. با معرفی این داده‌های مرزی، مدل به‌جای تکیه بر یک فیلتر موضوعی مسطح، شکل دقیق مخروط مفهومی را یاد می‌گیرد.[1]

نتایج تجربیِ نقشه‌برداری از این مرزها بسیار چشمگیر است. با اجرای تقطیر مرزآگاه، نرخ امتناع بیش‌ازحد در پرامپت‌های بی‌خطر از ۳۲٫۹۴ درصد به تنها ۴٫۱۶ درصد کاهش می‌یابد، در حالی که نرخ امتناع در پرامپت‌های واقعاً مخرب تغییر چندانی نمی‌کند و از ۹۱٫۸۸ درصد به ۸۷٫۷۲ درصد می‌رسد. این امر ثابت می‌کند که اگر هندسه داخلی به‌درستی نقشه‌برداری شود، ایمنی و کارایی یک بازی با جمع صفر نخواهند بود.[1][5]

اما چه اتفاقی می‌افتد وقتی مدل باید یک مفهوم را به‌طور کامل فراموش کند، نه اینکه فقط از صحبت درباره آن امتناع ورزد؟ این کار به مکانیزم متفاوتی نیاز دارد: پاک‌سازی مفهومی درون‌پارامتری. در حالی که هدایت امتناع، دانش خطرناک را دست‌نخورده باقی می‌گذارد و صرفاً خروجی را مسدود می‌کند، پاک‌سازی مفهومی مستقیماً وزن‌های مدل را ویرایش می‌کند تا اطلاعات را حذف کند.[3]

چارچوبی به نام PISCES (سرکوب دقیق درون‌پارامتری برای پاک‌سازی مفهوم) که در مقاله‌ای در ماه مه ۲۰۲۵ به تفصیل شرح داده شده است، با استفاده از یک مدل تفکیک‌کننده برای تجزیه بردارها در پرسپترون‌های چندلایه مدل، به این هدف دست می‌یابد. هنگامی که ویژگی‌های خاص مرتبط با یک مفهوم هدف - مانند محتوای دارای حق نشر یا خطرات امنیت زیستی - با استفاده از تکنیک‌های تفسیرپذیری خودکار شناسایی شدند، به‌طور ریاضی و مستقیماً در درون پارامترها سرکوب می‌شوند.[3]

این ویرایش درون‌پارامتری بسیار دقیق‌تر از روش‌های قدیمی‌تری مانند فیلتر کردن مجموعه داده یا معکوس‌سازی گرادیان است. آزمایش‌ها روی مدل‌هایی مانند Llama 3.1 و Gemma 2 نشان می‌دهد که PISCES می‌تواند دقت مدل را در یک مفهوم ممنوعه هدف‌گذاری‌شده تا ۷٫۷ درصد کاهش دهد، در حالی که حفظ دانش نامرتبط - که به‌عنوان ویژگی‌مندی پاک‌سازی شناخته می‌شود - را تا ۳۱ درصد بهبود می‌بخشد. مدل واقعاً اطلاعات خطرناک را فراموش می‌کند بدون اینکه توانایی‌های عمومی آن تضعیف شود.[3]

با این حال، تأیید اینکه یک مفهوم واقعاً پاک شده است، همچنان یک چالش اساسی است. بنچمارک‌های استاتیک اغلب در شناسایی مدل‌هایی که در مواجهه با پرامپت‌های خصمانه یا ترکیبی همچنان مفاهیم هدف را نشت می‌دهند، ناکام می‌مانند. اگر مخروط مفهومی به‌طور کامل پاک نشود، نشانه‌های غیرمستقیم همچنان می‌توانند دانش ممنوعه را فعال کنند و حس امنیت کاذبی برای توسعه‌دهندگانی که این مدل‌ها را در محیط‌های عملیاتی مستقر می‌کنند، ایجاد کنند.[4]

برای حل این مشکل، پژوهشگران چارچوب‌های تست فشار خودکاری مانند STACE (عامل‌های تست فشار برای پاک‌سازی مفهوم) را توسعه داده‌اند که در ژوئیه ۲۰۲۶ معرفی شد. به‌جای تکیه بر تست‌های استاتیک، STACE چندین عامل LLM را مستقر می‌کند که به‌طور مکرر پرامپت‌های خصمانه را پیشنهاد، نقد و تأیید می‌کنند تا مرزهای مفهوم پاک‌شده را بررسی کنند. این جستجوی فرضیه پویا به‌طور سیستماتیک پوشش حالت‌های شکست را گسترش می‌دهد و آسیب‌پذیری‌هایی را که بنچمارک‌های استاتیک از دست می‌دهند، آشکار می‌سازد.[4]

گذار از فیلترهای موضوعی بی‌دقت به مخروط‌های مفهومی چندبعدی و پاک‌سازی درون‌پارامتری، نشان‌دهنده بلوغی بنیادین در ایمنی هوش مصنوعی است. توسعه‌دهندگان با هدف قرار دادن ساختارهای ریاضی دقیقی که امتناع و دانش در آن‌ها قرار دارند، بالاخره می‌توانند مدل‌هایی بسازند که کاربران را از آسیب محافظت کنند، بدون اینکه هر پرسش حساسی را به‌عنوان یک تهدید در نظر بگیرند. مرز بین ایمنی و کارایی دیگر یک حدس نیست؛ بلکه یک مختصات قابل اندازه‌گیری است.