حمله ترزین‌زدایی چیست و مدل‌های زبانی چگونه در برابر دور زدن ایمنی محافظت می‌شوند؟

زمانی که شرکت آنتروپیک (Anthropic) مدل‌های بدون گاردریل خود را در برابر پرامپت‌های خصمانه آزمایش کرد، سدهای ایمنی در ۸۶ درصد مواقع شکسته شدند. این رقم نشان‌دهنده مقیاس چالشی است که امروزه به عنوان «ترزین‌زدایی» (Jailbreak) یا دور زدن ایمنی مدل‌های زبانی بزرگ شناخته می‌شود.[2]

در معماری این مدل‌ها، هیچ مرز ساختاری مشخصی بین دستورات کاربر و داده‌های پردازشی وجود ندارد. این درهم‌تنیدگی به این معناست که یک مدل زبانی، هر متنی را که دریافت می‌کند، صرفاً به عنوان ادامه منطقی یک الگو می‌بیند و تلاش می‌کند آن را تکمیل کند.

مهاجمان از همین ویژگی استفاده می‌کنند تا با پنهان کردن دستورات مخرب در میان کلمات عادی، مدل را فریب دهند. این تکنیک که «تزریق پرامپت» (Prompt Injection) نام دارد، اکنون به عنوان خطرناک‌ترین آسیب‌پذیری هوش مصنوعی در فهرست سال ۲۰۲۵ بنیاد OWASP در رتبه نخست قرار گرفته است.

مکانیسم تزریق مستقیم و غیرمستقیم

تزریق پرامپت به دو شکل اصلی رخ می‌دهد. در تزریق مستقیم، کاربر مستقیماً دستوری را تایپ می‌کند که قوانین ایمنی مدل را دور می‌زند؛ مثلاً از هوش مصنوعی می‌خواهد در قالب یک شخصیت داستانی، دستورالعمل ساخت مواد خطرناک را ارائه دهد.

اما خطرناک‌ترین نوع، تزریق غیرمستقیم (Indirect Prompt Injection) است. در این روش، دستور مخرب در محتوای شخص ثالث — مانند یک وب‌سایت، ایمیل یا سند متنی — پنهان می‌شود و منتظر می‌ماند تا هوش مصنوعی آن را پردازش کند.

زمانی که کاربر از هوش مصنوعی می‌خواهد آن سند را خلاصه کند، مدل زبانی دستور پنهان را دریافت کرده و آن را اجرا می‌کند. این روش می‌تواند باعث شود هوش مصنوعی اطلاعات حساس کاربر را سرقت کرده و به سرور مهاجم ارسال کند.[1]

تکامل حملات؛ از کرم‌های خودتکثیرشونده تا منطق

با تبدیل شدن چت‌بات‌ها به «عامل‌های هوش مصنوعی» که به ابزارهایی مانند ایمیل و مرورگر دسترسی دارند، شعاع تخریب حملات گسترش یافته است. در سپتامبر ۲۰۲۶، شرکت OpenAI شواهدی از یک نوع جدید تزریق پرامپت منتشر کرد که مانند یک «کرم کامپیوتری» عمل می‌کند.

این پرامپت‌های خودتکثیرشونده، پس از آلوده کردن یک عامل هوش مصنوعی، به آن دستور می‌دهند که همان کد مخرب را در ایمیل‌ها یا پیام‌های بعدی خود کپی کند. به این ترتیب، حمله می‌تواند به سرعت در میان سیستم‌های متصل به هم پخش شود.

همزمان، پژوهشگران دانشگاهی در آوریل ۲۰۲۶ روشی به نام LogiBreak را معرفی کردند. این روش نشان داد که فیلترهای ایمنی فعلی بیشتر بر اساس کلمات کلیدی کار می‌کنند. مهاجمان با ترجمه درخواست‌های مخرب به عبارات منطقی، توانستند گاردریل‌های ایمنی را به طور کامل دور بزنند.

دفاع از طریق طبقه‌بندهای قانون‌اساسی‌محور

برای مقابله با این تهدیدات، سازندگان مدل‌های پایه به راهکارهای چندلایه‌ای روی آورده‌اند. یکی از موثرترین روش‌ها، استفاده از «طبقه‌بندهای قانون‌اساسی‌محور» (Constitutional Classifiers) است که توسط آنتروپیک در اوایل سال ۲۰۲۶ به‌روزرسانی شد.[2]

این سیستم‌ها، مدل‌های کوچکتری هستند که ورودی‌ها و خروجی‌های مدل اصلی را بر اساس یک مجموعه قوانین نوشته‌شده به زبان طبیعی نظارت می‌کنند. این طبقه‌بندها توانستند نرخ موفقیت حملات ترزین‌زدایی را از ۸۶ درصد به ۴.۴ درصد کاهش دهند.[2]

با این حال، این لایه امنیتی اضافی هزینه محاسباتی را تا ۲۳.۷ درصد افزایش می‌دهد. همچنین گاهی باعث می‌شود مدل به اشتباه از پاسخ دادن به سوالات کاملاً بی‌خطر نیز خودداری کند که به آن امتناع بیش‌ازحد (Over-refusal) می‌گویند.[2]

حالت قرنطینه و محدودسازی دسترسی‌ها

از آنجا که هیچ مدل زبانی در برابر تزریق پرامپت کاملاً نفوذناپذیر نیست، دفاع نهایی در سطح سیستم اعمال می‌شود. در فوریه ۲۰۲۶، OpenAI قابلیتی به نام «حالت قرنطینه» (Lockdown Mode) را برای کاربران سازمانی و شخصی با ریسک بالا معرفی کرد.[1]

این رویکرد به جای تلاش برای هوشمندتر کردن مدل در تشخیص فریب، دسترسی‌های فیزیکی آن را قطع می‌کند. هنگامی که حالت قرنطینه فعال می‌شود، قابلیت‌هایی مانند دسترسی زنده به وب و اتصال به ابزارهای خارجی غیرفعال می‌شوند.[1]

در این حالت، حتی اگر یک پرامپت مخرب موفق به فریب مدل شود، هوش مصنوعی ابزاری برای استخراج داده‌ها نخواهد داشت. این نشان می‌دهد که در دنیای هوش مصنوعی عامل‌محور، امنیت قطعی تنها با محدود کردن عاملیت به دست می‌آید.[1]