چگونه روش علامت گرادیان سریع با به حداکثر رساندن گرادیان زیان، نمونه‌های متخاصم تولید می‌کند

برای یک بازبین انسانی که در حال بررسی یک مجموعه داده تصویری است، عکس یک پاندا که لایه ضعیفی از نویز روی آن اعمال شده، همچنان بدون شک یک پاندا است. اما برای یک شبکه عصبی پیچشی که دقیقاً همان فایل را تحلیل می‌کند، آن پیکسل‌های نویزدارِ خاص، اثبات ریاضیاتی محکمی ارائه می‌دهند که تصویر متعلق به یک گیبون است. سیستم بینایی انسان برای رسیدن به نتیجه‌گیری، اشکال و بافت‌ها را در سطح کلان پردازش می‌کند، در حالی که مدل یادگیری ماشین یک مرز با ابعاد بالا را محاسبه می‌کند که در آن ارزش عددی هر پیکسل، دسته‌بندی نهایی را به سمت مشخصی سوق می‌دهد.[1][7]

این اختلاف در ادراک، پایه و اساس یادگیری ماشین متخاصم را شکل می‌دهد؛ حوزه‌ای که بررسی می‌کند چگونه می‌توان سیستم‌های هوش مصنوعی را به طور عمدی فریب داد. در مرکز این رشته، «روش علامت گرادیان سریع» یا FGSM قرار دارد؛ تکنیکی که در سال ۲۰۱۴ توسط پژوهشگرانی از جمله ایان گودفلو معرفی شد. این روش نشان داد که شبکه‌های عصبی، با وجود معماری‌های پیچیده‌شان، اغلب هنگام پردازش داده‌های با ابعاد بالا به شکلی کاملاً خطی رفتار می‌کنند.[1][7]

این سازوکار بر همان فرآیند ریاضیاتی دقیقی تکیه دارد که شبکه‌های عصبی برای یادگیری استفاده می‌کنند، اما آن را به صورت معکوس اجرا می‌کند. در طول آموزش استاندارد، یک مدل از فرآیندی به نام «کاهش گرادیان» استفاده می‌کند. مدل یک تابع زیان را محاسبه می‌کند—معیاری که نشان می‌دهد پیش‌بینی آن چقدر با پاسخ صحیح فاصله دارد—و سپس وزن‌های ممیز شناور ۳۲ بیتی داخلی خود را برای به حداقل رساندن آن زیان تنظیم می‌کند. مدل می‌پرسد که برای نزدیک‌تر شدن به حقیقت، باید پارامترهای داخلی خود را در چه جهتی حرکت دهد.[5][8]

روش FGSM آن گرادیان زیان را می‌گیرد و به جای وزن‌های مدل، آن را علیه داده‌های ورودی به سلاح تبدیل می‌کند. الگوریتم به جای اینکه بپرسد چگونه مدل را برای به حداقل رساندن خطا تغییر دهد، می‌پرسد چگونه تصویر ورودی را تغییر دهد تا خطا به حداکثر برسد. مهاجم با محاسبه گرادیان تابع زیان نسبت به پیکسل‌های ورودی، دقیقاً کشف می‌کند که کدام تغییرات بصری بیشترین سردرگمی ریاضیاتی را برای مدل ایجاد خواهند کرد.[1][5]

مقاله اصلی منتشر شده در سال ۲۰۱۴ در آرکایو توضیح می‌دهد: «طراحی یک نمونه متخاصم، صرفاً فرآیند به حداکثر رساندن زیان است.» پژوهشگران دریافتند از آنجا که تصاویر استاندارد ۸ بیتی تنها اجازه ۲۵۶ مقدار متمایز در هر کانال رنگی را می‌دهند، دقت ویژگی‌های ورودی فردی به شدت محدود است. یک اختلال کوچک که در ابعاد بسیاری اعمال شود، می‌تواند روی هم جمع شده و به یک تغییر عظیم در فعال‌سازی نهایی مدل تبدیل شود.[1]

ریاضیات این حمله به طرز شگفت‌آوری ساده است و تنها بر یک معادله تکیه دارد: تصویر اصلی به علاوه یک مقدار اپسیلون ضرب در علامت گرادیان زیان. اپسیلون نشان‌دهنده شدت حمله است و به عنوان یک ضریب سخت‌گیرانه عمل می‌کند که تعیین می‌کند پیکسل‌ها در سراسر ماتریس تصویر با چه شدتی تغییر کنند.[4][8]

در پیاده‌سازی‌های عملی، مانند مواردی که توسط پای‌ایمیج‌سرچ در سال ۲۰۲۱ به تفصیل شرح داده شد، این مقدار اپسیلون معمولاً بین ۰٫۰۱ تا ۰٫۳ متغیر است. اپسیلون ۰٫۰۱ مقادیر پیکسل‌ها را در مقیاس ۰ تا ۲۵۵ کمتر از ۳ واحد تغییر می‌دهد و اختلالی ایجاد می‌کند که برای چشم انسان کاملاً نامرئی است، اما ممکن است تنها اندکی از اطمینان مدل بکاهد. در مقابل، اپسیلون ۰٫۳ یک خطای دسته‌بندی را تضمین می‌کند، اما نویز بصری آشکاری را به همراه دارد که یک ناظر انسانی بلافاصله آن را به عنوان موردی مشکوک علامت‌گذاری می‌کند.[4]

استفاده از تابع علامت—یعنی استخراج تنها جهت گرادیان (مثبت یا منفی) به جای اندازه آن—همان چیزی است که این روش را «سریع» می‌کند. همان‌طور که در انجمن‌های محاسباتی مانند کراس ولیدیتد بحث شده است، محاسبه تغییر بهینه و دقیق برای هر پیکسل به قدرت پردازشی عظیمی نیاز دارد. با در نظر گرفتن تنها علامت، الگوریتم حداکثر تغییر مجاز را به طور همزمان روی تمام پیکسل‌ها اعمال کرده و حمله را در یک گام محاسباتی واحد تولید می‌کند.[6]

این سرعت، نحوه ارزیابی هوش مصنوعی توسط پژوهشگران امنیتی را به طور بنیادین تغییر داد. پیش از سال ۲۰۱۴، تولید نمونه‌های متخاصم نیازمند فرآیندهای بهینه‌سازی پیچیده و تکرارشونده‌ای بود که از نظر محاسباتی پرهزینه بودند. روش FGSM ثابت کرد که آسیب‌پذیری‌ها می‌توانند در زمان واقعی مورد سوءاستفاده قرار گیرند و با سرعتی که خود مدل‌ها داده‌های ورودی را پردازش می‌کنند، برابری کنند.[1][7]

این آسیب‌پذیری ریشه در ماهیت خطی مدل‌ها دارد. در حالی که شبکه‌های عصبی عمیق اغلب به عنوان سیستم‌های به شدت غیرخطی توصیف می‌شوند، اجزای منفرد آن‌ها—به ویژه توابع فعال‌سازی مانند ری‌لو—به گونه‌ای طراحی شده‌اند که به صورت خطی عمل کنند تا آموزش از نظر ریاضیاتی امکان‌پذیر باشد. این خطی بودن به این معناست که یک تغییر کوچک در ورودی، وقتی در وزن‌های شبکه در ده‌ها لایه ضرب می‌شود، به صورت خطی مقیاس می‌یابد تا زمانی که بر دسته‌بندی صحیح غلبه کند.[1][5]

سازمان‌های امنیتی مانند پرکتیکال دوسک‌اپس، روش FGSM را در دسته حملات جعبه‌سفید طبقه‌بندی می‌کنند؛ به این معنی که مهاجم برای محاسبه گرادیان‌های لازم، باید دسترسی کاملی به معماری و وزن‌های مدل هدف داشته باشد. بدون دانستن اینکه مدل دقیقاً چگونه داده‌ها را پردازش می‌کند، مهاجم نمی‌تواند گرادیان زیان مورد نیاز برای تولید اختلال دقیق را محاسبه کند.[2]

با این حال، اصل بنیادین FGSM آسیب‌پذیری ثانویه‌ای را آشکار کرد که به عنوان «انتقال‌پذیری» شناخته می‌شود. پژوهشگران دریافتند که یک نمونه متخاصم که با استفاده از FGSM روی یک مدل تولید شده است، اغلب مدل کاملاً متفاوتی را که روی همان مجموعه داده آموزش دیده است، فریب می‌دهد. آسیب‌پذیری‌های خطی اغلب در معماری‌های مختلف مشترک هستند؛ به این معنی که یک مهاجم می‌تواند یک مدل جایگزین را آموزش دهد، یک حمله FGSM علیه آن تولید کند و سپس آن حمله را علیه یک هدف جعبه‌سیاه مستقر کند.[1][8]

دفاع در برابر این حملات مبتنی بر گرادیان دشوار بوده است. رایج‌ترین سازوکار دفاعی، یعنی «آموزش متخاصم»، شامل تولید بیش از ۱۰,۰۰۰ نمونه FGSM و آموزش صریح مدل برای دسته‌بندی صحیح آن‌هاست. مستندات مت‌ورکس این فرآیند را تشریح می‌کند و نشان می‌دهد که چگونه مهندسان می‌توانند با وادار کردن مدل به یادگیری تفاوت بین نویز طبیعی و اختلالات محاسبه‌شده، سیستم‌های دسته‌بندی تصویر را مقاوم‌تر کنند.[3]

با این وجود، آموزش متخاصم مانند یک مسابقه تسلیحاتی مداوم عمل می‌کند. مدلی که برای مقاومت در برابر حمله FGSM با اپسیلون ۰٫۱ آموزش دیده است، ممکن است همچنان در برابر حمله‌ای با اپسیلون ۰٫۱۵، یا در برابر یک حمله تکرارشونده پیچیده‌تر مانند «کاهش گرادیان تصویرشده» شکست بخورد. این دفاع نیازمند پیش‌بینی پارامترهای ریاضیاتی دقیقی است که مهاجم استفاده خواهد کرد.[3][5]

تداوم این آسیب‌پذیری‌ها، شکافی بنیادین در توسعه هوش مصنوعی را برجسته می‌کند. مدل‌ها معنای مفهومی یک پاندا را یاد نمی‌گیرند؛ آن‌ها توزیع آماری مقادیر پیکسل‌هایی را یاد می‌گیرند که با برچسب «پاندا» همبستگی دارند. وقتی FGSM آن توزیع را در امتداد یک بردار محاسبه‌شده جابه‌جا می‌کند، مدل هیچ پایه معنایی برای تکیه کردن ندارد.[7][9]

درک FGSM همچنان یک خط پایه الزامی برای پژوهش‌های مدرن در زمینه ایمنی هوش مصنوعی است. مهندسان با جداسازی سازوکار دقیقی که باعث شکست یک شبکه عصبی می‌شود، می‌توانند مرزهای ادراک ماشین را ترسیم کنند. این روش یک اثبات ریاضیاتی ارائه می‌دهد که دقت بالا در یک مجموعه داده آزمایشی، معادل درک قوی و پایدار از داده‌های زیربنایی نیست.[2][9]