چگونه «یادگیری‌زدایی ماشینی» هوش مصنوعی را وادار به فراموشی می‌کند

هنگامی که کاربری به ماده ۱۷ مقررات عمومی حفاظت از داده اتحادیه اروپا — یعنی «حق فراموش‌شدن» — استناد می‌کند، دستور قانونی کاملاً قاطع است: داده‌ها باید حذف شوند. برای یک مسئول تطبیق مقررات، این صرفاً یک عملیات پایگاه داده است؛ به سادگیِ حذف یک ردیف از یک صفحه گسترده. اما برای یک مهندس یادگیری ماشین که یک مدل پایه ۷۰ میلیارد پارامتری را مدیریت می‌کند، این درخواست در مرز غیرممکنِ ریاضی قرار دارد. داده‌های کاربر در یک فایل مجزا ذخیره نشده‌اند؛ بلکه در یک ماتریس عظیم از وزن‌های آماری حل شده و تأثیر آن‌ها در درک بنیادین مدل از زبان تنیده شده است.

برخورد میان این دو واقعیت، زیرشاخه‌ای جدید در هوش مصنوعی به نام «یادگیری‌زدایی ماشینی» را به وجود آورده است. پژوهشگران در تلاش‌اند تا مکانیسم‌های ریاضیاتی بسازند که بتوانند تأثیر داده‌های آموزشی خاص — خواه محتوای دارای حق نشر باشد، خواه محتوای سمی یا جزئیات شخصی و خصوصی — را با دقت جراحی استخراج کنند، بدون اینکه توسعه‌دهنده مجبور شود کل مدل را از نقطه صفر دوباره آموزش دهد.[1][3]

برای درک اینکه یک مدل چگونه فراموش می‌کند، ابتدا باید بفهمیم که چگونه یاد می‌گیرد. در طول مرحله آموزش اولیه، الگوریتم از فرآیندی به نام «نزول گرادیان» استفاده می‌کند. همان‌طور که مدل ترابایت‌ها متن را پردازش می‌کند، به طور پیوسته پارامترهای داخلی خود را تنظیم می‌کند تا تفاوت بین پیش‌بینی‌هایش و داده‌های واقعی را به حداقل برساند. طی میلیاردها تکرار، مدل روابط آماری میان کلمات، مفاهیم و حقایق را رمزگذاری می‌کند.[2]

در ادبیات بنیادین این حوزه آمده است: «همان‌طور که تجربیات اولیه در انسان‌ها به تجربیات بعدی شکل می‌دهند، برخی مفاهیم در ماشین‌ها نیز بنیادی‌تر بوده و یادگیری‌زدایی آن‌ها دشوارتر است.» از آنجا که حافظه یک شبکه عصبی توزیع‌شده است، حذف یک مفهوم واحد — مانند آدرس یک فرد خاص یا سبک نگارش یک کتاب دارای حق نشر — نیازمند باز کردن گره‌های شبکه‌ای از متغیرهای در هم تنیده است.[1]

قطعی‌ترین روش ریاضی برای حذف این داده‌ها با عنوان «یادگیری‌زدایی دقیق» شناخته می‌شود. در این رویکرد مبتنی بر نیروی قهریه، مهندسان به سادگی داده‌های مشکل‌ساز را از پیکره آموزشی حذف کرده و کل مدل را از یک لوح سفید دوباره آموزش می‌دهند. اگرچه این کار پیروی مطلق از قوانین حریم خصوصی را تضمین می‌کند، اما هزینه محاسباتی آن سرسام‌آور است. آموزش یک مدل پیشرفته مانند GPT-4 متعلق به شرکت OpenAI یا سری Granite شرکت IBM، نیازمند هزاران پردازنده گرافیکی تخصصی است که ماه‌ها به طور مداوم کار کنند و اغلب ده‌ها میلیون دلار در هر تکرار هزینه در بر دارد.[2][3]

برای دور زدن این تنگنای مالی، پژوهشگران تکنیکی مبتنی بر خرد کردن داده‌ها به نام SISA (تجمیع خردشده، ایزوله‌شده و برش‌خورده) توسعه دادند. تحت چارچوب SISA، مجموعه داده آموزشی اولیه به چندین زیرمجموعه بدون همپوشانی یا «بخش» تقسیم می‌شود و یک زیرمدل جداگانه روی هر کدام آموزش می‌بیند.[1][2]

اگر در این معماری درخواستی برای حذف داده دریافت شود، مهندسان تنها باید بخش خاصی را که حاوی داده‌های هدف بوده پیدا کرده و همان را دوباره آموزش دهند، در حالی که بقیه مدل دست‌نخورده باقی می‌ماند. به گفته پژوهشگران دانشگاه استنفورد، این مکانیسم هزینه محاسباتی آموزش مجدد سنتی را به نسبت ۱/N کاهش می‌دهد، که در آن N نشان‌دهنده تعداد کل بخش‌ها است. به عنوان مثال، اگر یک مجموعه داده عظیم به ده بخش ایزوله تقسیم شود، هزینه آموزش مجدد دقیقاً ۹۰ درصد کاهش می‌یابد و یک بار مالی غیرممکن را به یک به‌روزرسانی روتین و قابل مدیریت تبدیل می‌کند.[2]

با این حال، حتی روش SISA نیز برای نیازهای بی‌درنگ هوش مصنوعی مولد مدرن بسیار کند است و همین امر، صنعت را به سمت «یادگیری‌زدایی تقریبی» سوق می‌دهد. روش‌های تقریبی به جای آموزش مجدد، تلاش می‌کنند تا با مداخله ریاضی در وزن‌های موجود مدل، تأثیر داده‌های هدف را به صورت عطف به ماسبق پنهان یا معکوس کنند.[1][4]

رایج‌ترین تکنیک تقریبی، «صعود گرادیان» است. اگر نزول گرادیان تابع زیان را برای یادگیری یک مفهوم به حداقل می‌رساند، صعود گرادیان به طور عمدی تابع زیان را برای داده‌های خاصی که مدل باید فراموش کند، به حداکثر می‌رساند. الگوریتم یک گام ریاضی دقیقاً در جهت مخالف آموزش اولیه خود برمی‌دارد و عملاً یک فراموشی هدفمند را القا می‌کند.[4]

کاربردهای عملی این تکنیک بسیار فراتر از پیروی ساده از قوانین حریم خصوصی است. کوش وارشنی، از اعضای ارشد IBM که رهبری تلاش‌های ایمنی هوش مصنوعی این شرکت را بر عهده دارد، توضیح می‌دهد: «یادگیری‌زدایی می‌تواند راه دیگری برای حذف رفتارهای ناخواسته باشد.» با اعمال صعود گرادیان هدفمند، مهندسان می‌توانند مدل را وادار کنند تا در صورت پرسش درباره یک موضوع فراموش‌شده، نویز تصادفی یا الگوهای استاندارد امتناع از پاسخ را تولید کند و عملاً داده‌های اصلی را غیرقابل دسترس سازد. این امر به توسعه‌دهندگان اجازه می‌دهد تا زبان سمی، فرمول‌های شیمیایی خطرناک یا سوگیری‌ها را مدت‌ها پس از پایان دوره آموزش اولیه، از مدل پاک کنند.[3]

پیشرفت‌های اخیر در این زمینه، این فرآیند معکوس‌سازی ریاضی را به شدت تسریع کرده است. یک مطالعه در سال ۲۰۲۴ که در مجموعه مقالات کنفرانس NeurIPS منتشر شد، نشان داد که الگوریتم‌های مدرن یادگیری‌زدایی تقریبی می‌توانند با موفقیت یک شبکه عصبی را وادار کنند تا یک کلاس بصری خاص را تنها در ۵۰ گام محاسباتی فراموش کند. این یک جهش عظیم در کارایی در مقایسه با هزاران گام مورد نیاز در روش‌های قبلی مبتنی بر گرادیان است و ثابت می‌کند که فراموشی هدفمند می‌تواند تقریباً به صورت آنی روی مدل‌های در حال کار اجرا شود، بدون اینکه نیازی به آفلاین کردن سیستم باشد.[4]

اما این سرعت با یک عارضه جانبی شدید به نام «فروپاشی فاجعه‌بار» همراه است. از آنجا که پارامترهای یک شبکه عصبی عمیقاً در هم تنیده‌اند، معکوس کردن وزن‌ها برای فراموش کردن یک واقعیت، اغلب به توانایی مدل در یادآوری اطلاعات نامرتبط آسیب می‌رساند. مدلی که مجبور به یادگیری‌زدایی مفهوم یک شخصیت خاص دارای حق نشر می‌شود، ممکن است ناگهان تسلط خود را بر نحو عمومی زبان یا ژانرهای مرتبط از دست بدهد.[1]

علاوه بر این، اثبات اینکه یک مدل واقعاً داده‌ها را فراموش کرده است، همچنان یک چالش حل‌نشده باقی مانده است. برخلاف یک پایگاه داده سنتی که در آن حسابرس می‌تواند مفقود شدن یک رکورد را تأیید کند، پارامترهای یک مدل هوش مصنوعی مبهم و غیرشفاف هستند. حسابرسان باید به «حملات استنتاج عضویت» تکیه کنند؛ آزمایش‌های آماری که خروجی‌های مدل را بررسی می‌کنند تا مشخص کنند آیا هنوز ردپایی از اطلاعات حذف‌شده را به طور مخفیانه در خود جای داده است یا خیر.[2]

اگر مدلی متنی تولید کند که از نظر آماری با مدلی که هرگز داده‌ها را از ابتدا ندیده است غیرقابل تشخیص باشد، یادگیری‌زدایی موفقیت‌آمیز تلقی می‌شود. با این حال، هرچه مدل‌ها بزرگ‌تر می‌شوند، این آزمون‌های آماریِ دو نمونه‌ای قدرت خود را از دست می‌دهند و تفکیک یک نقض واقعی حریم خصوصی از نویز تصادفی الگوریتمی را به طور فزاینده‌ای دشوار می‌سازند.[2]

خطرات مالی و قانونی برای حل این مشکلِ راستی‌آزمایی بسیار بزرگ است و به سرعت در حال رشد است. در اواخر سال ۲۰۲۳، روزنامه نیویورک تایمز از OpenAI به دلیل نقض گسترده حق نشر شکایت کرد و خطرات قانونی شدیدی را که مدل‌های پایه‌ای را تهدید می‌کند — مدل‌هایی که ناخواسته داده‌های آموزشی خود را به خاطر می‌سپارند — برجسته ساخت. اگر دادگاه‌های فدرال شروع به صدور دستور حذف عطف به ماسبق آثار دارای حق نشر از مدل‌های موجود کنند، صنعت هوش مصنوعی به شدت به یک مکانیسم یادگیری‌زدایی قابل اعتماد و قابل حسابرسی نیاز خواهد داشت تا از آموزش مجدد در مقیاس انبوه جلوگیری کند. بدون چنین مکانیسمی، شرکت‌ها ممکن است مجبور شوند ارزشمندترین دارایی‌های خود را نابود کرده و از نو شروع کنند.[1]

در حال حاضر، مرزهای یادگیری‌زدایی ماشینی همچنان یک اقدام تعادلی بسیار ظریف میان پیروی دقیق از قوانین و ثبات بنیادین ریاضی است. نسل کنونی الگوریتم‌ها می‌تواند با موفقیت داده‌های هدف را پاک کند، اما آستانه دقیقی که در آن یک مدل یک واقعیت خاص را فراموش می‌کند بدون اینکه هوش گسترده‌تر آن از هم بپاشد، هنوز به طور فعال توسط پژوهشگران در حال نقشه‌برداری است. با بلوغ این فناوری، توانایی ویرایش انتخابی حافظه یک شبکه عصبی احتمالاً به همان اندازه توانایی آموزش اولیه آن اهمیت پیدا خواهد کرد و نحوه مدیریت و حکمرانی ما بر هوش مصنوعی را به طور بنیادین تغییر خواهد داد.