«فراموش‌سازی ماشینی»: چگونه به مدل‌های هوش مصنوعی آموزش داده می‌شود تا داده‌های دارای حق نشر و خصوصی را فراموش کنند

حافظه انسان به طور مشهوری خطا‌پذیر است، خصیصه‌ای که اغلب آن را یک نقص شناختی می‌دانیم. اما در عصر هوش مصنوعی مولد، ناتوانی در فراموش کردن به یکی از پرهزینه‌ترین و خطرناک‌ترین تعهدات قانونی این فناوری تبدیل شده است. از آنجایی که مدل‌های زبان بزرگ (LLM) تریلیون‌ها کلمه را از اینترنت عمومی مصرف می‌کنند، ناگزیر کتاب‌های دارای حق نشر، محتوای سمی و اطلاعات شخصی حساس را نیز جذب می‌کنند. هنگامی که کاربران یا ناشران، با پشتوانه مقررات گسترده‌ای مانند مقررات عمومی حفاظت از داده‌های اتحادیه اروپا (GDPR) یا دعاوی حقوقی برجسته حق نشر، خواستار حذف داده‌های خود می‌شوند، شرکت‌های فناوری با یک دیوار معماری عمیق مواجه می‌شوند. اینترنت هرگز فراموش نمی‌کند، اما قانون به طور فزاینده‌ای حکم می‌کند که باید فراموش کند، و این امر صنعت هوش مصنوعی را مجبور به مهندسی یک قابلیت کاملاً جدید کرده است.[1][4]

در یک پایگاه داده رابطه‌ای سنتی، حذف نمایه یک کاربر یا یک مقاله دارای حق نشر به سادگی حذف یک سطر در یک صفحه گسترده است. اما شبکه‌های عصبی داده‌ها را در پوشه‌های مرتب و مجزا ذخیره نمی‌کنند. در عوض، داده‌های آموزشی در طول فرآیند یادگیری در میلیاردها وزن ریاضی به هم پیوسته حل می‌شوند. یک جمله واحد از یک رمان دارای حق نشر یا یک سابقه پزشکی خصوصی در یک مکان خاص زندگی نمی‌کند؛ تأثیر آن در کل فضای پارامتر مدل توزیع شده است. به دلیل این معماری توزیع‌شده، مهندسان نمی‌توانند به سادگی یک جستجو اجرا کرده و هنگام دریافت درخواست حذف، کلید حذف را فشار دهند.[1][5]

تا همین اواخر، تنها راه تضمین‌شده برای حذف یک قطعه داده خاص از یک مدل زبان بزرگ، حذف متن مورد نظر از مجموعه داده آموزشی زیربنایی و بازآموزی کل سیستم از ابتدا بود. برای مدل‌های پیشرو مدرن، که دارای صدها میلیارد پارامتر هستند، این رویکرد مبتنی بر نیروی خام از نظر تجاری غیرقابل اجرا است. بازآموزی کامل نیازمند هزاران واحد پردازش گرافیکی تخصصی است که ماه‌ها به طور مداوم کار کنند، مقادیر زیادی برق مصرف کنند و ده‌ها میلیون دلار در هر اجرا هزینه داشته باشند. اگر یک شرکت مجبور باشد هر بار که کاربری حق فراموش شدن خود را اعمال می‌کند، مدل شاخص خود را بازآموزی کند، صنعت هوش مصنوعی مولد ورشکست خواهد شد.[1][2]

برای حل این تنگنای حیاتی، محققان یک زیرشاخه به سرعت در حال رشد به نام «فراموش‌سازی ماشینی» (Machine Unlearning) را پیشگامی کرده‌اند. این رشته به علم حذف جراحی داده‌ها اختصاص دارد. هدف نهایی فراموش‌سازی ماشینی این است که تأثیر نمونه‌های آموزشی خاص را به صورت ریاضی از یک مدل کاملاً آموزش‌دیده حذف کند، در حالی که بقیه قابلیت‌های آن کاملاً دست‌نخورده باقی بمانند. در صورت موفقیت، الگوریتم فراموش‌سازی یک مدل به‌روز شده تولید می‌کند که دقیقاً طوری رفتار می‌کند که گویی داده‌های هدف هرگز در مجموعه آموزشی اصلی گنجانده نشده بودند، و همه اینها بدون هزینه‌های مالی و زیست‌محیطی سرسام‌آور یک چرخه محاسباتی کامل انجام می‌شود.[2][6]

اولین پیشرفت‌ها در این زمینه بر روی آنچه محققان «فراموش‌سازی دقیق» (Exact Unlearning) می‌نامند، متمرکز بود که عمدتاً برای مدل‌های یادگیری ماشینی سنتی و کوچک‌تر طراحی شده بود. برجسته‌ترین چارچوب در این دسته به عنوان SISA شناخته می‌شود که مخفف Sharded, Isolated, Sliced, and Aggregated (تکه‌تکه شده، ایزوله شده، برش خورده و تجمیع شده) است. تحت چارچوب SISA، مهندسان مجموعه داده آموزشی عظیم را قبل از شروع آموزش به چندین تکه ایزوله تقسیم می‌کنند. سپس یک زیرمدل جداگانه و مستقل را بر روی هر تکه آموزش می‌دهند. هنگامی که سیستم نیاز به پیش‌بینی دارد، خروجی‌های همه زیرمدل‌ها را برای رسیدن به یک نتیجه نهایی تجمیع می‌کند.[4][5]

نبوغ چارچوب SISA در ماژولار بودن آن نهفته است. اگر کاربری درخواست حذف داده‌های شخصی خود را داشته باشد، مدیران فقط باید تکه داده خاص حاوی اطلاعات آن کاربر را پیدا کنند. آنها نقطه داده را حذف می‌کنند و سپس فقط همان زیرمدل ایزوله شده را بازآموزی می‌کنند. از آنجایی که تکه‌ها کوچک هستند، این بازآموزی محلی کسری از زمان و قدرت محاسباتی مورد نیاز برای بازسازی کل سیستم را می‌طلبد. برای مجموعه‌های داده ساختاریافته و الگوریتم‌های ساده‌تر، فراموش‌سازی دقیق یک مکانیسم تضمین‌شده ریاضی برای انطباق فراهم کرد.[4][5]

متأسفانه، معماری‌های فراموش‌سازی دقیق هنگام اعمال بر روی مدل‌های زبان بزرگ مدرن کاملاً از کار می‌افتند. مدل‌های بنیادی قابلیت‌های استدلال چشمگیر خود را از روابط عمیق و بین‌متنی که در کل مجموعه داده آموزشی تقسیم‌نشده آن‌ها یافت می‌شود، به دست می‌آورند. اگر مهندسان تلاش کنند داده‌های آموزشی را تکه‌تکه کنند، زیرمدل‌های حاصل نمی‌توانند ویژگی‌های نوظهور و درک زبان ظریفی را که هوش مصنوعی مولد را مفید می‌سازد، توسعه دهند. در نتیجه، صنعت هوش مصنوعی مجبور شده است فراموش‌سازی دقیق را برای پیشرفته‌ترین سیستم‌های خود کنار بگذارد و در عوض به یک مرز پیچیده‌تر روی آورد.[1][5]

این مرز جدید به عنوان «فراموش‌سازی تقریبی» (Approximate Unlearning) شناخته می‌شود. به جای ایزوله کردن فیزیکی داده‌ها یا بازآموزی اجزای ماژولار، تکنیک‌های فراموش‌سازی تقریبی تلاش می‌کنند فرآیند یادگیری را برای مفاهیم خاص و هدفمند در داخل شبکه عصبی کاملاً آموزش‌دیده، به صورت ریاضی معکوس کنند. محققان در مؤسسات پیشرو مانند دانشگاه استنفورد (Stanford) و آی‌بی‌ام (IBM) در حال توسعه الگوریتم‌های پیچیده‌ای هستند که می‌توانند وزن‌های پارامتری خاصی را که بیشترین تأثیر را از داده‌های ممنوعه گرفته‌اند، شناسایی کنند. پس از شناسایی، الگوریتم‌ها این وزن‌ها را به صورت جراحی تنظیم می‌کنند تا تأثیر داده‌ها را پاک کنند و عملاً باعث فراموشی موضعی شوند، بدون اینکه اکثریت قریب به اتفاق معماری مدل دست بخورد.[1][2]

یکی از امیدوارکننده‌ترین روش‌های تقریبی، تکنیکی به نام «صعود گرادیان» (Gradient Ascent) است. در طول فرآیند آموزش عادی—که به عنوان نزول گرادیان (Gradient Descent) شناخته می‌شود—یک مدل به طور مداوم وزن‌های داخلی خود را تنظیم می‌کند تا خطاها را به حداقل برساند و الگوهای موجود در داده‌های آموزشی خود را بهتر پیش‌بینی کند. صعود گرادیان این پارادایم را وارونه می‌کند. این الگوریتم فرآیند آموزش را به صورت معکوس اجرا می‌کند و عمداً وزن‌های مدل را تنظیم می‌کند تا نرخ خطای آن را به طور خاص بر روی داده‌هایی که باید فراموش کند، به حداکثر برساند. با جریمه کردن فعال مدل برای به خاطر سپردن متن ممنوعه، صعود گرادیان شبکه را مجبور می‌کند تا آن اتصالات خاص را بازنویسی کند.[3][4]

یک رویکرد پیشرفته دیگر که در محافل دانشگاهی در حال جلب توجه است، «انحراف بازنمایی» (Representation Misdirection) نام دارد. هنگامی که یک مدل زبان بزرگ، یک فرمان (prompt) مرتبط با یک مفهوم خاص را که آموخته است، پردازش می‌کند، یک مسیر متمایز از نورون‌ها با الگویی قابل تشخیص روشن می‌شود. انحراف بازنمایی عمداً این مسیرها را به هم می‌ریزد. اگر کاربری مدل را با سؤالی در مورد یک کتاب دارای حق نشر که قرار بوده فراموش کند، تحریک کند، الگوریتم نورون‌های مرتبط را مجبور می‌کند به طور تصادفی شلیک کنند. این امر مانع از آن می‌شود که مدل بازنمایی داخلی منسجمی را که برای تولید متن دارای حق نشر لازم است، جمع‌آوری کند.[1][3]

در حالی که این مداخلات ریاضی مبتکرانه هستند، بزرگترین مانع در این زمینه را معرفی می‌کنند: مشکل «فراموشی در مقابل آسیب مغزی». محققان به طور رسمی از این پدیده به عنوان «فراموشی فاجعه‌بار» (Catastrophic Forgetting) یاد می‌کنند. از آنجایی که مفاهیم در یک شبکه عصبی عمیقاً در هم تنیده شده‌اند، حذف جراحی یک قطعه دانش اغلب به طور ناخواسته عملکرد مدل را در وظایف کاملاً نامرتبط کاهش می‌دهد. چالش فقط این نیست که مدل را وادار به فراموشی کنیم؛ بلکه اطمینان از این است که فرآیند فراموش‌سازی به اندازه‌ای دقیق باشد که دارایی چند میلیون دلاری را در این فرآیند از بین نبرد.[2][6]

یک آزمایش معروف شامل مجموعه هری پاتر (Harry Potter) به خوبی طناب‌بازی فراموشی فاجعه‌بار را نشان می‌دهد. محققان با موفقیت الگوریتم‌های فراموش‌سازی تقریبی را بر روی یک مدل زبان متن‌باز اعمال کردند و آن را مجبور کردند محتویات کتاب‌های جی. کی. رولینگ (J.K. Rowling) را فراموش کند. مدل با موفقیت تولید نقل قول‌های کلمه‌به‌کلمه و خلاصه‌های شخصیت‌ها را متوقف کرد. با این حال، محققان مجبور بودند الگوریتم را با دقت کالیبره کنند تا مطمئن شوند که مدل توانایی کلی خود را برای نوشتن روایت‌های فانتزی از دست ندهد، یا مفهوم فرهنگی گسترده‌تر اینکه «جادوگر» چیست را فراموش نکند.[3][4]

حتی زمانی که توسعه‌دهندگان با موفقیت خطرات فراموشی فاجعه‌بار را مدیریت می‌کنند، یک سؤال حیاتی باقی می‌ماند: چگونه می‌توانند به طور قطعی به یک تنظیم‌کننده یا قاضی ثابت کنند که مدل واقعاً داده‌ها را فراموش کرده است؟ برخلاف فراموش‌سازی دقیق، فراموش‌سازی تقریبی یک تضمین ریاضی کامل و بی‌نقص ارائه نمی‌دهد. داده‌ها به صورت فیزیکی از بین نرفته‌اند؛ تأثیر آن‌ها فقط به صورت آماری خنثی شده است. برای پر کردن این شکاف اعتماد، صنعت مجموعه‌ای از روش‌های آزمایشی خصمانه را توسعه داده است که مجموعاً به عنوان «تأیید فراموش‌سازی» (Unlearning Verification) شناخته می‌شوند. این تکنیک‌ها با مدل هوش مصنوعی اصلاح‌شده مانند یک شاهد متخاصم رفتار می‌کنند که باید به شدت مورد بازجویی قرار گیرد تا اطمینان حاصل شود که صرفاً دانش ممنوعه را پنهان نمی‌کند.[1][6]

استاندارد طلایی برای تأیید، «حمله استنتاج عضویت» (Membership Inference Attack) است. در این آزمون امنیتی، محققان مدل فراموش‌شده را با فرمان‌های بسیار خاص و هوشمندانه مهندسی‌شده بمباران می‌کنند که برای فریب دادن آن به بازگویی داده‌های حذف‌شده طراحی شده‌اند. آنها به دنبال ناهنجاری‌های آماری ظریف در نحوه پیش‌بینی کلمه بعدی توسط مدل هستند. اگر پاسخ‌های مدل به این فرمان‌های خصمانه از نظر آماری با یک مدل پایه که واقعاً هرگز داده‌ها را ندیده است، غیرقابل تشخیص باشد، فرآیند فراموش‌سازی موفق و در برابر استخراج مقاوم تلقی می‌شود.[1][2]

با وجود این پیشرفت‌های فنی سریع، یک منطقه خاکستری قانونی و نظارتی قابل توجه همچنان بر حوزه فراموش‌سازی ماشینی سایه افکنده است. دادگاه‌ها و نهادهای نظارتی بین‌المللی هنوز مشخص نکرده‌اند که آیا فراموش‌سازی تقریبی به طور قانونی الزامات قانونی حذف داده‌ها را برآورده می‌کند یا خیر. هنگامی که GDPR اتحادیه اروپا حکم می‌کند که داده‌های شخصی یک شهروند باید «پاک شوند»، هنوز مشخص نیست که آیا به هم ریختن مسیرهای عصبی برای جلوگیری از بازیابی داده‌ها، تعریف قانونی دقیق پاک‌سازی را برآورده می‌کند یا خیر. کارشناسان حقوقی هشدار می‌دهند که تا زمانی که پرونده‌های آزمایشی مسیر خود را در دادگاه‌ها طی نکنند، شرکت‌ها با تکیه بر فراموش‌سازی تقریبی در معرض خطر هستند، زیرا مطمئن نیستند که آیا تنظیم‌کننده‌ها در نهایت راهکار مخرب اقتصادی بازآموزی کامل مدل را درخواست خواهند کرد.[4][6]

اگر سیستم حقوقی در نهایت این تضمین‌های ریاضی را بپذیرد، فراموش‌سازی ماشینی اساساً اقتصاد و معماری صنعت هوش مصنوعی را تغییر خواهد داد. این امر نویدبخش تبدیل مدل‌های بنیادی ایستا و یکپارچه به سیستم‌های پویا و سازگار است. شرکت‌ها قادر خواهند بود به سرعت با درخواست‌های حفظ حریم خصوصی مطابقت کنند، اختلافات حق نشر را حل و فصل کنند و به طور مداوم اطلاعات قدیمی یا سمی را بدون سوزاندن میلیون‌ها دلار قدرت محاسباتی، پاکسازی کنند. در تلاش برای ساخت هوش عمومی مصنوعی (AGI)، آموزش نحوه یادگیری به ماشین‌ها تنها قدم اول بود؛ آموزش نحوه فراموش کردن به آنها ممکن است کلید بقای آنها باشد.[2][6]