فراموشی ماشینی: چگونه مدل‌های هوش مصنوعی یاد می‌گیرند فراموش کنند

دفعه بعد که نام یا چهره‌ای را فراموش کردید، لحظه‌ای خطاپذیری حافظه انسان را تحسین کنید. فراموشی گزینشی چیزی است که مغز انسان به‌طور طبیعی انجام می‌دهد، اما بازسازی همین فرآیند در هوش مصنوعی فوق‌العاده پیچیده است. هنگامی که یک مدل یادگیری ماشین قطعه‌ای از داده را به خاطر می‌سپارد، پاک کردن ردپای آن به یک چالش ریاضیاتی سهمگین تبدیل می‌شود.[12]

سال‌ها شیوه استاندارد برای حذف اطلاعات ناخواسته از یک سیستم هوش مصنوعی، اتکا به روش بازآموزی کامل بود. اگر مدلی به داده‌های هویتی حساس یا متون تحت کپی‌رایت آلوده می‌شد، مهندسان ناچار بودند فایل‌های متخلف را از مجموعه داده‌های آموزشی پاک کنند و کل سیستم را از نقطه صفر بازآموزی نمایند؛ فرآیندی که در دوران کوچک بودن مدل‌ها و دوره‌های آموزشی چندساعته کاملاً معقول بود.[1]

امروز اما ساختار بازی دگرگون شده است. مدل‌های زبانی بزرگ مدرن بر پایه‌ ترابایت‌ها داده خام در مقیاس وب و با ده‌ها میلیارد پارامتر وزنی آموزش می‌بینند. بازآموزی یک مدل بنیادین از ابتدا می‌تواند ده‌ها میلیون دلار هزینه مالی و ماه‌ها پردازش پیوسته بطلبد. با تشدید فشارهای حقوقی و اخلاقی، صنعت هوش مصنوعی نیازمند جایگزینی دقیق‌تر، چیزی شبیه به یک جراحی ریاضیاتی است.[3]

این جایگزین، حوزه‌ای با رشد پرشتاب به نام «فراموشی ماشینی» (Machine Unlearning) است. تمرکز این شاخه بر حذف هدفمند اثر نقاط داده آموزشی خاص از یک مدل آموزش‌دیده، بدون آسیب زدن به کارایی کلی آن و بی‌نیاز از بازسازی کامل است؛ معادل الگوریتمی خارج کردن یک قطره جوهر از آب استخر.[7]

تسلط بر این فناوری برای هوش مصنوعی مولد اهمیتی حیاتی و وجودی دارد. نهادهای ناظر بیش از پیش شرکت‌های فناوری را به رعایت قوانین حریم خصوصی ملزم می‌کنند و ناشران نیز بابت نقض کپی‌رایت شکایت‌های گسترده‌ای به راه انداخته‌اند. اگر توسعه‌دهندگان نتوانند اثبات کنند که مدل‌هایشان توانایی فراموشی داده‌های معین را دارند، دادگاه‌ها و نهادهای تنظیم‌گر قدرت صدور حکم برای نابودی کامل آن مدل‌ها را در اختیار دارند.[5]

برخورد «حق فراموش شدن» با مدل‌های چندمیلیارد پارامتری

ریشه حقوقی این جریان به سال ۲۰۱۴ بازمی‌گردد؛ زمانی که اتحادیه اروپا «مقررات عمومی حفاظت از داده‌ها» (GDPR) را معرفی کرد. ماده ۱۷ این قانون، «حق فراموش شدن» را تثبیت کرد و به شهروندان حق داد حذف داده‌های شخصی خود را از سرورهای شرکتی مطالبه کنند.[11]

در آن مقطع، قانون‌گذاران حذف داده را عملیاتی ساده در پایگاه داده می‌پنداشتند؛ یافتن یک سطر در جدول و فشردن کلید حذف. آن‌ها ظهور شبکه‌های عصبی چندمیلیارد پارامتری را پیش‌بینی نکرده بودند که داده‌ها را در قالب وزن‌های انتزاعی ریاضیاتی درونی‌سازی می‌کنند. پاک کردن فایل اصلی، به هیچ وجه دانشی را که پیش‌تر در بافت مدل تثبیت شده پاک نمی‌کند.[8]

اصطکاک میان قوانین ایستای حریم خصوصی و مدل‌های پویای هوش مصنوعی به موجی از دعاوی حقوقی دامن زده است. پرونده‌های برجسته کپی‌رایت، نظیر شکایت سال ۲۰۲۳ نیویورک تایمز علیه اوپن‌ای‌آی، حول این محور شکل گرفته‌اند که آیا مدل‌های مولد به‌صورت غیرقانونی در حال حفظ و بازتولید مالکیت فکری محافظت‌شده هستند یا خیر.[8]

هنگامی که شرکت‌ها در مدیریت صحیح این داده‌ها ناکام می‌مانند، نهادهای رگولاتوری به‌طور فزاینده به مجازات سنگینی روی می‌آورند که «استرداد الگوریتمی» (Machine Disgorgement) نام دارد. کمیسیون تجارت فدرال آمریکا (FTC) بارها شرکت‌ها را ملزم کرده الگوریتم‌هایی را که بر پایه داده‌های نامشروع آموزش دیده‌اند به‌طور کامل نابود کنند؛ اقدامی که عملاً میلیون‌ها دلار هزینه تحقیق و توسعه را در کسری از ثانیه بر باد می‌دهد.[5]

برای فرار از استرداد الگوریتمی، شرکت‌ها باید ثابت کنند که می‌توانند داده‌های متخلف را با دقت موضعی حذف کنند. با این حال، بازآموزی یک مدل زبانی حجیم با هر درخواست حذف کاربر، از منظر اقتصادی و زیست‌محیطی ناممکن است. مصرف انرژی سرسام‌آور و بار مالی آموزش‌های پیاپی می‌تواند حتی بزرگ‌ترین غول‌های فناوری را نیز زمین‌گیر کند.[2]

در نتیجه، فراموشی ماشینی از یک کنجکاوی دانشگاهی به یک ابزار انطباق حقوقی حیاتی بدل شده است. «انجمن بین‌المللی متخصصان حریم خصوصی» (IAPP) خاطرنشان می‌کند که همگام‌سازی حقوق فردی با سیستم‌های مولد، مستلزم سازوکارهای فراموشی پایدار و قابل راستی‌آزمایی در مقیاس صنعتی است.[8]

مکانیسم واقعی فراموشی ماشینی

مؤسسه ملی استاندارد و فناوری آمریکا (NIST) فراموشی ماشینی را این‌گونه تعریف می‌کند: «تکنیکی که شامل حذف گزینشی اثر نقاط داده آموزشی خاص از یک مدل یادگیری ماشین آموزش‌دیده است». دستیابی به این مقصود نیازمند مداخلات پیچیده ریاضی است که عموماً ذیل دو سازوکار کلی طبقه‌بندی می‌شوند: فراموشی دقیق (Exact) و فراموشی تقریبی (Approximate).[7]

روش‌های فراموشی دقیق تضمین می‌کنند که مدل نهایی از نظر آماری با مدلی که از ابتدا روی مجموعه داده فاقد موارد حذفی آموزش دیده، کاملاً یکسان و غیرقابل‌تمایز باشد. این رویکرد انطباق حقوقی قطعی را به همراه دارد، اما بار محاسباتی سنگینی به همراه می‌آورد. چهارچوب بنیادین و شاخص برای فراموشی دقیق با نام SISA شناخته می‌شود.[11]

رویکرد SISA که در سال ۲۰۲۱ از سوی پژوهشگران معرفی شد، سرواژه چهار مفهوم تکه‌تکه‌شده (Sharded)، ایزوله‌شده (Isolated)، برش‌خورده (Sliced) و تجمیع‌شده (Aggregated) است. این استراتژی نحوه آموزش اولیه مدل‌ها را تغییر می‌دهد تا درخواست‌های فراموشی در آینده بسیار کم‌هزینه‌تر پردازش شوند. سازوکار با تقسیم مجموعه داده‌های حجیم به چندین زیرمجموعه مجزا موسوم به شارد (Shard) آغاز می‌شود.[11]

هر شارد برای آموزش یک زیرمدل کاملاً مستقل و در انزوا به کار می‌رود. از آنجا که زیرمدل‌ها حین آموزش هیچ تعاملی با یکدیگر ندارند، داده موجود در یک شارد هیچ اثری بر مدل‌های آموزش‌دیده در سایر شاردها نمی‌گذارد؛ این ایزوله‌سازی دقیق، شالوده اصلی بهره‌وری روش مذکور است.[11]

علاوه بر این، داده‌های هر شارد به برش‌هایی کوچک‌تر تقسیم می‌شوند. فرآیند آموزش پیش از ورود هر برش جدید، یک نسخه پشتیبان از پارامترهای مدل ذخیره می‌کند. زمانی که درخواست حذفی ثبت می‌شود، سیستم تنها کافی است شارد و برش حاوی آن داده مشخص را بیابد.[6]

سپس مهندسان می‌توانند آن زیرمدل را به نقطه ذخیره‌شده پیش از دریافت داده ناخواسته بازگردانند و فرآیند آموزش را صرفاً روی برش‌های باقی‌مانده تکرار کنند. اگر داده‌ها به ۱۰ شارد تقسیم شده باشند، بازآموزی یک زیرمدل تنها حدود یک‌دهم هزینه بازآموزی یک مدل یکپارچه را خواهد داشت.[6]

در زمان استنتاج، پیش‌بینی‌های حاصل از تمام این زیرمدل‌ها ترکیب می‌شوند تا خروجی نهایی حاصل آید. اگرچه SISA تضمین‌های ریاضیاتی قاطعی برای فراموشی ارائه می‌دهد، نگهداری چندین زیرمدل به حافظه ذخیره‌سازی و پردازشی بسیار بیشتری نیاز دارد و پیاده‌سازی آن روی عظیم‌ترین مدل‌های بنیادین را دشوار می‌سازد.[6]

برای سیستم‌های غول‌پیکر، پژوهشگران اغلب به فراموشی تقریبی تکیه می‌کنند. در این حالت، به‌جای بازآموزی بخشی از مدل، روش‌های تقریبی از محاسبات پیشرفته‌ای چون «توابع نفوذ» (Influence Functions) بهره می‌گیرند تا برآورد کنند یک نقطه داده خاص حین آموزش چقدر پارامترهای مدل را جابه‌جا کرده است.[10]

به محض محاسبه سهم ریاضیاتی داده ناخواسته، الگوریتم مقدار مذکور را مستقیماً از وزن‌های شبکه تفریق می‌کند. این اقدام فرآیند یادگیری را در کسری از زمان خنثی می‌سازد، اما حاشیه‌ای از خطا را نیز وارد سیستم می‌کند؛ اثبات اینکه همه ردپاهای داده کاملاً ریشه‌کن شده‌اند در این شیوه بی‌نهایت دشوار است.[10]

مسئله اساسی در فراموشی تقریبی این است که دانش در شبکه عصبی در بسته‌های مجزا و دسته‌بندی‌شده ذخیره نمی‌شود. یک مدل زبانی بزرگ، گراف دانشی پیوسته و متراکمی می‌سازد که در آن مفاهیم، حقایق و الگوهای زبانی به‌شکلی عمیق در یکدیگر تنیده شده‌اند.[3]

حذف یک داده مجزا می‌تواند موجی از پیامدهای پیش‌بینی‌نشده را در سراسر شبکه ایجاد کند. اگر الگوریتمی با شدت عمل یک واقعیت را پاک کند، مدل ممکن است به «فراموشی فاجعه‌بار» (Catastrophic Forgetting) دچار شود؛ پدیده‌ای که در آن مدل اطلاعات مرتبط را به ناگاه از دست می‌دهد یا ظرفیت استدلال عمومی‌اش به‌شدت افت می‌کند.[4]

چالش فراموشی یک چهره مشهور را در نظر بگیرید. اگر به مدلی دستور داده شود همه‌چیز درباره چهل‌وچهارمین رئیس‌جمهور آمریکا را فراموش کند، باید نام، سخنرانی‌ها و جزئیات زندگی‌نامه او حذف شود. اما این کار شکافی عظیم در جدول زمانی تاریخ آمریکا در ساختار درونی مدل پدید می‌آورد.[12]

در پاسخ به این پرسش که رئیس‌جمهور آمریکا در سال ۲۰۱۰ چه کسی بوده، مدل دستخوش فراموشی ممکن است نامی ساختگی بیافریند یا از پاسخ عاجز بماند، چرا که پیوستگی بافت پیرامونی به گره حذف‌شده متکی بوده است. تنظیم بقیه گراف دانش برای رفع این تناقضات درونی بدون آسیب دیدن سودمندی مدل، مسئله‌ای همچنان حل‌نشده در این حوزه است.[12]

AI

بررسی منتشرشده در نشریه Nature Machine Intelligence در سال ۲۰۲۵ نشان داد که روش‌های فراموشی کنونی اغلب به افت ملموس کارایی مدل منجر می‌شوند. هرچند الگوریتم‌ها با موفقیت مانع از بازگویی کلمه‌به‌کلمه داده حذف‌شده می‌شوند، عملکرد مدل روی داده‌های سالمی که هرگز قرار نبوده پاک شوند را مختل می‌کنند.[3]

این فرسایش با گذشت زمان تشدید می‌شود. مدلی ممکن است پس از یکی دو درخواست فراموشی با کمترین آسیب پایدار بماند، اما پردازش هزاران درخواست پیاپی به‌مرور پایداری شبکه را از میان می‌برد؛ تا جایی که افت کیفی مدل مهندسان را ناگزیر به بازآموزی کامل از صفر می‌سازد.[3]

با وجود آنکه حریم خصوصی و کپی‌رایت بیشترین توجه حقوقی را برانگیخته‌اند، حیاتی‌ترین کاربرد فراموشی ماشینی در ایمنی هوش مصنوعی نهفته است. پژوهشگران فعالانه در پی این هستند که چگونه با این تکنیک‌ها، قابلیت‌های خطرناک را پیش از انتشار مدل‌های بنیادین متن‌باز، به‌صورت نقطه‌ای از آن‌ها خارج کنند.[4]

مدل‌های مدرن حجم عظیمی از مقالات علمی را پردازش می‌کنند که ناخواسته دانش دارای کاربرد دوگانه را نیز دربرمی‌گیرد. مدلی که با کتاب‌های زیست‌شناسی آموزش دیده، ممکن است دستورالعمل‌های گام‌به‌گام برای سنتز یک عامل بیماری‌زای مهلک را ارائه دهد. فراموشی ماشینی این امکان را فراهم می‌سازد که خطر یادشده بدون از دست رفتن دانش عمومی زیست‌شناسی مدل زدوده شود.[4]

به همین ترتیب، الگوریتم‌های فراموشی برای پیراستن مدل‌ها از ادبیات مسموم، سوگیری‌های ساختاری و کلیشه‌های مضر به کار بسته می‌شوند. به‌جای اتکای محض به فیلترهای بیرونی یا گاردریل‌های ایمنی که با مهندسی پرامپت قابل دور زدن هستند، فراموشی ماشینی می‌کوشد مفاهیم آسیب‌رسان را از وزن‌های بنیادین شبکه محو کند.[4]

با این همه، واداشتن مدل به فراموشی یک مفهوم انتزاعی بسیار دشوارتر از حذف یک نقطه داده مشخص است. یک مقاله تحت کپی‌رایت، متنی صریح با مرزهای معین است، اما «سمیت» یا «سوگیری» مفاهیمی چندوجهی هستند که میان میلیون‌ها پارامتر توزیع شده‌اند. تعیین دقیق وزن‌هایی که باید تغییر یابند، نیازمند سطحی بی‌سابقه از قابلیت تفسیرپذیری مدل است.[11]

همین امر به پیدایش شاخه‌های تخصصی همچون «ویرایش مفهوم» (Concept Editing) و «فراموشی دانش» انجامیده است؛ علومی که بر ترسیم مسیرهای عصبی معطوف به ایده‌های انتزاعی تمرکز دارند تا مهندسان بتوانند توانایی تولید گفتار نفرت‌پراکن را مهار کنند بدون آنکه ظرفیت مدل برای بحث پیرامون تبعیض‌های تاریخی آسیب ببیند.[11]

به‌رغم پیشرفت‌های سریع الگوریتمی، میان تصور سیاست‌گذاران از کارکردهای فراموشی ماشینی و قابلیت‌های واقعی آن فاصله‌ای جدی وجود دارد. مقاله‌ای شاخص از پژوهشکده حقوقی دانشگاه استنفورد (RegLab) با عنوان صریح «فراموشی ماشینی آن کاری را که فکر می‌کنید انجام نمی‌دهد»، محدودیت‌های بنیادین روش‌های کنونی را به تصویر کشید.[9]

مبرم‌ترین چالش در این عرصه، موضوع راستی‌آزمایی است. هنگامی که کاربری حق فراموش شدن را به اجرا می‌گذارد، نهاد ناظر چگونه می‌تواند از نظر ریاضی اثبات کند داده واقعاً از مدل محو شده است؟ بر خلاف پایگاه‌های داده سنتی، نمی‌توان با یک جست‌وجوی ساده عدم وجود داده را بررسی و اثبات کرد.[9]

پژوهشگران در حال حاضر برای ارزیابی مدل‌ها به امتیازهای آشنایی (Familiarity Scores) و حملات استنتاج عضویت (Membership Inference Attacks) متوسل می‌شوند. آن‌ها مدل را با پرامپت‌های پیرامون داده حذف‌شده بمباران کرده و تحلیل می‌کنند که آیا واکنشی دال بر ردپای حافظه دیده می‌شود یا خیر؛ آزمون‌هایی که ماهیتی احتمالی دارند و هرگز پاک‌شدن مطلق را اثبات نمی‌کنند.[6]

علاوه بر این، پیاده‌سازی غیراصولی فراموشی می‌تواند ناخواسته باعث نشت حریم خصوصی شود. اگر الگوریتم اصلاح بیش از حد اعمال کند، ناآگاهی ناگهانی و نامتعارف مدل در یک موضوع بخصوص ممکن است برای یک مهاجم نشانه‌ای باشد که آن داده در مجموعه آموزشی اولیه حضور داشته است؛ مسئله‌ای که وجود اطلاعات حساس را لو می‌دهد.[9]

برای غلبه بر این نقایص ارزیابی، محققان چارچوب‌های سنجش جامعی مانند MUSE را طراحی کرده‌اند. این چارچوب‌ها الگوریتم‌های فراموشی را در برابر مقیاس‌پذیری، درخواست‌های متوالی و نشت داده به چالش می‌کشند و نشان داده‌اند که اغلب روش‌های کنونی در برقراری تعادل میان فراموشی داده و حفظ کارایی مدل ناکام می‌مانند.[6]

AI

این حوزه همچنین با چالش حملات متخاصم دست‌به‌گریبان است. بازیگران مخرب می‌توانند با مسموم‌سازی داده‌ها در فاز آموزش، رفتار مدل را دستکاری کنند. در حالی که فراموشی ماشینی به‌عنوان پادزهری برای حذف این داده‌های آلوده پیشنهاد می‌شود، مهاجمان نیز روش‌هایی ابداع کرده‌اند تا داده‌های مخرب خود را در برابر حذف ماشینی مقاوم سازند.[6]

در نهایت، فراموشی ماشینی عصای معجزه‌گری نیست که تنش میان گردآوری انبوه داده و حریم خصوصی فردی را بی‌درنگ حل‌وفصل کند. این راهبرد یک مداخله پیچیده، شکننده و از نظر محاسباتی گران‌قیمت است که هنوز مراحل آغازین تکامل خود را سپری می‌کند.[12]

با فراگیرتر شدن قوانین سخت‌گیرانه برای مهار هوش مصنوعی در سطح جهان، الزام به ارتقای این الگوریتم‌ها بیش از پیش حس خواهد شد. سرنوشت هوش مصنوعی مولد وابسته به این است که آیا مهندسان می‌توانند شیوه فراموشی ایمن و اتکاپذیر را به این شبکه‌های عصبی پهناور بیاموزند یا خیر.[8]

تا زمان پیدایش چنان دستاورد ریاضیاتی سرنوشت‌سازی، سازمان‌هایی که مدل‌های بنیادین را به کار می‌گیرند باید راهبردهای پیشگیرانه را در اولویت بنشانند. به حداقل رساندن داده‌ها، پالایش دقیق پیش از آموزش و استفاده از یادگیری فدرال، همچنان کارآمدترین راه‌ها برای اطمینان از این هستند که مدل هرگز چیزی را نیاموزد که بعداً ناچار به فراموش کردنش باشد.[2]