چگونه یادگیری فدرال دقت مدل را فدای امنیت داده می‌کند؟

هنگامی که یک بیمارستان یا مؤسسه مالی امروز یک مدل پیش‌بینی‌کننده را مستقر می‌کند، این سیستم باید بین دو مصالحه متمایز یکی را انتخاب کند: افشای سوابق حساس به یک سرور مرکزی، یا پذیرش مدلی که به طور قابل ملاحظه‌ای در کار خود ضعیف‌تر است.

این واقعیت عملیاتی یادگیری فدرال است، یک معماری آموزشی غیرمتمرکز که طراحی شده تا داده‌های خام را روی دستگاه‌های محلی نگه دارد در حالی که همچنان یک مدل هوش مصنوعی جهانی می‌سازد. با انتقال محاسبات به لبه (Edge)، سازمان‌ها قوانین سخت‌گیرانه حفاظت از داده‌ها را رعایت می‌کنند، اما مجموعه‌ای از مجازات‌های عملکردی را به راه می‌اندازند که محققان تازه در حال یادگیری کمی‌سازی دقیق آن‌ها هستند.

در چارچوب سنتی یادگیری متمرکز، تمام داده‌های آموزشی در یک مخزن واحد جمع‌آوری می‌شوند. یک سرور مرکزی کل مجموعه داده را به طور همزمان پردازش می‌کند و به شبکه عصبی اجازه می‌دهد الگوهای پیچیده را در یک جمعیت متنوع و یکنواخت شناسایی کند. این رویکرد بالاترین دقت پیش‌بینی ممکن را به دست می‌دهد. با این حال، انتقال داده‌های خام—مانند خوانش‌های مداوم الکتروکاردیوگرام از ابزارهای سلامت پوشیدنی یا گزارش‌های تراکنش از برنامه‌های بانکداری موبایل—آسیب‌پذیری‌های عظیم حریم خصوصی ایجاد کرده و به پهنای باند ارتباطی قابل توجهی نیاز دارد.

یادگیری فدرال این معماری را معکوس می‌کند. به جای ارسال داده‌ها به مدل، سرور مرکزی مدل را به سمت داده‌ها می‌فرستد. هر دستگاه شرکت‌کننده، یا کلاینت، یک مدل جهانی را دانلود می‌کند، آن را به صورت محلی تنها با استفاده از داده‌های ذخیره‌شده خود آموزش می‌دهد، و سپس فقط وزن‌های ریاضی به‌روز شده را به سرور بازمی‌گرداند. سرور این هزاران به‌روزرسانی محلی را—اغلب با استفاده از الگوریتمی به نام میانگین‌گیری فدرال (Federated Averaging)—تجمیع می‌کند تا یک مدل جهانی پالایش‌شده تولید شود. داده‌های خام هرگز دستگاه کاربر را ترک نمی‌کنند.[1]

در حالی که این معماری یک سپر حریم خصوصی قوی فراهم می‌کند، پیاده‌سازی مکانیکی آن روی دستگاه‌های لبه، یک مجازات ساختاری ایجاد می‌کند. حسگرهای پوشیدنی و تلفن‌های همراه فاقد قدرت پردازشی لازم برای اجرای کارآمد محاسبات لایه‌های عمیق هستند. علاوه بر این، یادگیری فدرال از یک چالش ریاضیاتی رنج می‌برد که به عنوان داده‌های غیرمستقل و غیرهمسان توزیع‌شده (Non-IID) شناخته می‌شود.

در یک سرور متمرکز، داده‌ها درهم‌آمیخته و یکنواخت هستند. در یک شبکه فدرال، دستگاه پوشیدنی یک کاربر ممکن است ضربان قلب یک دونده ماراتن را ثبت کند، در حالی که دیگری ضربان قلب یک بیمار کم‌تحرک را ثبت می‌کند. هنگامی که این مدل‌های محلی بسیار متفاوت با هم میانگین‌گیری می‌شوند، مدل جهانی حاصل اغلب برای تعمیم دچار مشکل می‌شود.[4]

برای جلوگیری از اینکه مهاجمان به‌روزرسانی‌های وزن منتقل شده را مهندسی معکوس کنند تا داده‌های کاربر فردی افشا شود، مهندسان یک لایه حفاظتی دوم اعمال می‌کنند: حریم خصوصی تفاضلی (Differential Privacy). این تکنیک نویز ریاضیاتی را به به‌روزرسانی‌های مدل قبل از انتقال تزریق می‌کند. این نویز تصادفی مانع از حفظ جزئیات داده‌های آموزشی توسط مدل می‌شود و تضمین می‌کند که اطلاعات حساس بعداً نمی‌توانند از مدل جهانی استخراج شوند.[2]

نویسندگان یک مقاله آلفاآرکایو (AlphaXiv) در سال ۲۰۲۵ در مورد حسابداری حریم خصوصی خاطرنشان می‌کنند: «یادگیری فدرال غیرمتمرکز با حریم خصوصی تفاضلی به کاربران محلی اجازه می‌دهد بدون به اشتراک گذاشتن داده‌های خود با یک سرور مرکزی همکاری کنند.» «با این حال، کمی‌سازی دقیق بودجه حریم خصوصی الگوریتم‌های FL خصوصی به دلیل همزیستی اجزای الگوریتمی پیچیده مانند ارتباطات غیرمتمرکز و به‌روزرسانی‌های محلی، چالش‌برانگیز است.»[5]

این حفاظت یک مصالحه ریاضیاتی سختگیرانه را تحمیل می‌کند که به عنوان موازنه حریم خصوصی-کارایی (Privacy-Utility Trade-off) شناخته می‌شود. هر افزایشی در بودجه حریم خصوصی—به این معنی که نویز بیشتری برای مبهم‌سازی داده‌ها تزریق می‌شود—به طور مستقیم کارایی جهانی مدل را کاهش می‌دهد. در تحقیقات بنیادی سال ۲۰۱۶ در مورد یادگیری عمیق با حریم خصوصی تفاضلی، یک مدل بینایی که روی مجموعه داده MNIST آموزش دیده بود، بدون حریم خصوصی به دقت پایه ۹۸.۳٪ دست یافت، اما هنگامی که بودجه حریم خصوصی ۸ اعمال شد، به ۹۷.۰٪ کاهش یافت.[2]

این مجازات بسته به پیچیدگی داده‌ها به صورت غیرخطی مقیاس می‌شود. برای داده‌های ترتیبی مانند متن، کاهش عملکرد شدیدتر است. هنگامی که محققان در سال ۲۰۱۷ مدل‌های زبان بازگشتی را با حریم خصوصی تفاضلی و با بودجه ۱۰ آموزش دادند، ۶.۶٪ کاهش در «سردرگمی» (Perplexity) نسبت به خط پایه غیرخصوصی مشاهده کردند. مدل‌های بینایی به ازای هر واحد بودجه حریم خصوصی تقریباً ۰.۱۶ واحد درصد دقت از دست می‌دهند، در حالی که مدل‌های زبان برای حفظ کارایی تحت همان محدودیت‌های حریم خصوصی، به داده‌های به مراتب بیشتری نیاز دارند.[3]

محققان در حال توسعه معماری‌های ترکیبی برای بازیابی دقت از دست رفته بدون قربانی کردن دستاوردهای حریم خصوصی هستند. یک راه‌حل نوظهور، یادگیری فدرال تقسیم‌شده (Federated Split Learning) است. به جای اینکه یک دستگاه لبه کم‌توان مجبور به پردازش کل یک شبکه عصبی شود، مدل در یک لایه خاص تقسیم می‌شود.

دستگاه محلی استخراج ویژگی‌های سطحی را انجام می‌دهد و سپس محاسبات سنگین لایه‌های عمیق را به یک سرور لبه نزدیک واگذار می‌کند. این رویکرد به جای داده‌های خام، نمایش‌های انتزاعی را منتقل می‌کند، حریم خصوصی را حفظ کرده و در عین حال عمق محاسباتی مدل‌های متمرکز را بازیابی می‌کند.[4]

یک استراتژی کاهش دیگر شامل پیش‌آموزش (Pre-training) است. مدل‌هایی که روی مجموعه‌داده‌های عظیم و در دسترس عموم بدون حریم خصوصی تفاضلی پیش‌آموزش دیده‌اند، می‌توانند بعداً با استفاده از یادگیری فدرال و حریم خصوصی تفاضلی روی داده‌های حساس تنظیم دقیق (Fine-tuned) شوند. این فرآیند دو مرحله‌ای به مدل اجازه می‌دهد قابلیت‌های عمومی تشخیص زبان یا تصویر را به صورت متمرکز بیاموزد و تنها برای انطباق دامنه تخصصی به به‌روزرسانی‌های نویزدار فدرال تکیه کند، در نتیجه تقریباً به همان دقتی دست می‌یابد که یک مدل کاملاً متمرکز دارد.[3]

همانطور که استقرار هوش مصنوعی از مراکز داده متمرکز به سمت لبه شبکه تغییر می‌کند، عملکرد مطلق یک مدل دیگر تنها معیار موفقیت نیست. نسل بعدی چارچوب‌های یادگیری ماشین با این تعریف خواهد شد که چقدر کارآمد اصطکاک ریاضیاتی بین جدا نگه داشتن داده‌ها و هوشمند ساختن مدل‌ها را مدیریت می‌کنند.