چگونه اتصالات باقی‌مانده و فعال‌ساز ReLU از محو شدن گرادیان‌ها در شبکه‌های عصبی عمیق جلوگیری می‌کنند

شبکه‌های عصبی عمیق بر مشکل محو شدن گرادیان از طریق دو مداخله ریاضی مشخص غلبه می‌کنند: توابع فعال‌ساز واحد خطی یکسوساز (ReLU) که از کوچک شدن سیگنال‌ها در هر گره جلوگیری می‌کنند، و اتصالات باقی‌مانده (Residual Connections) که مسیرهای فیزیکی میان‌بر برای پرش آن سیگنال‌ها از روی لایه‌های کامل فراهم می‌آورند. قبل از این نوآوری‌ها، اضافه کردن لایه به یک شبکه عصبی به طرز متناقضی یادگیری آن را بدتر می‌کرد، زیرا سیگنال‌های خطایی که برای به‌روزرسانی مدل استفاده می‌شدند، به صورت تصاعدی کاهش می‌یافتند تا کاملاً ناپدید شوند.[2][4][7]

برای درک اینکه چرا گرادیان‌ها محو می‌شوند، باید به پس‌انتشار (Backpropagation) نگاه کرد، الگوریتمی که نیروی محرکه تمام یادگیری عمیق مدرن است. در طول آموزش، شبکه یک پیش‌بینی انجام می‌دهد، خطای خود را محاسبه می‌کند و آن خطا را به عقب از طریق لایه‌هایش ارسال می‌کند تا وزن‌های داخلی خود را تنظیم کند. این گذر به عقب متکی بر قاعده زنجیره‌ای حساب دیفرانسیل و انتگرال است که گرادیان‌ها—شیب‌های ریاضی که نشان می‌دهند هر وزن چقدر باید تغییر کند—را لایه به لایه از خروجی به سمت ورودی ضرب می‌کند.[2][7]

در گذشته، محققان از توابع فعال‌ساز مانند منحنی سیگموئید (Sigmoid) برای تعیین اینکه آیا یک نورون مصنوعی باید فعال شود یا خیر، استفاده می‌کردند. تابع سیگموئید هر ورودی را می‌گیرد و آن را به مقداری بین ۰ و ۱ فشرده می‌کند. با این حال، همانطور که KDnuggets در یک بررسی فنی در سال ۲۰۲۳ اشاره می‌کند، حداکثر مقدار مشتق تابع سیگموئید دقیقاً ۰/۲۵ است.