مکانیسم‌های اصلی پس‌انتشار (Backpropagation): الگوریتمی که نیروی محرکه تمام یادگیری عمیق مدرن است

صنعت هوش مصنوعی در حال حاضر درگیر رقابتی برای ساخت ابررایانه‌های بزرگ‌تر است و میلیاردها دلار صرف سیلیکون‌های خاص و مراکز داده عظیم می‌کند. با این حال، در زیر سخت‌افزارهای پیشرفته و مدل‌های تریلیون پارامتری، کل این حوزه کاملاً به یک ترفند ریاضی وابسته است که قبل از وجود شبکه جهانی وب (World Wide Web) رسمی شده بود.

یک تنش عمیق بین قابلیت‌های آینده‌نگر هوش مصنوعی مدرن و واقعیت تاریخی موتور اصلی آن وجود دارد. در حالی که محققان در مورد ویژگی‌های نوظهور مدل‌های زبان بزرگ بحث می‌کنند، سازوکاری که واقعاً به این مدل‌ها اجازه یادگیری می‌دهد، کاربردی چهار دهه‌ای از محاسبات دیفرانسیل و انتگرال است که به عنوان پس‌انتشار (Backpropagation) شناخته می‌شود.[1][5]

برای درک اینکه چرا هوش مصنوعی اصلاً کار می‌کند، ابتدا باید فهمید که چگونه شکست می‌خورد. هنگامی که یک شبکه عصبی راه‌اندازی می‌شود، اساساً یک لوح سفید با وزن‌های ریاضی تصادفی است. اگر از یک مدل کاملاً آموزش‌ندیده بخواهید تصویر یک گربه را شناسایی کند، کورکورانه حدس خواهد زد.

تفاوت بین آن حدس تصادفی اولیه و خروجی‌های بسیار دقیق سیستم‌های مدرن، نتیجه آموزش است و آموزش کاملاً توسط پس‌انتشار کنترل می‌شود. این الگوریتم دقیقاً به شبکه می‌گوید که چقدر اشتباه کرده است، و مهم‌تر از آن، کدام بخش‌های خاص شبکه مقصر این خطا هستند.[2][4]

این سازوکار با چیزی شروع می‌شود که محققان آن را «گذر رو به جلو» (Forward Pass) می‌نامند. داده‌ها — خواه یک تصویر، یک جمله یا یک رشته کد باشند — به لایه ورودی شبکه عصبی وارد می‌شوند. این داده‌ها از طریق چندین لایه پنهان به جریان می‌افتند و هر نورون مصنوعی بر اساس وزن و بایاس فعلی خود یک تبدیل ریاضی را اعمال می‌کند.

لایه نهایی یک پیش‌بینی تولید می‌کند. در مراحل اولیه آموزش، این پیش‌بینی تقریباً همیشه نادرست است. سپس سیستم تفاوت بین پیش‌بینی خود و پاسخ صحیح واقعی را محاسبه می‌کند و یک معیار ریاضی به نام «زیان» (Loss) تولید می‌شود.[2][3]

اینجاست که تنش، از لحاظ تاریخی، تحقیقات هوش مصنوعی را فلج کرد. در دهه ۱۹۷۰، دانشمندان کامپیوتر می‌دانستند که چگونه زیان کلی یک شبکه را محاسبه کنند، اما راهی کارآمد از نظر محاسباتی برای فهمیدن اینکه کدام یک از هزاران وزن منفرد در لایه‌های پنهان باید تغییر کند تا آن زیان کاهش یابد، نداشتند.

تنظیم تک به تک آن‌ها برای دیدن نتیجه، از نظر ریاضی غیرممکن بود؛ زیرا ترکیبات بی‌نهایت بودند. این حوزه در آنچه به عنوان اولین زمستان هوش مصنوعی شناخته شد، دچار رکود گشت، عمدتاً به این دلیل که شبکه‌های چندلایه به سادگی نمی‌توانستند به طور مؤثر آموزش ببینند.[1][4]

نقطه عطف زمانی رخ داد که محققان متوجه شدند می‌توانند «قاعده زنجیره‌ای» (Chain Rule) حساب دیفرانسیل و انتگرال را به صورت معکوس اعمال کنند. پس‌انتشار — که مخفف انتشار معکوس خطاها است — از لایه خروجی شروع می‌شود و مسیر خود را به سمت لایه ورودی برمی‌گرداند.

این الگوریتم گرادیان یا شیب تابع زیان را نسبت به هر وزن منفرد در شبکه محاسبه می‌کند. با حرکت رو به عقب، الگوریتم می‌تواند به طور کارآمد تعیین کند که تغییر بسیار کوچک در وزن هر نورون خاص چقدر بر خطای نهایی تأثیر می‌گذارد.[2][3]

یک خط مونتاژ کارخانه را تصور کنید که یک خودروی معیوب تولید می‌کند. به جای اینکه کارگران را به صورت تصادفی جایگزین کنید تا ببینید آیا کیفیت خودروها بهتر می‌شود یا خیر، یک بازرس کنترل کیفیت، نقص خاص را به صورت معکوس در طول خط مونتاژ ردیابی می‌کند و دقیقاً مشخص می‌کند که کدام دستگاه و به چه میزان میلی‌متر از تراز خارج شده است.

پس‌انتشار نقش آن بازرس را ایفا می‌کند. این الگوریتم سهم دقیقی از تقصیر را به هر عملیات ریاضی که در خروجی نهایی نادرست نقش داشته است، اختصاص می‌دهد.[4][5]

هنگامی که گرادیان‌ها محاسبه شدند، شبکه از یک الگوریتم بهینه‌سازی همراه به نام «کاهش گرادیان» (Gradient Descent) استفاده می‌کند تا وزن‌ها را واقعاً به‌روزرسانی کند. اگر پس‌انتشار نقشه‌ای باشد که نشان می‌دهد کدام جهت سراشیبی به سمت زیان کمتر است، کاهش گرادیان عمل برداشتن یک گام در آن جهت است.

شبکه وزن‌های خود را به میزان بسیار کمی، که به عنوان «نرخ یادگیری» شناخته می‌شود، تنظیم می‌کند و سپس کل فرآیند تکرار می‌شود. گذر رو به جلو، محاسبه زیان، گذر رو به عقب، به‌روزرسانی وزن. این چرخه در طول آموزش یک مدل هوش مصنوعی مدرن میلیاردها بار اتفاق می‌افتد.[2][3]

ظرافت پس‌انتشار در کارایی محاسباتی آن نهفته است. همانطور که در تحلیل‌های آکادمیک الگوریتم شرح داده شده است، محاسبه گرادیان‌ها به صورت معکوس تقریباً به همان میزان محاسبات گذر رو به جلو نیاز دارد.

این مقیاس‌پذیری خطی — که اغلب به عنوان پیچیدگی (O(W)) نشان داده می‌شود، که در آن W تعداد کل وزن‌ها است — همان معجزه ریاضی است که یادگیری عمیق را ممکن می‌سازد. اگر هزینه محاسباتی به صورت تصاعدی با اندازه شبکه افزایش می‌یافت، حتی قدرتمندترین ابررایانه‌های مدرن نیز قادر به آموزش مدلی با یک میلیارد پارامتر، چه رسد به یک تریلیون، نبودند.[3][5]

رسمی‌سازی این تکنیک به مشهورترین شکل به مقاله‌ای در سال ۱۹۸۶ در نشریه Nature توسط دیوید روملهارت (David Rumelhart)، جفری هینتون (Geoffrey Hinton) و رونالد ویلیامز (Ronald Williams) نسبت داده می‌شود. در حالی که ریاضیات زیربنایی به طور مستقل توسط چندین محقق در دهه‌های قبل کشف شده بود، مقاله ۱۹۸۶ به وضوح نشان داد که پس‌انتشار می‌تواند با موفقیت شبکه‌های عصبی چندلایه را برای حل مسائل پیچیده‌ای که مدل‌های تک‌لایه قبلی قادر به انجام آن نبودند، آموزش دهد. این انتشار عملاً حوزه شبکه‌های عصبی را از گمنامی آکادمیک احیا کرد.[1][4]

با وجود پذیرش جهانی، پس‌انتشار بدون منتقد نیست، به ویژه در میان متخصصان علوم اعصاب. به نظر نمی‌رسد مغز انسان، که شبکه‌های عصبی مصنوعی به طور آزادانه از آن الهام گرفته‌اند، از طریق پس‌انتشار یاد بگیرد. نورون‌های بیولوژیکی مکانیسمی برای ارسال سیگنال‌های خطای دقیق به صورت معکوس در سراسر سیناپس‌ها به شیوه‌ای هماهنگ جهانی ندارند.

این «غیرقابل قبول بودن بیولوژیکی» باعث شده است که برخی محققان استدلال کنند که پس‌انتشار، در حالی که برای نرم‌افزار بسیار مؤثر است، ممکن است در مسیر رسیدن به هوش عمومی مصنوعی واقعی (AGI) یک بن‌بست باشد.[4][5]

علاوه بر این، این الگوریتم به طور مطلق به شدت داده‌محور و از نظر محاسباتی گران است، حتی اگر مقیاس‌پذیری خطی داشته باشد. از آنجایی که متکی بر انجام تنظیمات میکروسکوپی در طول میلیون‌ها تکرار است، آموزش یک مدل پیشرو مستلزم تغذیه آن با بخش‌های عظیمی از اینترنت و اجرای هزاران واحد پردازش گرافیکی (GPU) برای ماه‌ها است.

یک کودک انسان می‌تواند پس از دیدن تنها یک یا دو مثال، گربه را تشخیص دهد؛ اما یک شبکه عصبی که از طریق پس‌انتشار آموزش دیده است، برای دستیابی به همان قابلیت اطمینان به هزاران تصویر برچسب‌گذاری شده نیاز دارد.[2][5]

محققان فعالانه در حال بررسی جایگزین‌هایی برای پس‌انتشار هستند. تکنیک‌هایی مانند الگوریتم‌های «رو به جلو-رو به جلو» (forward-forward algorithms)، «کدگذاری پیش‌بینی‌کننده» (predictive coding) و قوانین یادگیری محلی قابل قبول بیولوژیکی به شدت در محافل آکادمیک مورد تحقیق قرار می‌گیرند.

هدف این روش‌های تجربی آموزش شبکه‌ها بدون نیاز به یک گذر رو به عقب هماهنگ جهانی است که به طور بالقوه یادگیری کارآمدتری را که شباهت بیشتری به مغزهای بیولوژیکی دارد، فراهم می‌کند. با این حال، هیچ یک از این جایگزین‌ها هنوز ثابت نکرده‌اند که قادر به مقیاس‌پذیری به اندازه‌های عظیمی هستند که برای رقابت با مدل‌های زبان پیشرفته مورد نیاز است.[4][5]

در آینده قابل پیش‌بینی، پس‌انتشار همچنان موتور بلامنازع انقلاب هوش مصنوعی باقی می‌ماند. هر بار که یک هوش مصنوعی مولد شعری می‌نویسد، سندی را ترجمه می‌کند یا ساختار پروتئینی را شناسایی می‌کند، در حال اجرای یک پیکربندی ریاضی است که با زحمت توسط انتشار معکوس خطاها حک شده است. این الگوریتم نمونه‌ای نادر در علوم کامپیوتر است که در آن یک بینش ریاضی واحد و ظریف، نزدیک به چهار دهه است که پارادایم بنیادی یک صنعت کامل باقی مانده است.[1][2]

همانطور که صنعت به سمت مدل‌های چندوجهی و عوامل خودمختار پیش می‌رود، سازوکارهای اصلی نحوه یادگیری این سیستم‌ها همچنان به قاعده زنجیره‌ای حساب دیفرانسیل و انتگرال متکی خواهند بود. سخت‌افزار تخصصی‌تر خواهد شد، مجموعه‌داده‌ها بزرگ‌تر می‌شوند و معماری‌ها پیچیده‌تر خواهند شد، اما عمل بنیادی یادگیری از اشتباهات همچنان توسط ریاضیات دقیق و رو به عقب که در سال ۱۹۸۶ رسمی شد، کنترل خواهد شد.[3][5]