چگونه مکانیزم «خودتوجهی» موازی بر گلوگاه پردازش ترتیبی در شبکه‌های عصبی بازگشتی غلبه کرد

محدودیت فیزیکی در سرعت آموزش هوش مصنوعی دیگر طول متن در حال خوانش نیست، بلکه ظرفیت حافظه سخت‌افزاری است که آن را می‌خواند. زمانی که پژوهشگران گوگل در سال ۲۰۱۷ مقاله «توجه تمام چیزی است که نیاز دارید» را منتشر کردند، آن‌ها تنها یک الگوریتم جدید را معرفی نکردند؛ بلکه به‌طور بنیادین طول توالی را از زمان پردازش جدا کردند. پیش از این تغییر، مدل‌های زبانی متن را دقیقاً مانند انسان‌ها می‌خواندند: کلمه‌به‌کلمه و کاملاً به‌ترتیب. امروزه، یک مدل ترانسفورمر کل یک کتاب را به‌طور هم‌زمان می‌بلعد و روابط بین تک‌تک کلمات را به‌صورت موازی تحلیل می‌کند.[2][5]

برای درک عظمت این تغییر، باید معماری‌ای را که جایگزین آن شد، بررسی کرد. پیش از سال ۲۰۱۷، شبکه‌های عصبی بازگشتی (RNN) بر مدل‌سازی توالی‌ها تسلط داشتند. یک شبکه عصبی بازگشتی، توالی را با حفظ یک «حالت پنهان» پردازش می‌کند؛ نوعی حافظه ریاضی از آنچه تاکنون خوانده است. هنگام خواندن یک سند ۱۰۰۰ کلمه‌ای، شبکه باید کلمه ۱ را پردازش کند تا حالت را برای کلمه ۲ به‌روزرسانی کند، و کلمه ۹۹۹ را پردازش کند تا حالت برای کلمه ۱۰۰۰ به‌روز شود.[1]

این وابستگی ترتیبی یک گلوگاه محاسباتی سخت ایجاد می‌کند. تعداد عملیات‌های ترتیبی مورد نیاز برای یک شبکه عصبی بازگشتی به‌صورت خطی با طول توالی افزایش می‌یابد که از نظر ریاضی با O(n) نشان داده می‌شود. اگر طول یک توالی ۱۰۰۰۰ توکن باشد، شبکه باید منتظر ۱۰۰۰۰ گام پردازش ترتیبی بماند. پژوهشگران اولیه ترانسفورمر با اشاره به اینکه محدودیت‌های حافظه، دسته‌بندی (Batching) در میان نمونه‌ها را به‌شدت محدود می‌کرد، خاطرنشان کردند: «این ماهیت ذاتی ترتیبی، مانع از موازی‌سازی در نمونه‌های آموزشی می‌شود.»[1][5]

این الزام ترتیبی به این معنا بود که افزودن واحدهای پردازش گرافیکی (GPU) بیشتر، بازدهی نزولی به همراه داشت. یک خوشه متشکل از ۱۰۰۰ پردازنده گرافیکی نمی‌تواند کلمه ۵۰۰ را پردازش کند تا زمانی که یک پردازنده گرافیکی واحد، پردازش کلمه ۴۹۹ را به پایان برساند. در نتیجه، آموزش مدل‌ها روی تریلیون‌ها کلمه‌ای که برای قابلیت‌های هوش مصنوعی مدرن مورد نیاز است، تحت معماری شبکه‌های عصبی بازگشتی، فارغ از میزان سرمایه‌گذاری سخت‌افزاری، دهه‌ها یا قرن‌ها طول می‌کشید.[2]

مکانیزم خودتوجهی این گلوگاه را به‌طور کامل دور زد. به‌جای خواندن ترتیبی، یک لایه خودتوجهی امتیاز رابطه ریاضی بین هر توکن در یک توالی را با تمام توکن‌های دیگر به‌طور هم‌زمان محاسبه می‌کند. در یک توالی ۱۰۰۰ کلمه‌ای، شبکه ۱٬۰۰۰٬۰۰۰ جفت رابطه را به‌یک‌باره محاسبه کرده و ارتباط مفهومی هر کلمه با همسایگانش را نقشه‌برداری می‌کند.[4]

از آنجا که محاسبه رابطه بین کلمه ۱ و کلمه ۱۰ به محاسبه رابطه بین کلمه ۲ و کلمه ۳ بستگی ندارد، این عملیات‌ها می‌توانند در میان هزاران هسته پردازنده گرافیکی توزیع شوند. تعداد عملیات‌های ترتیبی از O(n) به O(1) کاهش می‌یابد. زمان لازم برای پردازش توالی تنها به تعداد هسته‌های محاسباتی موازی در دسترس محدود می‌شود، نه به طول متن.[3][5]

این موازی‌سازی با یک هزینه ریاضی مشخص همراه است. درحالی‌که خودتوجهی عملیات‌های ترتیبی را به یک مقدار ثابت کاهش می‌دهد، پیچیدگی محاسباتی کل آن به‌صورت توانی (درجه دوم) با طول توالی مقیاس می‌یابد، یعنی O(n² · d)، که در آن d بعد نمایش است. پردازش توالی‌ای که دو برابر طولانی‌تر است، به چهار برابر کار محاسباتی و چهار برابر فضای حافظه نیاز دارد.[5]

هزینه توانی مکانیزم خودتوجهی کاملاً با مسیر توسعه سخت‌افزار همخوانی داشت. پردازنده‌های گرافیکی مدرن صراحتاً برای انجام ضرب‌های ماتریسی عظیم به‌صورت موازی طراحی شده‌اند. با تبدیل یک گلوگاه ترتیبی به یک مسئله ضرب ماتریسی موازی، خودتوجهی به پژوهشگران هوش مصنوعی اجازه داد تا از خوشه‌های محاسباتی عظیمی که توسط تولیدکنندگان سخت‌افزار ساخته می‌شدند، نهایت استفاده را ببرند.[3]

تأثیر این تغییر معماری فراتر از پردازش زبان طبیعی است. در آگوست ۲۰۱۸، پژوهشگران مکانیزم خودتوجهی را در سیستم‌های توصیه‌گر ترتیبی به کار گرفتند و آن را جایگزین زنجیره‌های مارکوف و شبکه‌های عصبی بازگشتی کردند که پیش‌تر پیش‌بینی رفتار کاربر را هدایت می‌کردند. مدل‌های حاصل توانستند کل تاریخچه کاربران را به‌طور هم‌زمان پردازش کرده و وابستگی‌های بلندمدتی را شناسایی کنند که مدل‌های ترتیبی آن‌ها را نادیده می‌گرفتند یا فراموش می‌کردند.[6]

ماهیت موازی خودتوجهی همان چیزی است که پنجره‌های زمینه عظیم را در مدل‌های مدرن امکان‌پذیر می‌کند. یک شبکه عصبی بازگشتی که تلاش می‌کند یک توالی ۱۰۰ هزار توکنی را پردازش کند، دچار «فراموشی فاجعه‌بار» می‌شود، زیرا حالت پنهان برای حفظ اطلاعات از ابتدای توالی با مشکل مواجه می‌شود. در مقابل، خودتوجهی یک ارتباط ریاضی مستقیم بین اولین و آخرین توکن را با حداکثر طول مسیر O(1) حفظ می‌کند.[1][4]

با این حال، مقیاس‌پذیری توانی حافظه در خودتوجهی استاندارد، محدودیت‌های فیزیکی خاص خود را به همراه دارد. با عبور طول توالی از مرز ۱ میلیون توکن، نیاز به حافظه O(n²) از ظرفیت حتی بزرگ‌ترین خوشه‌های پردازنده گرافیکی نیز فراتر می‌رود. این امر پژوهشگران را مجبور کرده است تا مکانیزم‌های توجه تقریبی، مانند توجه پراکنده (Sparse Attention) یا توجه پنجره لغزان (Sliding Window Attention) را توسعه دهند که بخشی از مزایای موازی‌سازی را با کاهش فضای اشغالی حافظه مبادله می‌کنند.[7]

گذار از پردازش ترتیبی به پردازش موازی همچنان مهم‌ترین تصمیم معماری در هوش مصنوعی مدرن به شمار می‌رود. با همسو کردن معماری نرم‌افزاری شبکه‌های عصبی با معماری سخت‌افزاری موازی در پردازنده‌های گرافیکی مدرن، مکانیزم خودتوجهی مدل‌سازی زبانی را از یک معمای منطقی ترتیبی به یک وظیفه ضرب ماتریسی بی‌رحمانه تبدیل کرد؛ وظیفه‌ای که به‌طور قابل‌پیش‌بینی با سرمایه‌گذاری مالی مقیاس می‌یابد.[2][7]