مکانیسم یادگیری درجا: مدارهای القایی و ترکیب کلید در ترنسفورمرها چگونه کار می‌کنند؟

بزرگ‌ترین محدودیت بنیادین در هر مدل زبانی بزرگ مستقر، انجماد حافظه آن است. پس از پایان فرایند آموزش، میلیاردها وزن عصبی که هویت مدل را شکل می‌دهند دیگر تغییر نمی‌کنند؛ یعنی مدل نمی‌تواند با دستکاری در پارامترهای خود حقایق تازه‌ای بیاموزد. معماری در زمان استنتاج کاملاً ایستا و دست‌نخورده باقی می‌ماند.

با این حال، کافی است کاربری کلمه‌ای کاملاً ساختگی یا ساختار نگارشی نوظهوری را در ورودی تایپ کند؛ مدل بلافاصله آن را فرا می‌گیرد. این سازگاری شناور در قالب ورودی بدون کوچک‌ترین تغییر در پارامترها رخ می‌دهد؛ پدیده‌ای که «یادگیری درجا» یا درون‌زمینه نامیده می‌شود و امکان اجرای وظایفی را فراهم می‌کند که شبکه هرگز صراحتاً برای آن‌ها آموزش ندیده بود.

سال‌ها چگونگی یادگیری لحظه‌ای در یک ماتریس عددی ایستا برای مهندسان معمایی پوشیده بود. اکنون پژوهشگران حوزه «تفسیرپذیری سازوکاری» موفق شده‌اند موتور ریاضی دقیق پشت این پدیده را شناسایی و ایزوله کنند: سازوکاری دولایه‌ای به نام «مدار القایی». این یافته تبیینی عینی و ساختاری برای یکی از پیچیده‌ترین رفتارهای برآمده در مدل‌ها ارائه می‌دهد.[1][3]

با ردیابی جریان داده‌ها درون این مدارها، مشخص شده است که مدل‌ها با فرایندی موسوم به «ترکیب کلید» مسیرهای توجه خود را به‌طور موقت سیم‌کشی مجدد می‌کنند. این سازوکار به مدل اجازه می‌دهد توالی شناسه‌ها را مستقیماً درون متن ورودی رصد و کپی کند و عملاً یک حافظه کاری موقت پدید آورد.[2]

کالبدشکافی جریان باقیمانده

برای درک کارکرد مدارهای القایی، ابتدا باید به شریان اصلی مدل ترنسفورمر، یعنی «جریان باقیمانده» نگاهی بیندازیم. این شریان فضایی برداری با ابعاد بالاست که در آن هر شناسه در متن ورودی، وضعیتی جاری و پویا برای خود حفظ می‌کند که با عبور از شبکه مدام بازنویسی می‌شود.[2]

همچنان‌که داده‌ها در لایه‌های مدل به جلو حرکت می‌کنند، سرهای توجه اطلاعات را از این شریان می‌خوانند و داده‌های تازه را روی آن می‌نویسند. جریان باقیمانده مثل یک بافر حافظه مشترک عمل می‌کند؛ با پیشروی در عمق معماری، بستر متن را انباشته کرده و بازنمایی ریاضی هر واژه را غنی‌تر می‌سازد.

مقاله بنیادین سال ۲۰۲۱ اِلهِیج و همکاران درباره مدارهای ترنسفورمر توضیح می‌دهد: «تمامی بخش‌های یک ترنسفورمر از طریق خواندن و نوشتن در زیرفضاهای مختلف جریان باقیمانده با یکدیگر تعامل دارند.» این فرایند نوشتن جمعی، اساس پایه‌گذاری رفتارهای پیچیده در چند لایه مختلف است.[2]

سرهای توجه این جریان را از دو مسیر موازی هدایت می‌کنند: مدار «پرسش-کلید» با محاسبه امتیازهای توجه تعیین می‌کند سر توجه به کجا بنگرد، و مدار «خروجی-مقدار» مشخص می‌کند چه داده مشخصی از شناسه هدف کپی شده و به جریان باقیمانده شناسه جاری بازگردد.[2]

گام اول: سر شناسه پیشین

مدار القایی برای فعال شدن دست‌کم به دو لایه توجه نیاز دارد؛ به همین دلیل مدل‌های تک‌لایه از نظر ساختاری امکان یادگیری درجا را ندارند. این سازوکار در لایه اول توسط بخشی تخصصی موسوم به «سر شناسه پیشین» کلید می‌خورد که وظیفه‌ای معین و کپی‌محور دارد.[1][2]

هنگامی که سر شناسه پیشین به یک توالی می‌نگرد، مدار پرسش-کلید آن طوری برنامه‌ریزی شده که منحصراً به دقیقاً یک جایگاه عقب‌تر توجه کند. اگر متن حاوی توالی «گربه نشست» باشد، سر مستقر در جایگاه «نشست» فقط به شناسه پیشین یعنی «گربه» می‌نگرد و سایر بافت را نادیده می‌گیرد.[1]

به محض تمرکز روی شناسه پیشین، مدار خروجی-مقدار هویت آن شناسه را کپی کرده و در جریان باقیمانده شناسه فعلی می‌نویسد. پس از اجرای این لایه، شناسه «نشست» برچسبی ریاضی حمل می‌کند که نشان می‌دهد شناسه قبلی آن «گربه» بوده است؛ امری که بازنمایی آن را بنیادین دگرگون می‌کند.[1][2]

این اقدام داده‌های عبوری از شبکه را غنی می‌سازد. مدل دیگر کلمات را مجزا نمی‌بیند؛ هر جایگاه اکنون دربرگیرنده برهم‌نهی از خود و کلمه ماقبل خویش است و زمینه را برای تطبیق الگوهای پیچیده‌تر در مرحله بعد فراهم می‌آورد.[4]

گام دوم: عملکرد ترکیب کلید در عمل

جادوی یادگیری درجا در لایه دوم رخ می‌دهد؛ جایی که «سر القایی» واقعی قرار دارد. این سر با تکیه بر اطلاعات تقویت‌شده از لایه اول، عملیات انطباق الگو موسوم به «ترکیب کلید» را اجرا می‌کند و دو لایه را به مداری واحد و منسجم پیوند می‌زند.[1][3]

ترکیب کلید زمانی رخ می‌دهد که سر موجود در لایه دوم، از خروجی نوشته‌شده توسط سر لایه اول برای ساخت ماتریس کلید خود استفاده کند. به‌جای وارسی شناسه خام، ماتریس‌های کلید سر القایی اکنون حاوی اطلاعات کلمه پیشین نیز هستند و مشخصات اعلامی هر موقعیت را دگرگون می‌کنند.[2]

تصور کنید در ادامه متن واژه «گربه» دوباره تکرار شود و مدل باید کلمه بعدی را پیش‌بینی کند. پرسشِ سر القایی در این جایگاه جدید «گربه»، متن را به سمت عقب جستجو می‌کند تا شناسه‌ای را بیابد که ماتریس کلید آن برچسب «شناسه پیشین = گربه» داشته باشد.[1]

از آنجا که سر شناسه پیشین پیش‌تر این برچسب را در جریان باقیمانده شناسه «نشست» نوشته بود، سر القایی به یک تطابق کامل ریاضی می‌رسد. مدار پرسش-کلید مستقیماً روی شناسه «نشست» قفل می‌شود و باقی متن را کنار می‌گذارد.[1][4]

بازنویسی و کپی کردن آینده

پس از تمرکز توجه بر شناسه پیشینِ درست، سر القایی حرکت پایانی را اجرا می‌کند. مدار خروجی-مقدار، هویت شناسه هدف یعنی «نشست» را کپی کرده و آن را در جریان باقیمانده موقعیت کنونی می‌نویسد تا شبکه برای تولید پاسخ مهیا شود.[1]

سپس مدل این جریان باقیمانده به‌روزشده را به خروجی نهایی بدل می‌کند و کلمه «نشست» را پیش‌بینی می‌نماید. مدل بدون تغییر حتی یک وزن از میلیاردها پارامتر ساکن خود، توانسته الگو را بشناسد، ادامه قبلی آن را بازیابی کند و بنویسد.[1][3]

مطالعه سال ۲۰۲۲ انتروپیک به رهبری اولسون که این سازوکار را فرمول‌بندی کرد، بیان می‌دارد: «سرهای القایی زمینه را برای یافتن نمونه‌های قبلی شناسه کنونی جستجو می‌کنند، به شناسه‌ای توجه نشان می‌دهند که در صورت تکرار الگو ظاهر می‌شود، و احتمال وقوع آن را افزایش می‌دهند.»[1]

این موتور چرایی مهارت بالای مدل‌ها را در روش پرامپت‌نویسی با چند نمونه آشکار می‌کند. وقتی کاربر سه نمونه ترجمه انگلیسی به فرانسوی ارائه می‌دهد، مدارهای القایی قالب ساختاری را تشخیص داده و الگوی متناظر را کپی می‌کنند و کار به‌آسانی انجام می‌پذیرد.[1][4]

تغییر فاز ناگهانی حین آموزش

کشف مدارهای القایی معمایی دیرینه درباره فرایند یادگیری مدل‌ها حین آموزش اولیه را نیز حل کرد. پژوهشگران متوجه شدند قابلیت یادگیری درجا برخلاف انتظار سنتی از شبکه‌های عصبی، آرام‌آرام در جریان میلیون‌ها گام آموزشی شکل نمی‌گیرد.[1]

بلکه مدل‌ها در اوایل دوره آموزش خود دستخوش یک «تغییر فاز» ناگهانی می‌شوند. طی بازه بسیار باریکی از گام‌های بهینه‌سازی، توان یادگیری از بستر ورودی جهشی تند پیدا می‌کند؛ امری که با افتی محسوس در خطای پردازش توالی‌های تکراری نمایان می‌شود.[1][3]

با ردیابی وزن‌های درونی مدل، محققان ثابت کردند این گذار فاز دقیقاً زمانی رخ می‌دهد که سرهای شناسه پیشین و سرهای القایی با هم جفت شده و مدارهای ترکیب کلید را پدید می‌آورند. قابلیت نوظهور درست در لحظه پیوند این دو لایه متولد می‌شود.[1][2]

در مدل‌هایی که فقط یک لایه توجه دارند، این گذار فاز هرگز ثبت نمی‌شود. چون ترکیب کلید نیازمند خواندن خروجی یک سر توسط سر دیگر است، معماری تک‌لایه توان تشکیل مدار القایی را ندارد و سقف توان استدلال آن هر چقدر هم آموزش ببیند محدود خواهد ماند.[1][2]

سنجش قدرت و اتصال مدارها

برای اثبات این‌که ترکیب کلید گرداننده اصلی این رفتار است، پژوهشگران به مشاهده صرف بسنده نمی‌کنند، بلکه دست به مداخله می‌زنند؛ آنان با حذف یا فرسایش ریاضی سرهای القایی در زمان استنتاج، افت توان مدل را اندازه می‌گیرند.[1]

وقتی سرهای القایی از یک مدل کوچک صرفاً متکی به توجه حذف می‌شوند، قابلیت یادگیری درجا تقریباً به‌کلی محو می‌گردد. مدل به یک پیش‌بینی‌کننده آماری ساده تنزل پیدا می‌کند که از فهم دستورهای جدید یا کشف الگوهای تکراری در متن ناتوان است.[1][3]

علاوه بر این، پژوهشگران شدت دقیق ترکیب کلید میان دو سر توجه را اندازه‌گیری می‌کنند. آنها نرم فروبنیوسِ حاصل‌ضرب ماتریسی مدار خروجی-مقدار سر اول و مدار پرسش-کلید سر دوم را محاسبه می‌نمایند که نشان‌دهنده مستقیم حجم تبادل اطلاعات است.[2]

امتیاز بالای ترکیب با دقت نشان می‌دهد کدام سرها در لایه‌ها با یکدیگر همکاری دارند. این دقت ریاضی به مهندسان اجازه می‌دهد دیاگرام محاسباتی ترنسفورمر را درست مانند نقشه سیم‌کشی یک برد الکترونیکی ترسیم کنند و هوش مصنوعی را از کیمیاگری به مهندسی ارتقا دهند.[2][4]

عبور از بن‌بست وزن‌های منجمد

شناخت ترکیب کلید نگاه پژوهشگران را به هوش مصنوعی دگرگون می‌کند. وزن‌های عصبی تنها پایگاهی از محفوظات نیستند، بلکه مجموعه‌ای از الگوریتم‌هایند که برای هدایت شناور جریان باقیمانده طراحی شده‌اند و برنامه‌های پویایی را در لحظه اجرا می‌کنند.[4]

با واگذاری وظیفه تطبیق الگو به بستر ورودی، مدل از تنگنای پارامترهای منجمد فراتر می‌رود. مدار القایی مثل یک حافظه رم موقت عمل می‌کند و بدون نیاز به ثبت داده در هارددیسک دائمیِ وزن‌ها، متغیرهای گذرای شناور را ذخیره و بازیابی می‌نماید.[1][4]

این شفافیت سازوکاری برای ایمنی و هم‌راستاسازی هوش مصنوعی حیاتی است. اگر مهندسان بدانند کدام سرهای توجه مسئول کپی کردن محتوا هستند، می‌توانند با پایش مستقیم همان مدارها، از بازتولید داده‌های محرمانه یا سمی پیش از خروج جلوگیری کنند.[3][4]

با رشد مدل‌ها تا تریلیون‌ها پارامتر، این مدارهای القایی پایه به ساختارهای پیچیده‌تری بدل می‌شوند که عهده‌دار استدلال‌های انتزاعی‌اند. با این همه، ریاضیات پایه تغییری نمی‌کند: لایه‌ای گذشته را ثبت می‌کند و لایه بعد با ترکیب کلید، آینده را بازمی‌نویسد.[1][2]