یادگیری در-بافت چگونه زیرشبکه‌های اختصاصی را در مدل‌های زبانی بزرگ فعال می‌کند

وقتی به یک مدل زبانی بزرگ چند مثال از یک وظیفه جدید داده می‌شود - مانند ترجمه انگلیسی به فرانسوی یا استخراج نهاد یک جمله - نتیجه در همان لحظه‌ای تعیین می‌شود که مدل آن مثال‌ها را در یک «بردار وظیفه» واحد و با ابعاد پایین فشرده می‌کند. این مرحله فشرده‌سازی همان چیزی است که واقعاً اهمیت دارد، زیرا یک دنباله متنی را به یک قاعده ریاضی تبدیل می‌کند. مدل به‌جای اینکه در طول تولید متن به‌طور مداوم به پرامپت نگاه کند، یک زیرشبکه موقت و بسیار خاص می‌سازد که به‌عنوان یک موتور اختصاصی برای همان وظیفه عمل می‌کند.[2]

این پدیده که با عنوان یادگیری در-بافت (in-context learning) شناخته می‌شود، مدت‌هاست که مانند یک جعبه سیاه در نظر گرفته می‌شود. یک مدل صرفاً برای پیش‌بینی کلمه بعدی آموزش می‌بیند، اما به نحوی یاد می‌گیرد که الگوها را در لحظه و بدون به‌روزرسانی وزن‌های دائمی خود استنتاج کند. پژوهش‌های اخیر در زمینه تفسیرپذیری مکانیسمی شروع به باز کردن این جعبه کرده‌اند و نشان می‌دهند که مدل‌ها صرفاً به‌طور مبهم به توکن‌های قبلی توجه نمی‌کنند. در عوض، آن‌ها منطق هسته‌ای مثال‌های نمایشی را فعالانه استخراج کرده و آن را از طریق یک زیرفضای فعال‌سازی به‌شدت فشرده هدایت می‌کنند.[2][3]

پژوهشگران دانشگاه تل‌آویو و گوگل دیپ‌مایند (Google DeepMind) در سال ۲۰۲۳ با جداسازی اجزای «یادگیری» و «کاربرد» در این فرآیند، این موضوع را اثبات کردند. آن‌ها دریافتند که توابع یادگرفته‌شده در طول یادگیری در-بافت، معادل یک ترانسفورمر (transformer) هستند که تنها ورودی‌های آن، پرسش جدید و یک بردار وظیفه واحد محاسبه‌شده از مجموعه آموزشی است. با استخراج این بردار، آن‌ها توانستند ترانسفورمر را طوری تنظیم کنند که حتی بدون حضور مثال‌های اولیه در پنجره زمینه (context window)، خروجی مطلوب را تولید کند.[2]

این بردار وظیفه در یک «زیرفضای مفهومی» خاص عمل می‌کند. یک مطالعه مشترک در سال ۲۰۲۶ توسط دانشگاه هوش مصنوعی محمد بن زاید و موسسه تحقیقات پیشرفته شانگهای، این موضوع را با نشان دادن اینکه تغییرات ساختاریافته وظایف توسط مختصات با ابعاد پایین بازنمایی می‌شوند، فرمول‌بندی کرد. پژوهشگران دریافتند که اطلاعات مرتبط با وظیفه در یک زیرفضای فعال‌سازیِ هم‌راستا با وظیفه متمرکز شده است و وصله‌گذاری (patching) این زیرفضا از یک پرامپت تمیز به یک پرامپت مخدوش، توانایی مدل برای انجام وظیفه را بازیابی می‌کند.[3]

میزان فشرده‌سازی درگیر در این فرآیند خیره‌کننده است. در آزمایش‌هایی که با استفاده از مدل ۸ میلیارد پارامتری Llama-3 روی پرامپت‌های چندرابطه‌ای انجام شد، پژوهشگران دریافتند که زیرفضای مفهومی مورد نیاز برای بازیابی نزدیک به ۸۰ درصد از دقت مدل، تنها ۶۸ تا ۷۳ بُعد از جریان پسماند ۴۰۹۶ بعدی را اشغال می‌کند. این بدان معناست که کار محاسباتی واقعی برای این وظیفه در کمتر از ۲ درصد از پهنای باند در دسترس مدل اتفاق می‌افتد.[3]

برای وظایف ساده‌تر، این زیرفضا حتی کوچک‌تر هم می‌شود. در سال ۲۰۲۶، مطالعه‌ای توسط تیمی از دانشگاه کالیفرنیا برکلی (UC Berkeley) و موسسه اینریا (INRIA) نحوه انجام عملیات جمع در-بافت توسط مدل‌ها را تحلیل کرد. آن‌ها کشف کردند که از میان ۱۰۲۴ هد توجه در مدل Llama-3-8B، تنها سه «هد تجمیع‌کننده» اکثریت قریب به اتفاق کار را انجام می‌دهند. پژوهشگران نوشتند: «یافته‌های ما نشان می‌دهد که چگونه حتی در مدل‌های بزرگ، مکانیسم‌های یادگیری در-بافت می‌توانند در زیرفضاهای فعال‌سازی تخصصی متمرکز شوند که توسط تعداد کمی از هدها ایجاد شده و اطلاعات را به روش‌های قابل‌تفسیر استخراج، بازنمایی و تجمیع می‌کنند.»[1]

در درون آن فضای ۶ بعدی، مدل از استراتژی‌های پیچیده و قابل‌تفسیر برای انسان استفاده می‌کند. چهار بُعد از این فضا، رقم یکان را با استفاده از توابع مثلثاتی - به‌طور خاص امواج سینوسی و کسینوسی با دوره‌های ۲، ۵ و ۱۰ - ردیابی می‌کنند، در حالی که دو بُعد باقی‌مانده، اندازه کلی را با استفاده از مولفه‌های فرکانس پایین دنبال می‌کنند. این نشان می‌دهد که مدل به‌طور مستقل یک الگوریتم ماژولار و تناوبی را برای حساب کشف کرده است.[1]

شکل‌گیری این بردارها یک رفتار یادگرفته‌شده است که در طول پیش‌آموزش (pretraining) پدیدار می‌شود. پژوهشگران دانشگاه ام‌آی‌تی (MIT) در سال ۲۰۲۴ از یک چارچوب رمزگذار-رمزگشا (encoder-decoder) برای مطالعه این پیدایش بهره بردند و دریافتند که وقتی مدل یاد می‌گیرد وظایف پنهان مختلف را در فضاهای بازنمایی متمایز نگاشت کند، به‌طور همزمان الگوریتم‌های رمزگشایی شرطی را نیز می‌سازد. کیفیت این رمزگذاری وظیفه، به‌طور مستقیم پیش‌بینی می‌کند که مدل تا چه حد در وظایف یادگیری در-بافت خوب عمل خواهد کرد.[5]

درک این زیرشبکه‌ها کاربردهای عملی فوری برای کارآمدتر کردن هوش مصنوعی دارد. تیمی از دانشگاه راتگرز (Rutgers University) در سال ۲۰۲۵ روش «یادگیری در-بافت ضمنی» را معرفی کردند؛ روشی که مثال‌های نمایشی را در یک بازنمایی برداری یکپارچه خلاصه می‌کند. با تزریق ترکیب خطیِ این بردار زمینه و فعال‌سازی‌های پرسش به جریان‌های پسماند مدل، آن‌ها توانستند با دور زدن بار اضافی حافظه برای پردازش پرامپت‌های طولانی، به عملکردی در سطح یادگیری با چند مثال (few-shot) اما با هزینه‌های استنتاج صفر مثال (zero-shot) دست یابند.[6]

به‌طور مشابه، پژوهشگران دانشگاه نورث‌ایسترن (Northeastern University) در سال ۲۰۲۴ نشان دادند که مدل‌های زبانی بزرگ، وظایف زمینه‌ای را به‌عنوان بردارهای تابع فشرده بازنمایی می‌کنند. با استخراج و ادغام مجدد این بردارها، توسعه‌دهندگان می‌توانند رفتار مدل را بدون بار محاسباتیِ یادگیری در-بافت سنتی هدایت کنند. این رویکرد نه تنها در مصرف حافظه صرفه‌جویی می‌کند، بلکه مدل را در برابر تغییرات در ترتیب یا انتخاب مثال‌های نمایشی مقاوم‌تر می‌سازد.[4]

کشف زیرشبکه‌های خاصِ هر وظیفه، دریچه جدیدی را نیز برای ایمنی و هم‌راستایی (alignment) هوش مصنوعی فراهم می‌کند. اگر رفتار یک مدل توسط بردارهای قابل‌شناسایی و با ابعاد پایین کنترل شود، نظارت بر این بردارها برای یافتن نشانه‌های فریب یا توهم امکان‌پذیر می‌شود. علاوه بر این، پژوهشگران یک مکانیسم خوداصلاحی را در درون این زیرفضاها شناسایی کرده‌اند، جایی که اشتباهات آموخته‌شده از مثال‌های نمایشی اولیه، به‌طور فعال توسط مثال‌های بعدی سرکوب می‌شوند.[1][3]

با نقشه‌برداری از ساختارهای دقیق ریاضی که بر یادگیری در-بافت حاکم هستند، این حوزه در حال فاصله گرفتن از نگاه به شبکه‌های عصبی به‌عنوان ماتریس‌های غیرقابل‌فهم از وزن‌ها است. این درک که یک مدل ۸ میلیارد پارامتری برای انجام عملیات جمع به یک زیرفضای ۶ بعدی متکی است، نشان می‌دهد که در پسِ مقیاس عظیم هوش مصنوعی مدرن، مکانیسم‌های واقعی استدلال، فشرده، ساختاریافته و کاملاً قابل‌اندازه‌گیری هستند.[1][7]