چگونه نرمال‌سازی سافت‌مکس چاه‌های توجه را ایجاد می‌کند و مانع از فروپاشی بافتار در پردازش جریانی می‌شود

وقتی یک مدل زبانی بزرگ گفت‌وگویی پیوسته را پردازش می‌کند، حافظه موقت درونی آن موسوم به کَش کلید-مقدار (KV cache) به ازای هر توکن حدود ۱۲ کیلوبایت حجیم‌تر می‌شود. در یک بافتار ۸ هزار توکنی، نشست یک کاربر حدود ۱۰۰ مگابایت حافظه می‌گیرد؛ اما تعمیم این فرآیند به هزاران کاربر یا نشست‌های چندروزه، فوراً تجهیزات پردازشی را با کمبود حافظه مواجه می‌کند.[3]

مهندسان برای سال‌ها تلاش کردند تا این گلوگاه حافظه را از طریق روش پنجره لغزان حل کنند. در این سازوکار، همگام با ادامه گفت‌وگو، قدیمی‌ترین توکن‌ها از کَش بیرون ریخته می‌شدند تا جا برای توکن‌های تازه باز شود؛ تصمیمی که منطقی به نظر می‌رسید، چرا که در عمل بافتار متأخر بیشترین ارتباط معنایی را با پرسش کاربر دارد.[1]

با این حال، این حذف ساده‌انگارانه به خطایی فاجعه‌بار می‌انجامید. درست در لحظه‌ای که نخستین توکن‌های توالی از حافظه پاک می‌شدند، کارایی مدل فرو می‌پاشید. سیستم به‌جای تولید متن معنادار، ناگهان خروجی‌هایی حاوی کاراکترهای نامفهوم یونیکد، خط‌های خالی پی‌درپی و عبارات نامربوط و تکراری تولید می‌کرد.[3]

در اواخر سال ۲۰۲۳، تیمی از پژوهشگران موسسه فناوری ماساچوست (ام‌آی‌تی)، متا ای‌آی و دانشگاه کارنگی ملون مقاله‌ای منتشر کردند که ریشه این فروپاشی را به‌طور دقیق تبیین می‌کرد. این نقصان ماهیتی معنایی نداشت، بلکه پیامد یک ناهماهنگی ریاضی در بطن معماری ترنسفورمر بود.[1]

حساب و کتاب در مکانیسم توجه

در کانون هر مدل زبانی مدرن، مکانیسم توجه قرار دارد که میزان تمرکز توکن جدید روی واژگان قبلی را معین می‌سازد. این توزیع از طریق تابعی به نام سافت‌مکس کنترل می‌شود که طبق قاعده دقیق ریاضی‌اش، مجموع اوزان توجه در سرتاسر توکن‌های پیشین باید دقیقاً برابر با عدد ۱٫۰ باشد.[4]

این قاعده «مجموع برابر با یک»، در حین تولید متن مشکلی ساختاری ایجاد می‌کند. در اغلب اوقات، یک توکن تازه‌تولیدشده پیوند معنایی نیرومندی با بخش‌های پیشین متن ندارد؛ با این وجود، به دلیل الزام ساختاری سافت‌مکس، مدل نمی‌تواند وزن کل توجه را صفر بگذارد.[1]

پژوهشگران دریافتند که «حتی زمانی که پرسمان جاری تطابق معنایی پررنگی در میان توکن‌های پیشین پیدا نمی‌کند، مدل ناگزیر است این مقادیر بلااستفاده را در جایی بارگذاری کند تا حاصل‌جمع به عدد یک برسد». از این رو، مدل مجبور است این جرم ریاضی مازاد را فارغ از معنای واقعی واژه بر سر مقصدی بریزد.[1]

تیم پژوهشی با بررسی بصری مدل‌هایی نظیر لاما ۲ متوجه یک بی‌قاعدگی پایدار شدند: در تقریباً تمامی لایه‌ها و سرهای توجه، سهم هنگفتی از امتیاز توجه همواره و به شکلی ثابت به همان نخستین توکن‌های توالی واگذار می‌شد.[1]

کشف چاه‌های توجه

این توکن‌های آغازین تنها به یک دلیل سرریز توجه را جذب می‌کردند: موقعیت آنها در ابتدای دنباله، آنها را برای هر گام خودبازگشتی بعدی قابل رؤیت نگه می‌داشت. پژوهشگران این نقاط شروع را «چاه توجه» نامیدند؛ مجراهایی ساختاری که نقش سوپاپ اطمینان را برای مهار اوزان تخصیص‌نیافته سافت‌مکس بازی می‌کردند.[1]

آزمایشگاه هان در ام‌آی‌تی توضیح داد: «ما دریافتیم که مدل‌ها حجم عظیمی از توجه را به عنوان چاه‌های توجه روی توکن‌های اول می‌ریزند تا توجه بلااستفاده را در آن انبار کنند، زیرا سافت‌مکس ایجاب می‌کند مجموع اوزان همیشه یک شود». این واژگان حامل اطلاعات زمینه‌ای نبودند و صرفاً حکم تکیه‌گاه‌های فرمولی را داشتند.[2]

این یافته بی‌درنگ نشان داد که چرا روش پنجره لغزان به چنان شکستی دچار می‌شد. سیستم هنگام پاک کردن قدیمی‌ترین توکن‌ها برای آزادسازی رم، ناخواسته چاه‌های توجه را دور می‌انداخت و انبار ذخیره سرریز توجه را از بین می‌برد.[1]

با حذف چاه‌هایی که مازاد بار ریاضی را جذب می‌کردند، مخرج کسر سافت‌مکس دچار اختلال اساسی می‌شد. توجه مصرف‌نشده به‌ناچار روی توکن‌های باقی‌مانده در پنجره لغزان پخش می‌شد و جهش ناشی از این توجه‌های نامربوط، نمایه‌های درونی مدل را متلاشی می‌کرد.[3]

تحقیقات بعدی ابعاد عمیق‌تری از علت این فروپاشی کامل را روشن کرد. بررسی‌ها نشان دادند چاه‌های توجه از پدیده «بیش‌آمیزی» پیشگیری می‌کنند؛ وضعیتی نامطلوب که طی آن لایه‌های عمیق در توالی‌های طولانی تمایز میان توکن‌های جداگانه را محو می‌سازند.[6]

چاه توجه با دور کردن توجه غیرضروری از بقیه توالی، جلوی گسترش نویز را می‌گیرد و تضمین می‌کند سیگنال اصلی در میان پارازیت‌های سراسر بافتار گم نشود.[6]

چارچوب نوآورانه StreamingLLM

با درک این مکانیسم، پژوهشگران راهکاری شگفت‌انگیز و ساده موسوم به StreamingLLM ارائه دادند. آنها به‌جای تغییر در بطن معماری یا آموزش پرهزینه مجدد، رویکرد تخلیه کَش را بر اساس نیاز ریاضی چاه‌ها بازتنظیم کردند.[1]

روش StreamingLLM بر پایه سیستم کَش دوگانه کار می‌کند. این سازوکار بردارهای کلید-مقدار چهار توکن نخست را همواره تثبیت می‌کند تا به عنوان چاه عمل کنند، و در کنار آن یک پنجره لغزان از توکن‌های متأخر را برای حفظ پیوستگی کلامی نگه می‌دارد.[1]

هرگاه کَش پر شود، StreamingLLM توکن‌های میانی را حذف می‌کند؛ بخش‌هایی که میان لنگرهای ابتدایی و پنجره متأخر قرار دارند. از آنجا که چهار توکن نخست حفظ می‌شوند، مخرج سافت‌مکس تعادل خود را از دست نمی‌دهد و توزیع توجه موزون باقی می‌ماند.[5]

با این حال، حذف توکن‌های میانی چالشی در کدگذاری موقعیت توکن‌ها ایجاد کرد. مدل‌ها ترتیب واژگان را با اندیس‌های مکانی مطلق می‌شناسند؛ اگر توکن‌های ۵ تا ۱۰۰ دور ریخته شوند، توکن صد و یکم با حفظ موقعیت خود یک جهش عددی بزرگ پدید می‌آورد.[1]

فناوری StreamingLLM این مانع را با بازتعریف بافتار مکانی برطرف ساخت. سیستم به‌جای تکیه بر موقعیت مطلق کلمات در متن اصلی، شماره‌گذاری را صرفاً بر اساس موقعیت حضور توکن درون کَش انجام می‌دهد تا زنجیره متن از نگاه مدل، پیوسته و بدون گسست جلوه کند.[2]

بازدهی این تغییر محاسباتی کوچک، شگفت‌انگیز بود. با حفظ چهار توکن اولیه، مدل‌هایی که پس از چند هزار واژه فرومی‌پاشیدند، توانستند جریان‌های نامحدودی از متون را پردازش کنند؛ بی آنکه میزان «سردرگمی» (شاخص ابهام مدل) دچار جهش شود.[1]

جهش پردازش به مقیاس میلیون‌ها توکن

در ارزیابی‌ها، محققان نشان دادند StreamingLLM پردازش پایدار بیش از ۴ میلیون توکن را در مدل‌هایی همچون لاما ۲، فالکون و پیتیا میسر می‌سازد؛ آن هم بدون نیاز به هیچ‌گونه بازنشانی کَش یا تیونینگ تکمیلی.[1]

این دستاورد در مدل‌های مختلف لاما ۲ با ابعاد ۷، ۱۳ و ۷۰ میلیارد پارامتر و نیز مدل‌های MPT و پیتیا بازآزمایی شد و در تمام آزمون‌ها، حضور چهار توکن چاه مانع از انفجار میزان سردرگمی گردید.[1]

پایداری یادشده با میزان حافظه ثابت به دست آمد. به علت اینکه ابعاد کَش هرگز از مجموع چهار توکن ابتدایی و توکن‌های پنجره لغزان فراتر نمی‌رفت، پیچیدگی حافظه ثابت ماند و اجرای نامحدود یک گفت‌وگو روی تنها یک پردازنده گرافیکی محقق شد.[3]

این سازوکار صرفه‌جویی عظیمی در بار محاسباتی به ارمغان آورد. پیش از این، حفظ بافتار طولانی تنها با «پنجره لغزان با بازمحاسبه» ممکن بود که در هر گام کَش را از صفر می‌ساخت، اما StreamingLLM این هزینه مضاعف را یکسره برچید.[4]

طبق نتایج ام‌آی‌تی، StreamingLLM تا ۲۲٫۲ برابر سرعت اجرای بالاتری نسبت به روش بازمحاسبه ثبت کرد. این جهش، اجرای گفتگوهای چندمرحله‌ای نامحدود را از سطح یک فرضیه به ابزاری کاربردی روی تراشه‌های مصرفی بدل ساخت.[1]

پذیرش در صنعت و دگرگونی فرآیندها

اکوسیستم هوش مصنوعی به‌سرعت از این سازوکار استقبال کرد. پلتفرم هاگینگ فیس این مکانیسم را به کتابخانه اصلی ترنسفورمرز خود افزود تا توسعه‌دهندگان بتوانند دستیارهای متنی را بدون افت پایداری راه‌اندازی کنند.[3]

انویدیا نیز StreamingLLM را در نرم‌افزار بهینه‌سازی TensorRT-LLM گنجاند و در اسناد توسعه خود کارایی آن را برای پایداری دستیارهای متنی روزمره تأیید کرد.[5]

این دستاورد طول بافتار در مرحله پیش‌آموزش را از طول تولید در زمان استنتاج جدا کرد. پیش‌تر هوش مصنوعی به همان طول توالی آموزش‌دیده محدود بود، اما اکنون مدلی با بافتار ۸ هزار توکنی می‌تواند میلیون‌ها کلمه را پیاپی تولید نماید.[4]

اکنون تلاش‌ها برای بهبود بیشتر این مکانیسم در جریان است. پژوهش‌ها نشان داده‌اند تعریف یک توکن اختصاصی و آموزش‌پذیر برای نقش چاه در طول پیش‌آموزش، عملکردی پایدارتر از اختصاص دادن توکن‌های متنی معمولی به همراه دارد.[1]

بررسی تیم ام‌آی‌تی نشان داد با تعبیه چنین توکن اختصاصی در فرآیند آموزش از صفر، تنها یک توکن برای مهار سرریز ریاضی سافت‌مکس کفایت می‌کند؛ در حالی که مدل‌های پیشین به چهار توکن نیاز داشتند.[2]

گروهی دیگر از متخصصان درصدد اعمال تغییرات در معماری سافت‌مکس هستند؛ رویکردهایی نظیر Softmax1 اجازه می‌دهند مجموع اوزان کمتر از یک شود و بار تحمیلی به چاه‌ها کاهش یابد، هرچند به بازآموزی اساسی شبکه‌ها وابسته‌اند.[6]

برتری چشمگیر StreamingLLM در بی‌نیازی کامل آن به فاین‌تیونینگ نهفته است. این متد یک راهکار استنتاجی محض است که روی هر مدل خودبازگشتی مستقر می‌شود و به همین خاطر در فضای متن‌باز فراگیر شده است.[1]

با گذار هوش مصنوعی به سوی کارگزارهای مستقل و دائمی که نیازمند تحلیل مستمر جریان‌های ویدیویی یا گفتگوهای پیوسته هستند، مدیریت حافظه بزرگ‌ترین سد راه است؛ تبیین نقش لنگرهای توجه دقیقاً همان سوپاپ اطمینانی است که این سامانه‌ها برای ادامه کار به آن متکی هستند.[6]