توضیح: چگونه «مدل‌های فضای حالت» انحصار ترنسفورمرها را می‌شکنند و حافظه نامحدود هوش مصنوعی را فعال می‌کنند

از سال ۲۰۱۷، مقاله «توجه تنها چیزی است که نیاز دارید» (Attention is All You Need) به انجیل هوش مصنوعی تبدیل شده است. هر مدل بنیادی اصلی—از GPT-4 شرکت OpenAI گرفته تا Gemini گوگل—بر اساس معماری ترنسفورمر ساخته شده است. این موتور، هوش مصنوعی مولد را به دست عموم رساند. اما در حالی که آزمایشگاه‌های هوش مصنوعی برای پردازش حجم فزاینده‌ای از اطلاعات—کل پایگاه‌های کد، ویدئوهای یک ساعته و میلیون‌ها خط داده ژنومی—رقابت می‌کنند، ترنسفورمر در حال برخورد با یک دیوار بنیادی ریاضی است.[1][5]

این دیوار به عنوان «گلوگاه درجه دوم» (quadratic bottleneck) شناخته می‌شود. مکانیسم اصلی ترنسفورمر «خودتوجهی» (self-attention) است که مدل را ملزم می‌کند تا هر توکن (کلمه یا قطعه) در یک دنباله را با هر توکن دیگری مقایسه کند تا زمینه را درک کند. اگر طول یک فرمان ورودی دو برابر شود، کار محاسباتی دو برابر نمی‌شود—بلکه چهار برابر می‌شود.[3][4]

در عمل، این مقیاس‌پذیری تصاعدی یک بحران جدی حافظه و هزینه ایجاد می‌کند. هنگامی که کاربر یک سند ۱۰۰,۰۰۰ کلمه‌ای را بارگذاری می‌کند، ترنسفورمر باید یک «حافظه پنهان کلید-مقدار (KV cache)» عظیم را در حافظه واحد پردازش گرافیکی (GPU) ذخیره کند. با بزرگ شدن پنجره زمینه (context window)، سرعت مدل به شدت کاهش می‌یابد و هزینه اجرای آن سر به فلک می‌کشد. صنعت هوش مصنوعی این گلوگاه را با ترفندهای مهندسی هوشمندانه مدیریت کرده است، اما مالیات ریاضی زیربنایی همچنان پابرجاست.[3][5]

در اینجا مدل فضای حالت (SSM) وارد می‌شود. مدل‌های فضای حالت که ریشه در نظریه کنترل و پردازش سیگنال دهه ۱۹۶۰ دارند، در اصل برای ردیابی سیستم‌های دینامیکی در طول زمان، مانند مسیر یک فضاپیما، طراحی شده بودند. برخلاف ترنسفورمرها، مدل‌های فضای حالت اطلاعات را به صورت خطی پردازش می‌کنند. با طولانی‌تر شدن یک دنباله، هزینه محاسباتی با نرخ ثابت و یکنواخت رشد می‌کند و کسری از حافظه را نیاز دارد.[4][5]

با این حال، برای سال‌ها، مدل‌های فضای حالت نتوانستند با قابلیت‌های درک زبان ترنسفورمرها برابری کنند. آنها از «ناوردایی زمانی خطی» (Linear Time Invariance) رنج می‌بردند—به این معنی که هر قطعه داده ورودی را با همان ماتریس‌های ریاضی ثابت پردازش می‌کردند. یک خط مونتاژ را تصور کنید که با یک دستورالعمل حیاتی و یک کلمه پرکننده بی‌معنی با سطح اولویت یکسان رفتار می‌کند. از آنجایی که نمی‌توانستند اطلاعات را به صورت پویا فیلتر کنند، مدل‌های فضای حالت اولیه در استدلال‌های پیچیده مشکل داشتند.[3][4]

این وضعیت در اواخر سال ۲۰۲۳ با معرفی «مامبا» (Mamba)، یک معماری که توسط محققان آلبرت گو (Albert Gu) و تری دائو (Tri Dao) توسعه داده شد، تغییر کرد. پیشرفت آنها مکانیزمی به نام «فضاهای حالت انتخابی» (Selective State Spaces) بود که اساساً نحوه مدیریت داده‌های ورودی توسط مدل را بازسازی کرد.[1][5]

مامبا یک فیلتر پویا به مدل فضای حالت داد. به جای اعمال قوانین ثابت بر روی هر توکن، پارامترهای مامبا بر اساس ورودی تطبیق می‌یابند. مدل یاد می‌گیرد که به صورت انتخابی زمینه حیاتی را «به خاطر بسپارد» و پرکننده‌های نامربوط را «فراموش کند». این فشرده‌سازی انتخابی به مامبا اجازه داد تا به هدف نهایی دست یابد: کارایی خطی یک مدل فضای حالت همراه با استدلال زمینه‌ای یک ترنسفورمر.[1][4]

اما نوآوری نرم‌افزاری مامبا تنها نیمی از معادله بود. گو و دائو همچنین یک «اسکن موازی آگاه از سخت‌افزار» را معرفی کردند. واحدهای پردازش گرافیکی (GPU) مدرن دو نوع حافظه دارند: یک حافظه عظیم اما کند با پهنای باند بالا (HBM)، و یک حافظه دسترسی تصادفی ایستا (SRAM) کوچک اما فوق‌العاده سریع.[4]

مامبا به طور صریح برای بهره‌برداری از این سلسله مراتب سخت‌افزاری طراحی شده است. با ادغام عملیات‌ها، این معماری حالت فعال را در داخل SRAM فوق‌العاده سریع نگه می‌دارد و انتقال کند داده‌ها را که معمولاً گلوگاه استنتاج (inference) هوش مصنوعی هستند، به حداقل می‌رساند. نتیجه، مدلی است که می‌تواند متن را تا پنج برابر سریع‌تر از یک ترنسفورمر با اندازه مشابه تولید کند، در حالی که کسری از حافظه GPU را استفاده می‌کند.[1][5]

صنعت هوش مصنوعی به سرعت متوجه این موضوع شد، اما محققان به زودی دریافتند که مدل‌های خالص مامبا هنوز یک ضعف کوچک دارند. در حالی که آنها در منطق پیوسته و پردازش زمینه طولانی عالی بودند، ترنسفورمرها همچنان در «بازیابی تداعی‌گر» (associative recall)—توانایی بیرون کشیدن فوری یک واقعیت خاص و مجزا از عمق داده‌های آموزشی خود—برتری داشتند.[2][4]

راه‌حل در قالب معماری‌های ترکیبی (هیبریدی) ظاهر شد. شرکت‌هایی مانند AI21 Labs با «جامبا» (Jamba)، یک مدل در سطح تولید که لایه‌های مامبا را با لایه‌های توجه ترنسفورمر سنتی در هم می‌آمیزد، پیشگام این رویکرد شدند.[2]

با ترکیب این دو، جامبا بهترین ویژگی‌های هر دو دنیا را به دست می‌آورد. لایه‌های ترنسفورمر کار سنگین بازیابی تداعی‌گر را انجام می‌دهند، در حالی که لایه‌های مامبا بخش عمده دنباله را به صورت خطی پردازش می‌کنند. این رویکرد ترکیبی به AI21 اجازه داد تا یک پنجره زمینه عظیم ۲۵۶,۰۰۰ توکنی—که برای پردازش یک رمان ۴۰۰ صفحه‌ای کافی است—را ارائه دهد، در حالی که سرعت استنتاج را تا ۲.۵ برابر سریع‌تر از ترنسفورمرهای خالص ارائه می‌دهد.[2][6]

ظهور مامبا و مدل‌های فضای حالت ترکیبی نشان‌دهنده یک تغییر محوری در اقتصاد هوش مصنوعی است. همانطور که صنعت از آموزش مدل‌های عظیم به سمت استقرار آنها در مقیاس بزرگ حرکت می‌کند، هزینه اجرای هوش مصنوعی به محدودیت اصلی نوآوری تبدیل شده است.[5][6]

با شکستن گلوگاه درجه دوم، مدل‌های فضای حالت در حال دموکراتیزه کردن دسترسی به هوش مصنوعی در سطح مرزی هستند. آنها به مدل‌های عظیم با زمینه طولانی اجازه می‌دهند تا به راحتی روی سخت‌افزارهای ارزان‌تر و در دسترس اجرا شوند و راه را برای عوامل هوش مصنوعی هموار می‌کنند که می‌توانند جریان‌های داده زنده را به طور مداوم نظارت کنند، کل پایگاه‌های داده شرکتی را تحلیل کنند و توالی‌های ژنومی پیچیده را بدون ورشکست کردن اپراتورهایشان پردازش کنند.[5][6]