چگونه تجزیه ماتریسی کم‌رتبه مستقیماً در وزن‌های پایه ادغام می‌شود تا تاخیر استنتاج هوش مصنوعی را به صفر برساند

در یک سو از مناقشه استقرار مدل‌های زبانی، مهندسان سیستم باور دارند که تکیه بر یک مدل پایه فراگیر و بزرگ، تنها راهکار مقرون‌به‌صرفه برای سرویس‌دهی به میلیون‌ها کاربر است. در سوی دیگر، متخصصان حوزه‌های گوناگون اصرار می‌ورزند که مدل‌ها بدون تنظیم دقیق (Fine-tuning) ویژه هر وظیفه، بیش از حد عمومی باقی می‌مانند و نمی‌توانند گردش‌کارهای تخصصی در پزشکی، حقوق یا برنامه‌نویسی را با دقت کافی هدایت کنند.

سازش سنتی گذشته هیچ‌یک از دو طرف را خشنود نمی‌کرد: تنظیم دقیق یک مدل غول‌پیکر مستلزم ایجاد مجموعه‌ای سراسر جدید از همان میلیاردها وزن بود که برای میزبانی به سخت‌افزارهای سروری مجزا و گران‌قیمت نیاز داشت؛ و در سوی دیگر، متصل کردن ماژول‌های آداپتور جانبی کوچک‌تر نیز تاخیر محاسباتی محسوسی هنگام تولید پاسخ تحمیل می‌کرد.[4][5]

این بن‌بست فنی با یک ترفند ریاضی ظریف موسوم به «انطباق کم‌رتبه» یا LoRA (لورا) شکسته شد. توسعه‌دهندگان با ثابت نگه‌داشتن شبکه عصبی اولیه و تزریق ماتریس‌های کوچک و موقت حین آموزش، مدل را تنها با کسر کوچکی از هزینه‌های رایج شخصی‌سازی می‌کنند.[1][2]

نکته اساسی‌تر این است که با پایان فرایند آموزش، این ماتریس‌های موقت را می‌توان از طریق محاسبات ریاضی مستقیماً درون شبکه اصلی فروپاشید و ادغام کرد. مدل به‌دست‌آمده تمام دانش تخصصی تازه را درون خود نگه می‌دارد، بی‌آنکه در مرحله استنتاج حتی میلی‌ثانیه‌ای تاخیر اضافی تولید کند.[4]

دیوار محاسباتی در تنظیم دقیق کامل

برای درک مهندسی این ادغام ماتریسی، ابتدا باید بزرگی مسئله‌ای را بسنجیم که این روش در پی حل آن است. مدل‌های زبانی بزرگ کنونی ده‌ها یا صدها میلیارد پارامتر دارند که هرکدام به شکل یک عدد با دقت اعشاری بالا در ماتریس‌های پهناور نگهداری می‌شوند.[2][7]

پژوهشگران در روش سنتی تنظیم دقیق کامل، باید تک‌تک این میلیاردها متغیر را دوباره محاسبه و به‌روز کنند. بر اساس مقاله سال ۲۰۲۱ پژوهشگران شرکت مایکروسافت که این روش را معرفی کرد، دستکاری مدلی در مقیاس GPT-3 نیازمند تنظیم ۱۷۵ میلیارد پارامتر است؛ فرآیندی که خوشه‌های عظیمی از کارت‌های گرافیکی پیشرفته و بار حافظه سرسام‌آوری را می‌طلبد.[1][2]

سباستین راشکا، پژوهشگر و مدرس هوش مصنوعی، در تحلیل سال ۲۰۲۳ خود درباره روش‌های بهینه در مصرف پارامتر اشاره می‌کند: «میزان حافظه موقت مورد نیاز برای تنظیم دقیق کامل، اغلب سه برابر حجم خود مدل است؛ صرفاً به این دلیل که باید حالت‌های محاسباتی بهینه‌ساز (optimizer) را در خود جای دهد.»[5]

این واقعیت، فرآیند پیاده‌سازی سازمانی را با بحران مواجه می‌کرد. اگر بیمارستانی ده مدل تخصصی مختلف برای ده بخش درمانی مجزا می‌خواست، روش پیشین آن را ناگزیر می‌کرد ده مدل غول‌پیکر ۱۷۵ میلیارد پارامتری را جداگانه میزبانی کند؛ یعنی هزینه سخت‌افزاری پردازش ناگهان ده برابر می‌شد.[4][7]

فرضیه ابعاد کم‌رتبه در هوش مصنوعی

فناوری LoRA این بن‌بست محاسباتی را با تکیه بر مفهومی بنیادین در شبکه‌های عصبی موسوم به «بُعد ذاتی» دور می‌زند. این نظریه مطرح می‌کند که هرچند یک مدل در ظاهر میلیاردها پارامتر دارد، اما تغییرات ریاضی واقعی که برای آموختن یک مهارت مشخص تازه لازم است، در فضایی بسیار کوچک‌تر و با ابعاد هندسی پایین‌تر رخ می‌دهد.[1][2]

بنابراین پژوهشگران به جای تغییر ماتریس غول‌پیکر وزن‌های اصلی (که آن را W می‌نامیم)، آن را کاملاً منجمد و دست‌نخورده نگه می‌دارند. سپس دو ماتریس به مراتب کوچک‌تر، موسوم به A و B، می‌سازند و در طول آموزش در کنار مدل پایه منجمد قرار می‌دهند.[4][5]

این ماتریس‌های کمکی «کم‌رتبه» (Low-Rank) هستند؛ به این معنا که تعداد سطرها و ستون‌های بنیادین آن‌ها نسبت به معماری اصلی ناچیز است. مهندسان با آموزش دادن صرفاً همین ماتریس‌های ریز، شمار متغیرهای آموزش‌پذیر را تا ۱۰ هزار برابر کاهش داده و حافظه مصرفی کارت گرافیک را تا یک‌سوم پایین می‌آورند.[1][2]

در راهنمای فنی سال ۲۰۲۵ شرکت IBM آمده است: «لورا به ما اجازه می‌دهد روی یک کارت گرافیک معمولی چیزی را آموزش دهیم که قبلاً به یک رک کامل سرور نیاز داشت.» این کاهش نیاز پردازشی، مسیر تنظیم دقیق مدل‌ها را برای پژوهشگران مستقل و استارتاپ‌های نوپا هموار کرد.[7]

ریاضیات ادغام مستقیم ماتریس‌ها

با این حال، دستاورد اصلی LoRA فقط نحوه آموزش ارزان نیست، بلکه شیوه به کارگیری نهایی آن است. اگر قرار بود در زمان اجرای مدل، شبکه پایه و ماتریس‌های A و B جداگانه فعال بمانند، محاسبات برای هر کلمه خروجی پیچیده‌تر و پرهزینه‌تر می‌شد.[4]

اینجاست که زیبایی جبر خطی خود را نشان می‌دهد. از آنجا که لایه‌های شبکه‌های عصبی بر پایه ضرب و جمع ماتریس‌ها کار می‌کنند، می‌توان معادلات را بر اساس اصول جبری بازآرایی کرد. خروجی هر لایه در واقع حاصل ضرب ورودی در وزن پایه، به اضافه حاصل ضرب ورودی در ماتریس‌های جدید است.[4][5]

به لطف ویژگی توزیع‌پذیری در جبر ماتریسی، توسعه‌دهندگان می‌توانند ماتریس A را در ماتریس B ضرب کنند تا ماتریسی جدید دقیقاً هم‌اندازه با ماتریس اصلی مدل پایه ساخته شود. سپس این ماتریس جدید را با یک جمع ساده به ماتریس منجمد پایه پیوند می‌زنند.[1][4]

نتیجه کار، یک ماتریس وزن واحد و یکدست است که هم دانش بنیادین پیشین و هم تخصص جدید را یکجا در بر دارد. آداپتورهای موقت عملاً از نظر محاسباتی ناپدید می‌شوند، چرا که وزن‌هایشان برای همیشه درون تاروپود مدل پایه جای گرفته است.[4][6]

حذف کامل جریمه تاخیر در استنتاج

این ادغام ساختاری دستاورد عملیاتی بسیار مهمی به همراه دارد: تاخیر محاسباتی استنتاج صفر می‌شود. چون ابعاد مدل حاصل از ادغام هیچ تفاوتی با مدل اولیه ندارد، شمار عملیات اعشاری مورد نیاز برای تولید متن با حالت دست‌نخورده اولیه برابر می‌ماند.[2][4]

روش‌های پیشین مانند لایه‌های آداپتور قدیمی داده‌ها را مجبور می‌کردند از مسیرهای عصبی اضافی عبور کنند. این امر چند میلی‌ثانیه تاخیر به ازای هر توکن متن تحمیل می‌کرد؛ جریمه زمانی کوچکی که در تولید متن‌های طولانی یا سرویس‌دهی همزمان به هزاران کاربر انباشته و تحمل‌ناپذیر می‌شد.[1][5]

اما در رویکرد وزن‌های ادغام‌شده LoRA، این تاخیر به کلی محو می‌شود. یک ارائه‌دهنده سرویس ابری می‌تواند بر حسب درخواست کاربر، مدل‌های ادغام‌شده مختلف را در چند لحظه درون حافظه جابه‌جا کند و بدون نیاز به سخت‌افزارهای پیچیده مسیریابی، خدمات تخصصی پرسرعت ارائه دهد.[4][7]

تحلیل سال ۲۰۲۳ آزمایشگاه Lightning AI بر روی صدها آزمایش تنظیم دقیق، این مزیت عملیاتی را تایید کرد. مهندسان این مرکز نشان دادند که با وجود کاهش چشمگیر زمان آموزش و حافظه، سرعت بازدهی مدل‌ها در زمان استقرار دقیقاً هم‌پای مدل‌های دست‌نخورده باقی می‌ماند.[6]

گسترش مرزها با تکنیک کوانتایزاسیون

مهندسی این انطباق کم‌رتبه در سال ۲۰۲۳ با معرفی روش QLoRA در همایش بین‌المللی پردازش اطلاعات عصبی گامی فراتر رفت. این روش ادغام ماتریسی را با فشرده‌سازی حداکثری اعداد ترکیب کرد.[3]

پژوهشگران با کوانتایز کردن و فشرده‌سازی مدل پایه تا سطح ۴ بیت برای هر پارامتر (به جای فرمت‌های متداول ۱۶ یا ۳۲ بیتی)، حجم رم لازم برای بارگذاری اولیه مدل را به شدت کاهش دادند؛ سپس ماتریس‌های دقیق‌تر LoRA را برای جذب یادگیری جدید به آن افزودند.[3][6]

این ترکیب هوشمندانه شرایطی فراهم کرد تا یک مدل غول‌آسای ۶۵ میلیارد پارامتری روی یک کارت گرافیک ۴۸ گیگابایتی آموزش داده شود؛ کاری که تا پیش از آن ناممکن دانسته می‌شد. با پایان آموزش، آداپتورهای دقیق همچنان امکان ادغام با وزن‌های فشرده پایه را دارند.[3][6]

بده‌بستان‌های یادگیری با ماتریس‌های کم‌رتبه

با وجود این ظرافت ریاضی، این تکنیک در تمام سناریوها جایگزینی بی‌نقص برای تنظیم دقیق سراسری نیست. از آنجا که فضای پارامترهای آموزش‌پذیر عمداً محدود شده است، این ماتریس‌ها گنجایش محدودی در یادگیری حجم عظیمی از داده‌های بنیادین تازه یا زبان‌های کاملاً ناآشنا دارند.[5][8]

مقاله‌ای که در مه ۲۰۲۴ با عنوان «LoRA کمتر می‌آموزد و کمتر فراموش می‌کند» روی مخزن arXiv منتشر شد، این محدودیت را اثبات کرد. پژوهشگران دریافتند که انطباق کم‌رتبه در تغییر لحن، قالب نگارش یا سبک بی‌نظیر است، اما در مقایسه با تنظیم کامل، در به حافظه سپردن داده‌های خام کاملاً جدید توان ضعیف‌تری دارد.[8]

نویسندگان آن مقاله در تحلیل تطبیقی خود اشاره کردند: «مدل‌های آموزش‌دیده با لورا به دلیل تنظیم ساختاری قوی‌تر، کمتر دچار فراموشی فاجعه‌بار اطلاعات قبلی خود می‌شوند، اما زمانی که می‌خواهند حوزه‌های دانشی سراسر تازه را فرابگیرند، توانایی یادگیری‌شان بسیار زودتر به سقف می‌رسد.»[8]

این مرز فنی برای مهندسان هوش مصنوعی اهمیت راهبردی دارد: اگر هدف شما آموزش سبک نگارش لوایح حقوقی به مدل باشد، LoRA بهترین گزینه است. اما اگر قصد دارید کل مفاهیم یک علم تازه کشف‌شده را از پایه به مدل بیاموزید، تنظیم دقیق کامل همچنان گزینه‌ای اجتناب‌ناپذیر خواهد بود.[7][8]

آینده سیستم‌های ماژولار در هوش مصنوعی

با این حال، امکان آموزش ارزان و ادغام مستقیم ماتریس‌ها، رویکرد صنعت نرم‌افزار به هوش مصنوعی را به کلی تغییر داده است. صنعت دیگر بر مدل‌های یکپارچه و سنگین برای تمام کاربری‌ها تکیه نمی‌کند، بلکه به سمت مجموعه‌های وسیعی از آداپتورهای تخصصی خرد گرایش یافته است.[4][7]

از آنجا که ماتریس‌های تفکیک‌شده A و B حجمی بسیار ناچیز (اغلب در حد چند ده مگابایت) دارند، به‌راحتی روی بستر اینترنت جابه‌جا می‌شوند. کاربر می‌تواند مدل پایه را یک بار دانلود کند و سپس ده‌ها فایل سبک LoRA متناسب با نیازهای مختلف را روی آن بنشاند.[4][5]

هنگامی که وظیفه خاصی مطرح می‌شود، سامانه می‌تواند در کسری از ثانیه آداپتور مربوطه را از طریق جمع ماتریسی با وزن‌های پایه ادغام کند، پردازش را با سرعت اصلی انجام دهد و در صورت نیاز با یک تفریق ساده، ماتریس‌ها را برای پذیرش تخصص بعدی تخلیه کند.[4][6]

این معماری تفکیک‌پذیر نویدبخش کاهش پیوسته هزینه‌های محاسباتی هوش مصنوعی در جهان است. تفکیک ماتریسی با جدا کردن فرایند پرهزینه آموزش دانش عمومی از فرآیند ارزان یادگیری مهارت‌های ویژه، صرفه اقتصادی استقرار هوش مصنوعی تخصصی را برای سال‌های آینده تضمین کرده است.[2][7]