اقتصاد لورا (LoRA): چگونه تنظیم دقیق با بهره‌وری پارامتر، هوش مصنوعی سازمانی را دموکراتیزه می‌کند

در سال ۲۰۲۰، آموزش یک مدل زبان بزرگ برای درک اصطلاحات خاص یک مرکز درمانی یا یک شرکت حقوقی، به معنای به‌روزرسانی میلیاردها پارامتر بود. این فرآیند، که به عنوان تنظیم دقیق کامل (Full Fine-Tuning) شناخته می‌شود، نیازمند خوشه‌های عظیمی از واحدهای پردازش گرافیکی (GPU) تخصصی بود که هفته‌ها کار می‌کردند [۱]. هزینه بالای محاسبات – که اغلب به ده‌ها یا صدها هزار دلار برای هر آزمایش می‌رسید – بیشتر کسب‌وکارها را از بازار هوش مصنوعی سفارشی محروم می‌کرد. شرکت‌ها مجبور بودند بین مدل‌های عمومی و آماده‌ای که در مواجهه با اصطلاحات تخصصی دچار توهم می‌شدند، یا سیستم‌های سفارشی بسیار گران‌قیمت، یکی را انتخاب کنند.[1]

امروزه، اقتصاد هوش مصنوعی به دلیل تکنیکی به نام تنظیم دقیق با بهره‌وری پارامتر (PEFT) و به طور خاص روشی که به عنوان انطباق رتبه پایین یا لورا (LoRA) شناخته می‌شود، اساساً تغییر کرده است [۲]. لورا به جای اینکه مدل را با تغییر دادن تک تک وزن‌ها در شبکه عصبی‌اش به زور وادار به یادگیری کند، رویکردی جراحی‌گونه در پیش می‌گیرد. این روش مدل بنیادی عظیم و از پیش آموزش‌دیده را کاملاً دست‌نخورده باقی می‌گذارد و پارامترهای اصلی آن را ثابت می‌کند [۳].[2][3]

برای درک نحوه عملکرد این روش، تصور مدل بنیادی به عنوان یک کتابخانه وسیع و پیچیده از دانش عمومی بشر مفید است. تنظیم دقیق کامل شبیه بازنویسی هر کتاب در کتابخانه برای تغییر لحن متن است. در مقابل، لورا به سادگی یک پوشش نازک و شفاف را روی صفحات می‌لغزاند [۴]. این پوشش‌ها – که به صورت ریاضی به عنوان ماتریس‌های کوچک و قابل آموزش نمایش داده می‌شوند – خروجی‌های مدل را هنگام عبور داده‌ها تنظیم می‌کنند، بدون اینکه متن زیرین را تغییر دهند [۳].[3][4]

ترفند ریاضی که لورا را ممکن می‌سازد، بر مفهوم «رتبه ذاتی پایین» استوار است. محققان کشف کردند که اگرچه مدل‌های بنیادی حاوی میلیاردها پارامتر هستند، اما تنظیمات واقعی مورد نیاز برای تطبیق آن‌ها با یک وظیفه جدید خاص را می‌توان در یک فضای با ابعاد بسیار پایین‌تر نمایش داد [۲]. با تجزیه به‌روزرسانی‌های وزنی لازم به دو ماتریس کوچک‌تر، لورا بار محاسباتی را به شدت کاهش می‌دهد [۵].[2][5]

دستاوردهای بهره‌وری حاصل از این روش حیرت‌آور است. هنگامی که لورا روی یک مدل عظیم مانند GPT-3 با ۱۷۵ میلیارد پارامتر اعمال می‌شود، تعداد پارامترهای قابل آموزش را از ۱۷۵ میلیارد به تنها ۱۷ میلیون کاهش می‌دهد [۲]. این نشان‌دهنده کاهش ۱۰,۰۰۰ برابری در متغیرهایی است که کامپیوتر باید در طول فرآیند آموزش ردیابی و به‌روزرسانی کند [۲].[2]

برای بخش‌های فناوری اطلاعات سازمانی، این کاهش ریاضی مستقیماً به صرفه‌جویی در سخت‌افزار تبدیل می‌شود. از آنجا که مدل پایه ثابت شده است، سیستم دیگر نیازی به ذخیره به‌روزرسانی‌های گرادیان عظیم و وضعیت‌های بهینه‌ساز در حافظه فعال ندارد [۳]. کاری که زمانی برای تنظیم دقیق به یک قفسه پر از GPUهای سطح سازمانی نیاز داشت، اکنون می‌تواند روی یک کارت گرافیک سطح مصرف‌کننده رده بالا اجرا شود [۲].[2][3]

فراتر از صرفه‌جویی فوری در هزینه‌های فاز آموزش، لورا یک معماری ماژولار معرفی می‌کند که یکی از بزرگترین مشکلات در استقرار هوش مصنوعی سازمانی را حل می‌کند: هزینه‌های میزبانی [۴]. در یک تنظیمات سنتی، اگر شرکتی یک مدل هوش مصنوعی برای پشتیبانی مشتری و دیگری برای نوشتن محتوای بازاریابی می‌خواست، باید دو مدل عظیم و مستقل را روی سرورهای خود میزبانی می‌کرد و هزینه زیرساخت خود را دو برابر می‌کرد [۱].[1][4]

با این حال، آداپتورهای لورا فوق‌العاده سبک هستند – اغلب تنها چند مگابایت حجم دارند، در مقایسه با ده‌ها گیگابایتی که برای مدل پایه لازم است [۲]. یک شرکت می‌تواند یک مدل بنیادی ثابت را در حافظه بارگذاری کند و سپس بسته به درخواست کاربر، آداپتورهای مختلف لورا را به صورت پویا تعویض کند [۳]. آداپتور پشتیبانی مشتری یک پرس‌وجو را مدیریت می‌کند و میلی‌ثانیه‌های بعد، آداپتور بازاریابی پرس‌وجوی بعدی را پردازش می‌کند، در حالی که همه از منابع محاسباتی اصلی یکسان استفاده می‌کنند [۴].[2][3][4]

این ماژولار بودن، باعث افزایش پذیرش سازمانی شده است، به ویژه در صنایع با مقررات سختگیرانه مانند مالی و مراقبت‌های بهداشتی [۵]. از آنجا که آموزش آداپتورهای لورا بسیار ارزان است، شرکت‌ها می‌توانند مدل‌ها را به طور کامل روی سخت‌افزار خصوصی و داخلی خود تنظیم دقیق کنند [۳]. این تضمین می‌کند که داده‌های اختصاصی حساس – مانند سوابق بیماران یا گزارش‌های مالی منتشر نشده – هرگز فایروال شرکتی را ترک نمی‌کنند تا به یک API ابری شخص ثالث برسند [۵].[3][5]

جامعه متن‌باز نیز این معماری را پذیرفته است و مخازن گسترده‌ای از آداپتورهای لورای از پیش آموزش‌دیده را برای همه چیز، از تولید سبک‌های هنری خاص در مدل‌های تصویری گرفته تا نوشتن کد در زبان‌های برنامه‌نویسی تخصصی، ایجاد کرده است [۲]. توسعه‌دهندگان می‌توانند این آداپتورها را دانلود کرده و روی هم قرار دهند؛ به عنوان مثال، ترکیب یک مدل پایه با یک لورای «کدنویسی» و یک لورای «ممیزی امنیتی» برای ایجاد یک عامل بسیار تخصصی در عرض چند دقیقه [۵].[2][5]

با وجود تأثیر تحول‌آفرین آن بر اقتصاد هوش مصنوعی، لورا یک راه‌حل جهانی برای هر چالش یادگیری ماشین نیست. این تکنیک در آموزش رفتارهای جدید، قوانین قالب‌بندی یا لحن‌های سبکی خاص به یک مدل بسیار مؤثر است [۱]. با این حال، محققان اشاره می‌کنند که در تزریق دانش واقعی کاملاً جدید به مدل، کارایی کمتری دارد [۲]. اگر یک مدل در طول آموزش اولیه خود هرگز یک پایگاه داده اختصاصی خاص را ندیده باشد، یک آداپتور لورا برای آموزش آن حقایق از ابتدا دچار مشکل خواهد شد.[1][2]

علاوه بر این، در حالی که لورا هزینه فاز آموزش را به شدت کاهش می‌دهد، هزینه محاسباتی سنگین استنتاج (Inference) – فرآیند اجرای واقعی مدل برای تولید پاسخ‌ها – را حذف نمی‌کند [۳]. مدل پایه همچنان برای کار کردن به حافظه قابل توجهی نیاز دارد، به این معنی که شرکت‌ها همچنان باید در سخت‌افزار توانمند برای استقرار سرمایه‌گذاری کنند، حتی اگر فرآیند سفارشی‌سازی دموکراتیزه شده باشد [۴].[3][4]

از آنجا که صنعت هوش مصنوعی تمرکز خود را از ساخت مدل‌های عظیم و عمومی به استقرار عوامل تخصصی و وظیفه‌محور تغییر می‌دهد، تکنیک‌های بهره‌ور از نظر پارامتر در حال تبدیل شدن به استاندارد هستند [۵]. با جدا کردن هزینه سفارشی‌سازی از اندازه مدل، لورا تضمین کرده است که موج بعدی نوآوری هوش مصنوعی نه تنها توسط غول‌های فناوری با مزارع سرور عظیم، بلکه توسط هر کسب‌وکاری که مشکل خاصی برای حل کردن دارد، هدایت خواهد شد [۳].[3][5]