متا لاما ۴ را عرضه کرد: نگاهی به مدل چندوجهی با وزن باز که مدعی عملکرد پیشرفته است

متا رسماً لاما ۴ را منتشر کرد، که با ارائه یک مدل با وزن باز که ادعا می‌کند با عملکرد سیستم‌های اختصاصی پیشرو برابری می‌کند یا از آن‌ها فراتر می‌رود، نقطه عطف مهمی در چشم‌انداز هوش مصنوعی محسوب می‌شود. این انتشار مورد انتظار، توازن قدرت در صنعت هوش مصنوعی را تغییر می‌دهد و دسترسی رایگان به قابلیت‌های سطح مرزی را برای توسعه‌دهندگان در سراسر جهان فراهم می‌کند.[1][4]

این انتشار جاه‌طلبانه‌ترین استقرار هوش مصنوعی متا تا به امروز است که از معماری متراکم استاندارد به یک چارچوب پیچیده «ترکیب متخصصان» (MoE) تغییر مسیر داده است. این جهش معماری به مدل اجازه می‌دهد تا پایگاه دانش خود را به طور گسترده‌ای مقیاس‌پذیر کند، بدون اینکه نیاز به افزایش متناسب در قدرت محاسباتی در طول عملیات داشته باشد.[2]

برخلاف نسخه‌های قبلی خود، لاما ۴ ذاتاً چندوجهی است. این مدل از ابتدا برای پردازش همزمان متن، تصاویر و صدا آموزش دیده است، به جای اینکه به رمزگذارهای بینایی متصل شده‌ای که تصاویر را به عنوان یک مرحله میانی به متن ترجمه می‌کنند، متکی باشد.[4]

برای درک اینکه چرا لاما ۴ یک پیشرفت فنی است، باید معماری MoE را بررسی کرد. در یک شبکه عصبی «متراکم» سنتی، هر پارامتر برای هر کلمه تولید شده فعال می‌شود، که به قدرت محاسباتی عظیمی نیاز دارد و اندازه عملی مدل را محدود می‌کند.[2]

طراحی MoE لاما ۴ این الگو را با تقسیم مدل به زیرشبکه‌های تخصصی یا «متخصصان» تغییر می‌دهد. هنگامی که کاربر یک فرمان (prompt) ارسال می‌کند، یک مکانیسم مسیریابی تعیین می‌کند که کدام متخصصان خاص برای رسیدگی به آن درخواست خاص مناسب‌تر هستند و بقیه شبکه را در حالت غیرفعال نگه می‌دارد.[4]

این بدان معناست که در حالی که مدل پرچمدار دارای ۱.۵ تریلیون پارامتر تخمینی است، تنها حدود ۴۰۰ میلیارد پارامتر در طول استنتاج (Inference) برای هر توکن فعال می‌شوند. این فعال‌سازی انتخابی کلید کارایی آن است.[2][5]

نتیجه، سیستمی است که قابلیت‌های استدلال عمیق یک غول تریلیون پارامتری را ارائه می‌دهد، در حالی که با سرعت و کارایی یک مدل بسیار کوچک‌تر عمل می‌کند، که اجرای آن را برای توسعه‌دهندگان سازمانی بر روی سخت‌افزار تجاری امکان‌پذیر می‌سازد.[3]

دومین ستون اصلی لاما ۴، چندوجهی بودن بومی آن است. مدل‌های با وزن باز قبلی اغلب تصاویر را با عبور دادن آن‌ها از یک مدل بینایی جداگانه که پیکسل‌ها را به توضیحات متنی ترجمه می‌کرد و سپس مدل زبان آن را پردازش می‌کرد، مدیریت می‌کردند—روشی که زمینه بصری ظریف را از دست می‌دهد.

لاما ۴ داده‌های بصری و شنیداری را در همان فضای نهفته (Latent Space) متن پردازش می‌کند. این رویکرد یکپارچه به مدل اجازه می‌دهد تا روابط فضایی پیچیده در نمودارهای مهندسی را درک کند، لحن احساسی یک کلیپ صوتی را تفسیر کند و کد عملکردی را بر اساس یک طرح دستی تولید کند.[4]

مقاله فنی متا ادعا می‌کند که این معماری به لاما ۴ اجازه می‌دهد تا به نتایج پیشرفته (SOTA) در معیارهای پاسخگویی به سؤالات بصری (VQA) و استدلال چندوجهی دست یابد و سیستم‌های اختصاصی را که دو سال گذشته بر این فضا تسلط داشتند، کنار بزند.[4]

پیامدهای استراتژیک این انتشار در حال تغییر شکل صنعت هوش مصنوعی است. متا با متن‌باز کردن وزن‌ها—اتصالات عصبی از پیش آموزش دیده—عملاً لایه بنیادی هوش مصنوعی را کالایی می‌کند و رقبایی را که برای دسترسی به API هزینه دریافت می‌کنند، تضعیف می‌نماید.[3][5]

استارتاپ‌ها، مؤسسات دانشگاهی و توسعه‌دهندگان سازمانی اکنون می‌توانند یک مدل SOTA را دانلود کرده و آن را برای موارد استفاده خاص، مانند تشخیص‌های پزشکی یا تحلیل حقوقی، تنظیم دقیق کنند و داده‌های اختصاصی خود را کاملاً در داخل سازمان نگه دارند.[3]

یک راهنمای توسعه‌دهنده منتشر شده توسط «هاگینگ فیس» (Hugging Face) خاطرنشان می‌کند: «این یک لحظه تعیین‌کننده برای جامعه متن‌باز است»، و تأکید می‌کند که چگونه لاما ۴ به محققان اجازه می‌دهد تا رفتار مدل را بررسی کنند، محافظ‌های سفارشی بسازند و بدون وابستگی به فروشنده، نوآوری کنند.

با این حال، مقیاس محض لاما ۴ نقاط اصطکاک جدیدی را ایجاد می‌کند. در حالی که معماری MoE بسیار کارآمد است، اجرای کامل مدل پرچمدار ۱.۵ تریلیون پارامتری همچنان به خوشه‌هایی از GPUهای پیشرفته نیاز دارد، که بزرگترین نسخه را از دسترس علاقه‌مندان فردی دور نگه می‌دارد.[2]

برای رفع این تنگنای سخت‌افزاری، متا مجموعه‌ای از نسخه‌های کوچک‌تر و تقطیر شده لاما ۴، از جمله مدل‌های ۸ میلیارد و ۷۰ میلیارد پارامتری بسیار بهینه‌سازی شده را منتشر کرده است. این نسخه‌های کوچک‌تر قابلیت‌های چندوجهی را حفظ می‌کنند اما می‌توانند به راحتی روی سخت‌افزار درجه مصرف‌کننده یا گره‌های سرور واحد اجرا شوند.[1][4]

این انتشار همچنین بحث‌ها در مورد ایمنی و گسترش هوش مصنوعی را دوباره شعله‌ور کرده است. منتقدان استدلال می‌کنند که انتشار مدل‌های چندوجهی بسیار توانمند بدون کنترل دسترسی می‌تواند به بازیگران مخرب قدرت دهد تا کمپین‌های فیشینگ پیچیده، دیپ‌فیک‌ها یا حملات سایبری خودکار را در مقیاس بزرگ تولید کنند.

متا با تأکید بر تلاش‌های گسترده خود در زمینه تیم قرمز (red-teaming) و گنجاندن کاهش‌دهنده‌های ایمنی داخلی، با این انتقادات مقابله می‌کند. این شرکت استدلال می‌کند که مدل‌های باز در نهایت ایمن‌تر هستند زیرا به جامعه جهانی امنیت اجازه می‌دهند تا آسیب‌پذیری‌ها را به صورت شفاف شناسایی و وصله کنند.[4]

با وجود این بحث‌های جاری، داده‌های معیار قانع‌کننده هستند. در معیار MMLU (درک زبان چندوظیفه‌ای عظیم)، لاما ۴ امتیاز ۸۸.۴٪ را کسب کرد و آن را قاطعانه در رده بالای تمام سیستم‌های هوش مصنوعی موجود، باز یا بسته، قرار داد.[1][4]

همچنین عملکرد استثنایی در HumanEval، یک معیار دقیق کدنویسی، نشان داد و ثابت کرد که آموزش چندوجهی آن قابلیت‌های استدلال منطقی و ریاضی اصلی آن را کاهش نداده است—که یک مشکل رایج در سیستم‌های چندوجهی اولیه بود.[4]

در نهایت، لاما ۴ نشان‌دهنده یک تغییر عمیق در اکوسیستم هوش مصنوعی است. متا با اثبات اینکه مدل‌های با وزن باز می‌توانند در مرز مطلق تحقیقات هوش مصنوعی رقابت کنند، تضمین می‌کند که آینده هوش مصنوعی یک تلاش مشترک و غیرمتمرکز باقی بماند، نه انحصاری که در دست چند آزمایشگاه بسته باشد.[3][5]