رفتن به محتوای اصلی
مدل‌های پایهمایکروسافت· 5 دقیقه مطالعه· در هوش مصنوعی

مایکروسافت پیش‌آموزش مدل ۲.۸ تریلیون پارامتری MAI-Base-2 را به پایان رساند

مایکروسافت مرحله سنگین و پردازش‌محور پیش‌آموزش مدل پایه جدید خود را به پایان رساند؛ مدلی که برای کاهش مصرف انرژی تنها کسری از شبکه خود را فعال می‌کند. این غول فناوری با تکیه بر معماری تازه مدعی جهش چشمگیر در بهره‌وری شده و خود را برای رقابت با جایگزین‌های متن‌باز آماده می‌کند.

به قلم کوروش پاکزاد

این خبر را به اشتراک بگذارید

مدلی با ۲.۸ تریلیون پارامتر تقریباً معادل یک میلی‌متر مکعب از بافت مغز انسان اتصالات دارد؛ مقیاسی غول‌آسا که نیازمند هماهنگی محاسباتی عظیمی است. اکنون مایکروسافت رسماً به این آستانه رسیده و مرحله پیش‌آموزش مدل پایه اختصاصی جدید خود به نام MAI-Base-2 را تکمیل کرده است. این نقطه عطف، تحولی بنیادین در نحوه توسعه هوش مصنوعی سازمانی به شمار می‌رود.[1]

ابعاد شبکه تنها نیمی از ماجراست. با اینکه مدل ۲.۸ تریلیون پارامتر کلی را در خود ذخیره می‌کند، برای پاسخ به هر پرسش فقط ۸۰ میلیارد پارامتر آن فعال می‌شوند. این انتخاب در معماری به سامانه اجازه می‌دهد دانش گسترده‌ای را حفظ کند، بدون آنکه برای تولید هر پاسخ نیاز به مصرف توانی غیرممکن از برق داشته باشد.[1][6]

بخش هوش مصنوعی مایکروسافت روز پنج‌شنبه پایان دوره پیش‌آموزش این مدل لبه دانش را اعلام کرد؛ نشانه‌ای از اینکه پرهزینه‌ترین و سنگین‌ترین گام توسعه سپری شده است. این شرکت ادعا می‌کند معماری جدید، بهره‌وری عملیاتی را بین ۴ تا ۱۲ برابر نسبت به نسل‌های پیشین افزایش می‌دهد؛ معیاری که مستقیماً به کاهش هزینه‌های عملیاتی مشتریان ابری ترجمه می‌شود.[1]

بخش هوش مصنوعی مایکروسافت در بیانیه خود آورده است: «ما سازوکار مسیریابی را از پایه بازطراحی کرده‌ایم تا در جریان استنتاج، فقط مرتبط‌ترین زیرشبکه‌های خبره فعال شوند.» شرکت تأکید کرده که این رویکرد مانع از مصرف هم‌زمان انرژی توسط کل ساختار ۲.۸ تریلیون پارامتری می‌شود.[1]

معماری تُنُک به مدل اجازه می‌دهد دانشی وسیع را ذخیره کرده و در عین حال تنها بخش کوچکی از شبکه را برای هر پرسش فعال سازد.

سازوکار مسیریابی تُنُک

این سیستم متکی بر روشی به نام «ترکیب کارشناسان» (Mixture of Experts) است که مدل را به حوزه‌های تخصصی تقسیم می‌کند. هنگامی که کاربر سؤالی درباره برنامه‌نویسی می‌پرسد، مدل پرسش را تنها به سمت پارامترهایی هدایت می‌کند که برای توسعه نرم‌افزار آموزش دیده‌اند. مابقی شبکه خاموش می‌ماند و این سازوکار هم زمان را حفظ می‌کند و هم در مصرف پردازش صرفه‌جویی می‌آورد.[6]

به گزارش دِ بات پست، همین آستانه ۸۰ میلیارد پارامتر فعال کلید توجیه‌پذیری تجاری مدل است. با کوچک نگه‌داشتن بار فعال محاسباتی، مایکروسافت می‌تواند MAI-Base-2 را روی پیکربندی‌های سخت‌افزاری استاندارد سازمانی اجرا کند؛ یعنی مشتریان نیازی به خرید سرورهای اختصاصی تازه برای استقرار محلی نخواهند داشت.[6]

این ادعای کارآمدی مستقیماً استانداردهای فعلی متن‌باز را که بازار را در دست دارند به چالش می‌کشد. مدل‌های متا و میسترال دقیقاً به این دلیل محبوب شده‌اند که اندازه آن‌ها به اندازه کافی کوچک است و اجرای ارزان‌قیمتی دارند. اکنون مایکروسافت می‌کوشد قدرت استدلال یک مدل عظیم مرزی را با هزینه اجرای یک مدل بازوزن به‌مراتب کوچک‌تر ارائه دهد.[2][6]

پایگاه اینوستینگ دات‌کام اشاره می‌کند که افزایش ۴ تا ۱۲ برابری بهره‌وری می‌تواند حاشیه سود رایانش ابری را بازتعریف کند. اگر یک ارائه‌دهنده ابری بتواند با همان تعداد پردازنده گرافیکی به چهار برابر مشتری خدمات دهد، اقتصاد بنیادین هوش مصنوعی مولد دگرگون می‌شود و اتوماسیون پیشرفته در دسترس کسب‌وکارهای کوچک‌تر قرار می‌گیرد.[4]

مرحله پیش‌آموزش که اکنون پایان یافته، گران‌ترین بخش ساخت یک سیستم هوش مصنوعی است. در این بازه، مدل با جذب پتابایت‌ها متن خام، الگوهای آماری بنیادی زبان انسان را می‌آموزد. این گام مستلزم کار مداوم هزاران تراشه تخصصی در طول ماه‌هاست که مگاوات‌ها برق مصرف می‌کنند.[3]

مایکروسافت مدعی است سازوکار مسیریابی بازطراحی‌شده، بهره‌وری عملیاتی را بین ۴ تا ۱۲ برابر ارتقا می‌دهد.

ورود به مرحله هم‌ترازی

با تکمیل پایه آماری خام، مدل وارد مرحله تنظیم دقیق و هم‌ترازی می‌شود. در این مرحله، مهندسان از بازخورد انسانی و مجموعه‌داده‌های تخصصی بهره می‌گیرند تا به سامانه بیاموزند چطور از دستورالعمل‌ها پیروی کند و به درخواست‌های مخرب پاسخ ندهد. این فرآیند ثانویه به قدرت پردازش بسیار کمتری نیاز دارد اما نیازمند نظارت انسانی دقیقی است.[1]

استریت‌اینسایدر گزارش می‌دهد که اتمام موفقیت‌آمیز پیش‌آموزش اثبات می‌کند زیرساخت داخلی مایکروسافت توان مدیریت بارهای کاری در مقیاس فوق‌سنگین را دارد. شرکت سرمایه‌گذاری سنگینی روی شبکه‌سازی سفارشی و سامانه‌های خنک‌کننده کرده تا هزاران پردازنده را هماهنگ نگه دارد؛ چرا که یک نقص کوچک در این مرحله پژوهشگران را وادار به شروع دوباره کل فرآیند چندماهه می‌کند.[3]

ترکیب دقیق داده‌های آموزشی همچنان محرمانه مانده است؛ رویه‌ای که در میان توسعه‌دهندگان مدل‌های پیشرو رایج است. با این حال، مقیاس محض ۲.۸ تریلیون پارامتر نشان می‌دهد مدل در معرض بخش عظیمی از اینترنت عمومی قرار گرفته است. محققان از این حجم عظیم داده استفاده می‌کنند تا مطمئن شوند سیستم از پس حالت‌های مرزی و نادر نیز برمی‌آید.[1][5]

کریپتو بریفینگ گزارش می‌دهد که ساخت MAI-Base-2 بخشی از راهبرد کلان مایکروسافت برای کاهش وابستگی به شرکای خارجی است. با ساخت یک مدل اختصاصی هم‌تراز با برترین گزینه‌های متن‌باز، مایکروسافت زنجیره تأمین خود را ایمن می‌سازد و می‌تواند فناوری را مستقیماً بدون محدودیت‌های مجوز شخص ثالث وارد ویندوز و آفیس کند.[2]

ردپای فعال ۸۰ میلیارد پارامتری راه را برای روندهای کاری کارگزارمحور پیشرفته نیز هموار می‌کند. زمانی که یک کارگزار هوش مصنوعی ناچار است برای انجام یک وظیفه هزاران تصمیم متوالی بگیرد، سرعت استنتاج به گلوگاه اصلی تبدیل می‌شود. مدلی که تنها کسری از شبکه را فعال می‌کند می‌تواند این تصمیم‌ها را با سرعتی کافی برای کاربرد واقعی تولید کند.[6]

طرح گرافیکی: تکمیل موفقیت‌آمیز پیش‌آموزش نشان می‌دهد سامانه‌های شبکه و خنک‌کننده سفارشی این شرکت توان تحمل سنگین‌ترین بارهای کاری پردازشی را بدون نقص فنی دارند.

رقابت با دنیای متن‌باز

زمان‌بندی این اعلام هم‌زمان با جهش مدل‌های بازوزن بسیار توانمند از سوی رقباست. بریکینگ د نیوز تأکید می‌کند که صنعت هوش مصنوعی در حال حاضر درگیر یک جنگ قیمتی تمام‌عیار بر سر هزینه استنتاج است و معماری جدید مایکروسافت دقیقاً برای پیروزی در این رقابت کاهش قیمت طراحی شده است.[5]

اگرچه پیش‌آموزش به پایان رسیده، مدل هنوز در دسترس عموم نیست. مرحله هم‌ترازی بسته به پیچیدگی چارچوب‌های ایمنی مورد نیاز، معمولاً بین چند هفته تا چند ماه به طول می‌انجامد. توسعه‌دهندگان در این مدت به ارزیابی شبکه در برابر آسیب‌پذیری‌ها و خروجی‌های جانبدارانه می‌پردازند تا پیش از رسیدن به دست مشتریان سازمانی ایمن شود.[1][3]

گذار از مدل‌های متراکم که در آن‌ها تک‌تک پارامترها فعال می‌شوند به مدل‌های تُنُک نظیر MAI-Base-2، نماد بلوغ این حوزه است. پژوهشگران دیگر صرفاً توان محاسباتی خام را بالا نمی‌برند، بلکه روش‌های هوشمندانه‌تری برای مصرف آن مهندسی می‌کنند؛ همین ظرافت در معماری است که به غول ۲.۸ تریلیون پارامتری اجازه می‌دهد بهینه کار کند.[4][6]

موفقیت نهایی MAI-Base-2 با میزان کارایی آن در کاربردهای تجاری و واقعی سنجیده خواهد شد، نه صرفاً با شمارش تعداد پارامترهایش. اگر وعده افزایش بهره‌وری زیر بار سنگین سازمانی پابرجا بماند، درستی رویکرد ترکیب کارشناسان در مرزهای فناوری اثبات خواهد شد. چند ماه آینده و نتایج تنظیم دقیق مشخص می‌کند که چه زمانی مشتریان ابری می‌توانند صحت این ادعاها را بسنجند.[2][4]

نکات کلیدی

  1. مایکروسافت مرحله دریافت و یادگیری داده‌های خام را برای مدل ۲.۸ تریلیون پارامتری MAI-Base-2 به پایان رسانده است.
  2. این سامانه از یک معماری تُنُک بهره می‌برد که در هر پرسش تنها ۸۰ میلیارد پارامتر را فعال می‌کند.
  3. مهندسان ادعا می‌کنند سازوکار مسیریابی، بهره‌وری استنتاج را بین ۴ تا ۱۲ برابر افزایش می‌دهد.
  4. مدل اکنون وارد مرحله هم‌ترازی شده تا پیش از عرضه تجاری، چارچوب‌های ایمنی آن تنظیم شود.

آنچه نمی‌دانیم

  • ترکیب دقیق و وضعیت مجوز پتابایت‌ها متنی که در مجموعه داده پیش‌آموزش استفاده شده است.
  • نحوه عملکرد قابلیت‌های استدلال این مدل در مقایسه با پیشگامان بازوزن فعلی نظیر سری لاما متعلق به متا.
  • تاریخ دقیق عرضه نهایی و ساختار قیمت‌گذاری برای مشتریان ابری سازمانی.
ارائه‌دهندگان رایانش ابری سازمانی 40%حامیان هوش مصنوعی متن‌باز 30%تحلیل‌گران زیرساخت هوش مصنوعی 30%
ارائه‌دهندگان رایانش ابری سازمانی
معتقدند مدل‌های تُنُک عظیم تنها راهکار ارائه هوش مصنوعی پیشرفته با حاشیه سود عملیاتی پایدار هستند.
حامیان هوش مصنوعی متن‌باز
استدلال می‌کنند که فارغ از ادعای بهینگی مدل‌های اختصاصی، گزینه‌های بازوزن همچنان حریم خصوصی داده و کنترل محلی بهتری برای توسعه‌دهندگان فراهم می‌سازند.
تحلیل‌گران زیرساخت هوش مصنوعی
بر سرمایه‌گذاری هنگفت مورد نیاز برای آموزش یک مدل ۲.۸ تریلیون پارامتری تمرکز دارند و یادآور می‌شوند تنها شمار اندکی از شرکت‌ها توان پرداخت هزینه محاسباتی اولیه را دارند.

دیدگاه‌هایی که این گزارش پوشش نداده

  • گروه‌های مدافع محیط‌زیست
  • پژوهشگران مستقل ایمنی هوش مصنوعی

منابع

پوشش منابع

6 منبع

3 دیدگاه شناسایی‌شده

ارائه‌دهندگان رایانش ابری سازمانی 40%حامیان هوش مصنوعی متن‌باز 30%تحلیل‌گران زیرساخت هوش مصنوعی 30%
  1. [1]Microsoft AIارائه‌دهندگان رایانش ابری سازمانی

    Frontier Pre-training at Microsoft AI

    مطالعه در Microsoft AI →
  2. [2]Crypto Briefingتحلیل‌گران زیرساخت هوش مصنوعی

    Microsoft finishes pre-training MAI-Base-2, its next in-house foundation model

    مطالعه در Crypto Briefing →
  3. [3]StreetInsiderارائه‌دهندگان رایانش ابری سازمانی

    Microsoft completes pre-training of MAI-Base-2 AI foundation model

    مطالعه در StreetInsider →
  4. [4]Investing.comارائه‌دهندگان رایانش ابری سازمانی

    Microsoft AI unveils 2.8 trillion-parameter model, claims efficiency gains

    مطالعه در Investing.com →
  5. [5]Breaking The Newsتحلیل‌گران زیرساخت هوش مصنوعی

    Microsoft completes MAI-Base-2 pre-training

    مطالعه در Breaking The News →
  6. [6]The Bot Postحامیان هوش مصنوعی متن‌باز

    Microsoft's MAI-Base-2: 2.8T Parameters, 80B Active and a 4-12x Efficiency Claim

    مطالعه در The Bot Post →

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

اخبار هوش مصنوعی با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.