چگونه میتُوان یک مدل هوش مصنوعی ۱.۶ تریلیون پارامتری را بدون تراشه‌های انویدیا آموزش داد

در چهار سال گذشته، رقابت جهانی برای ساخت هوش مصنوعی توسط یک گلوگاه شکننده و واحد تعریف شده است: سیلیکون پیشرفته. فرض غالب در میان سیاست‌گذاران و متخصصان فناوری غربی این بوده است که آموزش یک مدل هوش مصنوعی در مقیاس مرزی نیازمند دسترسی به پیشرفته‌ترین واحدهای پردازش گرافیکی (GPU) موجود در بازار است که تقریباً به طور انحصاری توسط انویدیا طراحی می‌شوند.

منطق این بود که اگر یک ملت یا شرکت نتواند این سخت‌افزار را تهیه کند، نمی‌تواند در خط مقدم توسعه هوش مصنوعی رقابت کند. این فرض بنیادی اکنون توسط یک رقیب غیرمنتظره در حال آزمایش است و محاسبات ژئوپلیتیکی صنعت نیمه‌رسانا را تغییر می‌دهد.[2][6]

این اختلال نه از یک آزمایشگاه تحقیقاتی تحت حمایت دولت و نه از یک استارتاپ تخصصی هوش مصنوعی، بلکه از میتُوان (Meituan)، یک غول فناوری چینی که بیشتر به خاطر شبکه گسترده تحویل غذا و لجستیک محلی‌اش شناخته می‌شود، نشأت گرفت. در ۳۰ ژوئن ۲۰۲۶، این شرکت «لانگ‌کت ۲.۰» (LongCat-2.0) را منتشر کرد، یک مدل هوش مصنوعی متن‌باز عظیم که ۱.۶ تریلیون پارامتر دارد.

اگرچه اندازه مدل قابل توجه است، اما تعداد پارامترها تیتر اصلی نیست. جزئیات حیاتی، سخت‌افزار زیرین آن است: میتُوان ادعا می‌کند که این مدل به طور کامل از ابتدا بر روی خوشه‌ای متشکل از ۵۰,۰۰۰ شتاب‌دهنده هوش مصنوعی داخلی چین و بدون استفاده از حتی یک تراشه انویدیا آموزش دیده است.[1][4]

برای درک اهمیت این موضوع، لازم است دو مرحله متمایز از چرخه عمر یک مدل هوش مصنوعی را از هم جدا کنیم: پیش‌آموزش (Pre-training) و استنتاج (Inference). استنتاج عمل اجرای یک مدل تکمیل‌شده برای تولید پاسخ است. این فرآیند از نظر محاسباتی سنگین است اما نسبتاً ساده.

اوایل امسال، دیگر توسعه‌دهندگان چینی توانایی اجرای استنتاج برای مدل‌های پرچمدار با استفاده از سیلیکون داخلی را نشان دادند. با این حال، آن‌ها همچنان برای مرحله پیش‌آموزش—فرآیند طاقت‌فرسای چندماهه تغذیه تریلیون‌ها کلمه به یک شبکه عصبی خام برای یادگیری الگوهای زیربنایی زبان و منطق انسانی—به GPUهای خارجی انبارشده متکی بودند.[1][6]

پیش‌آموزش به شدت بی‌رحمانه است. این فرآیند نیازمند ده‌ها هزار تراشه است که باید هفته‌ها در هماهنگی کامل کار کنند. یک وقفه ارتباطی، یک جهش ناگهانی در مصرف برق، یا یک رویداد فساد داده‌ای خاموش می‌تواند میلیون‌ها دلار برق و زمان محاسباتی را هدر دهد.

انجام این کار بر روی پشته سخت‌افزاری غیرانویدیا به این معنی است که چالش فقط قدرت پردازشی خام نیست؛ بلکه مربوط به لوله‌کشی نرم‌افزاری پیچیده‌ای است که برای حفظ پایداری کل خوشه مورد نیاز است. دستاورد میتُوان نشان می‌دهد که توسعه‌دهندگان چینی این زیرساخت نرم‌افزاری را به نقطه‌ای رسانده‌اند که می‌تواند یک اجرای آموزشی تریلیون پارامتری را مدیریت کند.[4][6]

طراحی معماری لانگ‌کت ۲.۰ در نحوه مدیریت این شاهکار توسط میتُوان بر روی سخت‌افزار محدود، محوری است. این سیستم از معماری «ترکیب متخصصان» (Mixture-of-Experts یا MoE) استفاده می‌کند. به جای فعال‌سازی تمام ۱.۶ تریلیون پارامتر برای هر کلمه‌ای که پردازش می‌کند، مدل هر وظیفه را به زیرشبکه‌های تخصصی یا «متخصصان» هدایت می‌کند.

در نتیجه، لانگ‌کت ۲.۰ تنها حدود ۴۸ میلیارد پارامتر را در هر توکن فعال می‌کند. این فعال‌سازی پراکنده سربار محاسباتی را قابل کنترل نگه می‌دارد و به مدل اجازه می‌دهد تا در عین حفظ ظرفیت کلی عظیم و پنجره متنی یک میلیون توکنی، به طور کارآمد اجرا شود.[1][4]

سخت‌افزاری که این خوشه را تغذیه می‌کند، نشان‌دهنده یک واگرایی فلسفی متمایز از توسعه هوش مصنوعی در غرب است. اگرچه میتُوان به طور رسمی نام فروشنده را اعلام نکرده است، اجماع صنعت به معماری Ascend 910C هواوی اشاره دارد. به دلیل کنترل‌های سخت‌گیرانه صادراتی ایالات متحده که در اکتبر ۲۰۲۲ وضع شد، تولیدکنندگان تراشه چینی از دستگاه‌های لیتوگرافی فرابنفش شدید (EUV) که برای ساخت پیشرفته‌ترین ترانزیستورهای جهان مورد نیاز هستند، محروم شده‌اند. در نتیجه، تراشه‌های داخلی مانند سری Ascend بر روی گره‌های ساخت قدیمی‌تر و کم‌بازده‌تر ساخته می‌شوند.[2][3]

برای جبران محدودیت‌های تراشه‌های منفرد، هواوی و شرکای آن به شدت به فلسفه طراحی «مقیاس‌دهی بیرونی» (Scale-out) روی آورده‌اند. اگر نتوانند یک تراشه واحد بسازند که با یک H100 انویدیا در عملکرد خام و بهره‌وری انرژی مطابقت داشته باشد، در عوض بر روی شبکه‌سازی ده‌ها هزار تراشه کمی ضعیف‌تر تمرکز می‌کنند.

این رویکرد متکی بر شبکه‌های پرسرعت اختصاصی و نرم‌افزارهای تخصصی، مانند معماری محاسباتی هواوی برای شبکه‌های عصبی (CANN)، برای هماهنگ‌سازی پردازش موازی عظیم است. این یک رویکرد صنعتی به محاسبات هوش مصنوعی است که رفتار مقیاس‌پذیری قابل پیش‌بینی را بر برتری تک‌تراشه اولویت می‌دهد.[3][6]

شواهد حمایت‌کننده از قابلیت‌های لانگ‌کت ۲.۰ فراتر از بیانیه‌های مطبوعاتی شرکت میتُوان است. به مدت دو ماه قبل از عرضه رسمی، این مدل به طور مخفیانه با نام رمز ناشناس «جغد آلفا» (Owl Alpha) در OpenRouter، یک پلتفرم محبوب توسعه‌دهندگان، مستقر شده بود.

در طول این دوره پنهان، توسعه‌دهندگان در سراسر جهان ناآگاهانه سیستم را بر روی وظایف پیچیده کدنویسی و عاملیت‌محور آزمایش کردند. این مدل از نظر حجم استفاده روزانه به جمع سه مدل برتر صعود کرد و تأیید مستقلی از عملکرد آن ارائه داد، قبل از اینکه کسی بداند این یک مدل چینی است که بر روی سخت‌افزار داخلی آموزش دیده است.[1][4]

با وجود این تأیید، عدم قطعیت‌های قابل توجهی در مورد اقتصاد و پایداری این رویکرد باقی می‌ماند. اگرچه میتُوان ثابت کرده است که آموزش یک مدل در مقیاس مرزی بر روی سیلیکون داخلی از نظر فنی ممکن است، اما این شرکت هزینه مالی یا مصرف برق اجرای یک خوشه ۵۰,۰۰۰ تراشه‌ای را فاش نکرده است.

مساحت دای و بهره‌وری انرژی تراشه‌های ساخته شده بر روی گره‌های قدیمی‌تر ذاتاً بدتر از همتایان پیشرفته آن‌ها است. به احتمال زیاد، آموزش لانگ‌کت ۲.۰ نیازمند برق و فضای فیزیکی مرکز داده به مراتب بیشتری نسبت به یک اجرای مشابه بر روی سخت‌افزار انویدیا بوده است.[3][6]

علاوه بر این، قابلیت اطمینان خوشه در طول اجرای آموزشی یک راز کاملاً محافظت‌شده باقی مانده است. اگرچه میتُوان ادعا می‌کند که این فرآیند بدون جهش‌های غیرقابل بازیابی از دست رفتن داده‌ها تکمیل شده است، نرخ خرابی روزانه گره‌های منفرد در یک خوشه ۵۰,۰۰۰ تراشه‌ای که بر روی سخت‌افزار جایگزین ساخته شده، نامعلوم است. اگر این خوشه برای آنلاین ماندن نیازمند تعمیر و نگهداری و جایگزینی سخت‌افزار دائمی باشد، هزینه واقعی این استقلال ممکن است برای همه به جز غول‌های فناوری با سرمایه بسیار زیاد، گزاف باشد.[4][6]

برای سیاست‌گذاران در واشنگتن، انتشار لانگ‌کت ۲.۰ مستلزم ارزیابی مجدد رژیم کنترل صادرات فعلی است. هدف اصلی محدودیت‌های اکتبر ۲۰۲۲ این بود که قابلیت‌های هوش مصنوعی چین را با محروم کردن از دسترسی به سخت‌افزار فیزیکی که برای توسعه مرزی ضروری تلقی می‌شد، متوقف کند.

مورد مطالعاتی میتُوان نشان می‌دهد که مهار مبتنی بر محاسبات، یک دیوار نفوذناپذیر نیست. در عوض، این محدودیت به عنوان یک عامل اجبار عمل کرده و شرکت‌های چینی را وادار کرده است تا معماری‌های نرم‌افزاری و شبکه‌ای خود را به شدت بهینه‌سازی کنند تا کمبود سخت‌افزار را دور بزنند.[2][5]

این پویایی نشان می‌دهد که محدودیت اصلی در توسعه هوش مصنوعی چین تغییر کرده است. سؤال دیگر این نیست که آیا سخت‌افزار داخلی می‌تواند با موفقیت یک مدل تریلیون پارامتری را آموزش دهد، بلکه این است که این آموزش با چه هزینه مالی و زیست‌محیطی انجام می‌شود.

کنترل‌های صادراتی همچنان یک «مالیات اصطکاک» شدید بر توسعه‌دهندگان چینی تحمیل می‌کنند و آن‌ها را مجبور می‌سازند تا مشکلات زیرساختی پیچیده‌ای را حل کنند که همتایان غربی‌شان تا حد زیادی می‌توانند نادیده بگیرند. با این حال، با بلوغ این راه‌حل‌های نرم‌افزاری، اثربخشی تحریم‌های سخت‌افزارمحور ممکن است به تدریج کاهش یابد.[5][6]

برای پذیرندگان و توسعه‌دهندگان هوش مصنوعی سازمانی، منشأ ژئوپلیتیکی سخت‌افزار در درجه دوم اهمیت نسبت به کاربرد مدل قرار دارد. انتشار متن‌باز لانگ‌کت ۲.۰ تحت مجوز MIT، ابزار بسیار توانمند دیگری را به اکوسیستم متن‌باز تزریق می‌کند. عملکرد قوی آن در وظایف کدنویسی عاملیت‌محور، همراه با پنجره متنی عظیم، آن را به یک جایگزین مناسب برای کسب‌وکارهایی تبدیل می‌کند که به دنبال ساخت عوامل نرم‌افزاری خودمختار بدون اتکا به APIهای اختصاصی گران‌قیمت هستند.[1][4]

در نهایت، نقطه عطف لانگ‌کت ۲.۰ ماهیت دوگانه تحریم‌های فناوری را نشان می‌دهد. در حالی که آن‌ها با موفقیت پیشرفت را به تأخیر می‌اندازند و هزینه‌ها را برای ملت هدف افزایش می‌دهند، به طور ناخواسته یارانه ایجاد زنجیره‌های تأمین موازی و مستقل را نیز فراهم می‌کنند.

میتُوان با اثبات اینکه اکوسیستم انویدیا تنها مسیر قابل دوام برای هوش مصنوعی مرزی نیست، نه تنها یک مدل زبان جدید منتشر کرده است؛ بلکه یک طرح اولیه برای استقلال سخت‌افزاری ارائه داده است که سازمان‌های دیگر ناگزیر تلاش خواهند کرد تا آن را دنبال کنند.[2][6]