مِیتوان از «لانگ‌کت-۲.۰» رونمایی کرد؛ اولین مدل هوش مصنوعی یک تریلیون پارامتری که کاملاً با سیلیکون داخلی آموزش دیده است

در یک نقطه عطف که مرزهای رقابت جهانی هوش مصنوعی را بازتعریف می‌کند، شرکت غول فناوری چینی مِیتوان از «لانگ‌کت-۲.۰» (LongCat-2.0) رونمایی کرد؛ یک مدل هوش مصنوعی پیشرو که دارای یک تریلیون پارامتر است. در حالی که مقیاس این مدل آن را در رده‌های بالای سیستم‌های هوش مصنوعی جهانی قرار می‌دهد، اهمیت واقعی آن در منشأ آن نهفته است: لانگ‌کت-۲.۰ اولین مدل در این اندازه است که کاملاً با سیلیکون داخلی چین آموزش دیده است.[1]

این اعلامیه، یک فرض قدیمی در سیلیکون ولی و واشنگتن را به چالش می‌کشد: اینکه تراکم محاسباتی محض و الزامات شبکه‌ای مدل‌های یک تریلیون پارامتری، به طور قطع نیازمند سخت‌افزار شرکت آمریکایی انویدیا است. مِیتوان با موفقیت مدیریت یک کلاستر عظیم از تراشه‌های داخلی، ملموس‌ترین شواهد را تا به امروز ارائه کرده است که اکوسیستم‌های جایگزین نیمه‌رسانا می‌توانند از توسعه هوش مصنوعی پیشرفته پشتیبانی کنند.[2]

مِیتوان، که در سطح جهانی عمدتاً به عنوان یک غول خدمات محلی و تحویل غذا شناخته می‌شود، در طول سه سال گذشته به شدت به سمت تحقیقات هوش مصنوعی بنیادی متمایل شده است. انتشار لانگ‌کت-۲.۰ نشان‌دهنده گذار این شرکت از مصرف‌کننده هوش مصنوعی به یک معمار اصلی است و آن را در کنار بایدو، علی‌بابا و تنسنت در پیشگامان هوش مصنوعی داخلی چین قرار می‌دهد.[3]

بر اساس گزارش فنی منتشر شده توسط آزمایشگاه هوش مصنوعی مِیتوان، لانگ‌کت-۲.۰ از معماری «ترکیب پراکنده متخصصان» (Sparse Mixture-of-Experts یا MoE) استفاده می‌کند. این طراحی تنها زیرمجموعه‌ای از یک تریلیون پارامتر خود را برای هر پرس‌وجوی معین فعال می‌کند و کارایی را به حداکثر می‌رساند. در بنچمارک‌های اولیه، این مدل قابلیت‌های استدلال، کدنویسی و چندزبانه را تقریباً در حد مدل‌های کلاس GPT-4 نشان می‌دهد، اگرچه از پیشرفته‌ترین سیستم‌های غربی که اخیراً منتشر شده‌اند، عقب‌تر است.[5][6]

مکانیسم پشت این دستاورد، یک شاهکار در غلبه بر محدودیت‌های سخت‌افزاری از طریق نبوغ نرم‌افزاری است. آموزش یک مدل هوش مصنوعی عظیم صرفاً در مورد قدرت محاسباتی خام یا FLOPs نیست؛ بلکه اساساً یک مشکل شبکه‌ای است. داده‌ها باید به طور یکپارچه بین ده‌ها هزار تراشه جریان یابند. مزیت اصلی انویدیا برای مدت طولانی NVLink بوده است، یک فناوری اتصال اختصاصی که به پردازنده‌های گرافیکی آن اجازه می‌دهد حافظه را با سرعت‌های سرسام‌آور به اشتراک بگذارند.[4]

تراشه‌های داخلی چین، که به طور گسترده‌ای اعتقاد بر این است که آخرین نسل از سری Ascend هواوی هستند، دارای قدرت محاسباتی خام قابل توجهی هستند اما از نظر تاریخی از پهنای باند اتصال کندتری رنج می‌برند. برای دور زدن این «دیوار حافظه»، مهندسان مِیتوان مجبور شدند معماری آموزش را از پایه بازنگری کنند.[4]

راه‌حل در قالب یک چارچوب آموزش توزیع‌شده سفارشی ارائه شد. مِیتوان یک استراتژی آموزش موازی ۴ بُعدی نوین را توسعه داد که مدل را به گونه‌ای در سراسر کلاستر تقسیم می‌کند که نیاز به «صحبت» مداوم تراشه‌ها با یکدیگر را به حداقل می‌رساند. با کاهش سربار ارتباطی تا حدود ۴۰ درصد، آنها به تراشه‌های داخلی اجازه دادند زمان بیشتری را صرف محاسبه کنند و زمان کمتری را منتظر داده‌ها بمانند.[5][6]

بهینه‌سازی نرم‌افزاری به همان اندازه حیاتی بود. اکوسیستم جهانی هوش مصنوعی به شدت به CUDA، پلتفرم نرم‌افزاری اختصاصی انویدیا، وابسته است. انتقال به سیلیکون داخلی نیازمند بازنویسی کدهای عظیم برای اجرا بر روی پلتفرم‌های جایگزین مانند CANN (معماری محاسباتی برای شبکه‌های عصبی) هواوی است. مِیتوان یک کامپایلر سفارشی به نام «کاتاپولت» (Catapult) را به کار گرفت که عملیات تانسور را به طور خودکار برای ویژگی‌های خاص سخت‌افزار داخلی ترجمه و بهینه‌سازی می‌کند.[6]

شاید دلهره‌آورترین چالش، تحمل خطا بود. آموزش یک مدل یک تریلیون پارامتری نیازمند اجرای مداوم یک کلاستر متشکل از تقریباً ۳۰,۰۰۰ تراشه برای بیش از ۹۰ روز است. در هر کلاستر با این اندازه، خرابی سخت‌افزاری یک اتفاق روزمره است. اگر یک تراشه از کار بیفتد و سیستم نتواند بازیابی شود، روزها پیشرفت آموزش – و میلیون‌ها دلار برق – ممکن است از دست برود.[3][5]

مقاله فنی مِیتوان یک سیستم «چک‌پوینت‌گیری ناهمزمان» را شرح می‌دهد که وضعیت مدل را هر چند دقیقه یک بار بدون توقف فرآیند آموزش ذخیره می‌کند. هنگامی که یک گره داخلی از کار می‌افتد، سیستم به طور خودکار سخت‌افزار مرده را ایزوله می‌کند، بار کاری را به تراشه‌های پشتیبان بیکار اختصاص می‌دهد و آموزش را ظرف ۴۵ ثانیه از سر می‌گیرد. این تحمل خطای قوی، ستون فقراتی بود که اجرای سه ماهه آموزش را امکان‌پذیر ساخت.[5][6]

برای اثبات کارایی پشته فناوری خود، مِیتوان یک نسخه کوچک‌تر ۷۰ میلیارد پارامتری از لانگ‌کت-۲.۰ را به صورت متن‌باز منتشر کرده است، همراه با کد استنتاج بهینه‌سازی شده برای سخت‌افزار داخلی. محققان مستقل قبلاً شروع به آزمایش مدل با وزن باز کرده‌اند و تأیید می‌کنند که معماری زیربنایی سالم و در جدول‌های امتیازدهی متن‌باز بسیار رقابتی است.[3][4]

با وجود این پیروزی، تحلیلگران صنعت به هزینه‌های پنهان دور زدن انویدیا اشاره می‌کنند. مبادله اصلی، بهره‌وری انرژی است. سیلیکون داخلی، که به دلیل تحریم‌های تجهیزات بر روی گره‌های فرآیندی کمی قدیمی‌تر تولید می‌شود، برای دستیابی به همان خروجی محاسباتی، به طور قابل توجهی به انرژی بیشتری نیاز دارد. برآوردها نشان می‌دهد که اجرای آموزش مِیتوان تا ۴۵ درصد بیشتر از یک اجرای معادل بر روی H100های انویدیا برق مصرف کرده است.[2][4]

بازده تولید، لایه دیگری از عدم قطعیت را ایجاد می‌کند. در حالی که مِیتوان با موفقیت ۳۰,۰۰۰ تراشه مورد نیاز برای این اجرا را به دست آورد، مقیاس‌بندی به مرز بعدی – مدل‌هایی با ۱۰ تریلیون پارامتر – به صدها هزار پردازنده نیاز خواهد داشت. اینکه آیا ریخته‌گری‌های داخلی چین می‌توانند این تراشه‌ها را در آن حجم، با بازده کافی بالا برای مدیریت هزینه‌ها، تولید کنند، یک پرسش باز باقی می‌ماند.[2]

با این حال، پیامدهای ژئوپلیتیک لانگ‌کت-۲.۰ عمیق است. کنترل‌های صادراتی آمریکا، که برای خفه کردن دسترسی چین به قابلیت‌های پیشرفته هوش مصنوعی طراحی شده بودند، در عوض به عنوان یک کاتالیزور قدرتمند برای خودکفایی داخلی عمل کرده‌اند. با مجبور کردن غول‌های فناوری چینی به سرمایه‌گذاری سنگین در پشته‌های نرم‌افزاری و سخت‌افزاری خود، این محدودیت‌ها ناخواسته یک اکوسیستم هوش مصنوعی موازی و کاملاً مستقل را به وجود آورده‌اند.[1]

همانطور که «پرده سیلیکونی» سخت‌تر می‌شود، چشم‌انداز جهانی هوش مصنوعی در حال دو شاخه شدن است. موفقیت مِیتوان ثابت می‌کند که مانع ورود به هوش مصنوعی پیشرو دیگر به طور سختگیرانه توسط یک فروشنده سخت‌افزار غربی کنترل نمی‌شود. اکنون مسابقه به سمت هوش عمومی مصنوعی در دو مسیر کاملاً جداگانه در حال انجام است.[2]