استارتاپ اینسپشن از مدل زبان بزرگ مبتنی بر انتشار رونمایی کرد؛ ادعای چند برابر شدن سرعت و نصف شدن هزینه نسبت به مدل‌های رایج

صنعت هوش مصنوعی دارای یک محدودیت سرعت اساسی است. تقریباً به مدت یک دهه، مدل‌های زبان بزرگ تقریباً به طور انحصاری به معماری ترنسفورمر متکی بوده‌اند؛ سیستمی که متن را به صورت خودرگرسیو (Autoregressively) تولید می‌کند—به این معنی که کلمه بعدی را، یک کلمه در هر لحظه، محاسبه و پیش‌بینی می‌کند. اگرچه این روش جهش‌های شگفت‌انگیزی در استدلال ماشینی ایجاد کرده است، اما از نظر محاسباتی بسیار طاقت‌فرسا و ذاتاً متوالی (Sequential) است.[2][6]

روز دوشنبه، استارتاپ اینسپشن (Inception AI) مستقر در سانفرانسیسکو، با خروج از حالت پنهان‌کاری (Stealth)، این پارادایم را به چالش کشید و از نوعی مدل زبان که اساساً متفاوت است، رونمایی کرد. این شرکت که با ۱۱۰ میلیون دلار سرمایه در مرحله سری A حمایت شده است، معماری ترنسفورمر را به طور کامل کنار گذاشته و به نفع معماری «انتشار» (Diffusion) حرکت کرده است.[1][5]

ادعاهای مطرح شده در مورد این رونمایی بسیار چشمگیر است. اینسپشن اعلام می‌کند که مدل پرچمدار آن‌ها در مقایسه با مدل‌های خودرگرسیو با اندازه مشابه، ۴ تا ۶ برابر افزایش سرعت تولید دارد، در حالی که همزمان هزینه‌های محاسباتی استنتاج (Inference) را تا ۵۰ درصد کاهش می‌دهد. در تست‌های اولیه بنچمارک که با توسعه‌دهندگان به اشتراک گذاشته شد، این مدل مقاله‌های منسجم ۱۰۰۰ کلمه‌ای را در کمتر از یک ثانیه تولید کرد و به طور کامل از اثر تایپ کلمه به کلمه که در ابزارهایی مانند ChatGPT دیده می‌شود، عبور کرد.[1][7]

برای درک سازوکار این پیشرفت، باید به گلوگاه سخت‌افزاری خاصی که حل می‌کند، توجه کرد. مدل‌های خودرگرسیو سنتی از آنچه مهندسان تراشه «دیوار حافظه» (Memory Wall) می‌نامند، رنج می‌برند. از آنجا که این مدل‌ها متن را به صورت متوالی تولید می‌کنند، واحد پردازش گرافیکی (GPU) باید وزن‌های کل مدل عظیم را برای هر توکنی که تولید می‌کند، در حافظه فعال خود بارگذاری کند. پردازنده زمان بیشتری را صرف انتظار برای انتقال داده‌ها از طریق باس حافظه می‌کند تا اینکه واقعاً محاسبات را انجام دهد.[2]

در مقابل، مدل‌های انتشار به صورت متوالی کار نمی‌کنند. این همان ریاضیات زیربنایی است که به مولدهای تصویر مانند میدجرنی (Midjourney) و دال-ای (DALL-E) قدرت می‌دهد. در تولید تصویر، یک مدل انتشار با یک بوم از نویز ایستا (Static Noise) خالص شروع می‌کند و به صورت تکراری کل تصویر را به طور همزمان پالایش می‌کند تا زمانی که یک تصویر منسجم پدیدار شود. کل بلوک خروجی به صورت موازی پردازش می‌شود.[6]

به کارگیری این تکنیک موازی «حذف نویز» (Denoising) برای متن، از لحاظ تاریخی یک مانع بزرگ ریاضی بوده است. کلمات موجودیت‌های گسسته (Discrete) هستند؛ شما نمی‌توانید یک «نصف کلمه» یا یک «پیکسل ترکیب شده» از متن داشته باشید، همانطور که در تصویر می‌توانید. اینسپشن این مشکل را با نگاشت واژگان انسانی به یک فضای ریاضی پیوسته و چندبعدی حل کرد. این مدل به جای حدس زدن کلمه بعدی، با یک بلوک نویز ریاضی شروع می‌کند و به طور همزمان یک پاراگراف کامل متن را «نویززدایی» می‌کند.[3][4]

از آنجا که مدل کل بلوک خروجی را به صورت موازی پردازش می‌کند، تعداد دفعاتی که داده‌ها باید بین باس حافظه GPU جابجا شوند، به شدت کاهش می‌یابد. این کارایی سخت‌افزاری مستقیماً به کاهش ۵۰ درصدی ادعایی در هزینه‌های عملیاتی منجر می‌شود. در نهایت به GPU اجازه داده می‌شود کاری را که در آن بهترین است انجام دهد: ضرب ماتریس موازی گسترده، بدون نیاز به انتظار برای بارگذاری‌های متوالی حافظه.[2][5]

برای توسعه‌دهندگان سازمانی، این تغییر معماری فقط یک کنجکاوی فنی نیست؛ بلکه یک صرفه‌جویی حیاتی در حاشیه سود است. شرکت‌هایی که ربات‌های خدمات مشتری با حجم بالا، خدمات ترجمه بلادرنگ، یا خطوط لوله استخراج داده‌های عظیم را اجرا می‌کنند، در حال حاضر ماهانه میلیون‌ها دلار برای محاسبات ابری هزینه می‌کنند. مدلی که این هزینه را نصف کند و در عین حال پاسخ‌ها را فوراً برگرداند، اساساً اقتصاد واحد (Unit Economics) استقرار هوش مصنوعی در مقیاس بزرگ را تغییر می‌دهد.[5][7]

با این حال، این معماری بدون منتقدان و بده‌بستان‌های فنی نیست. در حالی که انتشار برای تولید بلوک‌های متنی با طول ثابت فوق‌العاده سریع است، در حال حاضر با وظایف استدلالی با پایان باز که در آن‌ها طول پاسخ مورد نیاز غیرقابل پیش‌بینی است، مشکل دارد. از آنجا که مدل یک «بوم» ثابت از متن را به طور همزمان پالایش می‌کند، اساساً باید قبل از شروع تولید، حدس بزند که پاسخ آن چقدر باید طولانی باشد.[3][6]

علاوه بر این، مدل‌های خودرگرسیو از یک دهه تحقیق فشرده در زمینه بهینه‌سازی و مقیاس‌بندی بهره‌مند شده‌اند. محققان مستقل اشاره می‌کنند که اگرچه مدل اینسپشن بسیار سریع است، اما قابلیت‌های استدلال منطقی آن در زمینه‌های کدنویسی پیچیده، ریاضیات پیشرفته، یا پازل‌های منطقی چندمرحله‌ای، هنوز به طور محسوسی از مدل‌های پیشگام و پیشرفته آزمایشگاه‌های قدیمی عقب‌تر است.[2][4]

اینسپشن این محدودیت‌های فعلی را می‌پذیرد. این شرکت انتشار اولیه خود را نه به عنوان یک هوش عمومی مصنوعی که برای حل اسرار جهان طراحی شده، بلکه به عنوان یک مدل «اسب بارکش» بسیار کارآمد معرفی می‌کند. این مدل به طور خاص برای ۸۰ درصد وظایف استاندارد سازمانی—خلاصه‌سازی، پیش‌نویس‌نویسی، قالب‌بندی، و پاسخگویی به پرسش‌های اولیه—ساخته شده است که در آن‌ها سرعت و هزینه بسیار مهم‌تر از استدلال عمیق و چندمرحله‌ای است.[1][7]

این رونمایی نشان‌دهنده یک روند گسترده‌تر و رو به رشد در صنعت هوش مصنوعی است. همانطور که قوانین مقیاس‌بندی ترنسفورمرهای سنتی شروع به برخورد با محدودیت‌های شدید اقتصادی و انرژی می‌کنند، سرمایه خطرپذیر به طور فزاینده‌ای به سمت معماری‌های جایگزین سرازیر می‌شود. از مدل‌های فضای حالت (State Space Models) گرفته تا شبکه‌های انتشار زمان پیوسته، رقابت برای یافتن یک موتور پایدارتر برای رونق هوش مصنوعی آغاز شده است.[3][5]

اگر مدل انتشار زمان پیوسته اینسپشن در استقرارهای سازمانی واقعی قوی و قابل اعتماد ثابت شود، ممکن است نشانگر پایان انحصار خودرگرسیو باشد. چشم‌انداز هوش مصنوعی در اواخر دهه ۲۰۲۰ می‌تواند از یک مدل ترنسفورمر «یک اندازه برای همه» به سمت یک اکوسیستم متنوع از معماری‌های تخصصی و بسیار کارآمد تغییر کند.[4][5]