هزینه درجه دوم در برابر سود خطی: چگونه اندازه مدل باعث افزایش تاخیر و هزینه استنتاج می‌شود

در ۱۷ مارس ۲۰۲۶، انتشار داشبورد به‌روزشده قوانین مقیاس‌پذیری مدل‌های زبانی بزرگ (LLM Scaling Laws)، شکافی ساختاری را در اقتصاد هوش مصنوعی نمایان کرد. به مدت سه سال، این صنعت بر اساس یک فرض ساده عمل می‌کرد: تغذیه داده‌های بیشتر و پنجره‌های زمینه طولانی‌تر به شبکه‌های عصبی بزرگ‌تر، به‌طور قابل‌اطمینانی مدل‌های هوشمندتری تولید می‌کند. اما داده‌های جدید ثابت کرد که ریاضیات بنیادین معماری ترانسفورمر، هزینه‌های محاسباتی را مجبور به رشد درجه دوم می‌کند، در حالی که قابلیت‌های استدلالی تنها به‌صورت خطی بهبود می‌یابند.[1][5]

گلوگاه اصلی در مکانیزم خودتوجهی (self-attention) نهفته است؛ همان نوآوری کلیدی که به ترانسفورمرها اجازه می‌دهد رابطه بین کلمات را در یک توالی درک کنند. همان‌طور که پدرام حسینی (Pedram Hosseini) در تحلیل سال ۲۰۲۵ خود از پیچیدگی درجه دوم توضیح داد، هر بار که یک توکن به پنجره زمینه یک مدل اضافه می‌شود، باید از نظر ریاضی خود را با تمام توکن‌هایی که پیش از آن آمده‌اند مقایسه کند.[2]

حسینی در این باره نوشت: «وقتی پنجره زمینه را دو برابر می‌کنید، کار محاسباتی دو برابر نمی‌شود؛ بلکه چهار برابر می‌شود.» این پیچیدگی O(n²) به این معناست که گسترش حافظه یک مدل از ۸,۰۰۰ توکن به ۱۲۸,۰۰۰ توکن، بار کاری مکانیزم توجه را ۲۵۶ برابر می‌کند که نیازمند پردازش موازی عظیم است و تاخیر استنتاج را به‌شدت بالا می‌برد.[2][4]

نادیده گرفتن پیامدهای مالی این واقعیت ریاضی دیگر غیرممکن شده است. بر اساس تحقیقات Epoch AI در مورد اقتصاد استنتاج مدل‌های زبانی، هزینه تولید تنها یک پاسخ از یک مدل پیشگام با پنجره زمینه کاملاً پرشده یک میلیون توکنی، اکنون با هزینه آموزش یک مدل کوچک از پایه در چند سال پیش برابری می‌کند.[1]

تحلیل Factlen از داده‌های مقیاس‌پذیری سال ۲۰۲۶، آستانه دقیقی را نشان می‌دهد که در آن این بده‌بستان از نظر اقتصادی مخرب می‌شود. با تطبیق داشبورد عملکرد قوانین مقیاس‌پذیری LLM با منحنی‌های مقیاس‌پذیری تاخیر برای مدل‌های GPT و Claude، داده‌ها نشان می‌دهند که فراتر از یک پنجره زمینه ۳۲,۰۰۰ توکنی، هزینه محاسباتی برای توجه متراکم (dense attention) استاندارد با سرعتی ۴.۷ برابر بیشتر از بهبودهای قابل‌اندازه‌گیری در استدلال افزایش می‌یابد.[5][8][9]

این واگرایی توضیح می‌دهد که چرا پذیرش سازمانی پنجره‌های زمینه عظیم، علی‌رغم بازاریابی تهاجمی، متوقف شده است. در حالی که مدلی با قابلیت هضم یک پایگاه کد کامل یا ده‌ها گزارش مالی در یک پرامپت واحد از نظر فنی چشمگیر است، اما سود خطی در کیفیت خروجی، به‌ندرت جهش نمایی در هزینه‌های API را توجیه می‌کند.[4][8]

پژوهشگران فعالانه در تلاشند تا از طریق تغییرات معماری، این دیوار درجه دوم را دور بزنند. موسسه هوش مصنوعی انسان‌محور استنفورد (Stanford's Human-Centered Artificial Intelligence) اخیراً رویکردهای جدیدی را در مورد قوانین مقیاس‌پذیری برجسته کرده است که می‌تواند نحوه پردازش توالی‌های طولانی توسط مدل‌ها را اساساً تغییر دهد.[7]

یکی از امیدوارکننده‌ترین مسیرها، توجه پراکنده (sparse attention) است. همان‌طور که توسط Patsnap مستند شده است، معماری‌های توجه پراکنده با مجبور کردن مدل به مقایسه یک توکن تنها با زیرمجموعه‌ای بسیار مرتبط از توکن‌های قبلی، به‌جای کل توالی، پیچیدگی O(n²) را کاهش می‌دهند. این کار بار محاسباتی را کم می‌کند، اگرچه خطر «فراموش کردن» جزئیات حیاتی پنهان در داده‌های حذف‌شده توسط مدل را به همراه دارد.[3]

تیم‌های مهندسی دیگر برای وظایف با زمینه طولانی، توجه استاندارد را به‌طور کامل کنار می‌گذارند. تحلیل سال ۲۰۲۶ شرکت Polyrific از مکانیزم‌های توجه با پیچیدگی خطی، به مدل‌های فضای حالت (state space models) و ترانسفورمرهای خطی به‌عنوان جایگزین‌های مناسبی اشاره می‌کند که داده‌ها را به‌جای روش درجه دوم، به‌صورت متوالی پردازش می‌کنند.[6]

با این حال، این جایگزین‌های خطی از نظر تاریخی برای رسیدن به قابلیت‌های بازیابی دقیق ترانسفورمرهای متراکم در وظایف استدلالی پیچیده، با مشکل مواجه بوده‌اند. این صنعت در حال حاضر در یک وضعیت بلاتکلیف گرفتار شده است: مقیاس‌پذیری نامحدود ترانسفورمرهای متراکم بسیار گران است، در حالی که معماری‌های خطی هنوز آن‌قدر توانمند نیستند که جایگزین آن‌ها شوند.[1][6][7]

حل این گلوگاه احتمالاً فاز بعدی تجاری‌سازی هوش مصنوعی را دیکته خواهد کرد. تا زمانی که یک پیشرفت غیرمنتظره در توجه پراکنده یا معماری‌های خطی ثابت نکند که می‌تواند بدون جریمه هزینه درجه دوم با دقت ترانسفورمرهای متراکم برابری کند، سازمان‌ها مجبور خواهند بود به‌جای مقیاس‌پذیری با زور بازو (brute-force scaling)، بر مدل‌های کوچک‌تر و به‌شدت بهینه‌شده تکیه کنند.[3][6]

دوران ساختن یک مدل بزرگ‌تر برای حل یک مشکل سخت‌تر در حال پایان است. نسل بعدی هوش مصنوعی نه با این معیار که چه کسی می‌تواند بیشترین هزینه محاسباتی را بپردازد، بلکه با این معیار تعریف می‌شود که چه کسی می‌تواند از نظر ریاضی دیوار درجه دوم را دور بزند تا استنتاج با زمینه طولانی را از نظر اقتصادی مقرون‌به‌صرفه کند.[1][9]