چگونه «پردازش در زمان اجرا» و «جستجوی درختی» واقعاً استدلال را در مدلهای زبانی ممکن میکنند؟
با تخصیص توان پردازشی در زمان تولید پاسخ به جای مرحله پیشآموزش، مدلهای زبانی کوچکتر با استفاده از الگوریتمهای راستیآزمایی، به تواناییهای منطقی سیستمهای غولپیکر دست پیدا میکنند.
به قلم آیدا امینی
این خبر را به اشتراک بگذارید
- پژوهشگران بهینهسازی استنتاج
- استدلال میکنند که مقیاسپذیری پردازش در زمان تولید پاسخ، مسیر کارآمدتری برای رسیدن به استدلال پیشرفته است تا اینکه صرفاً مدلهای بزرگتری ساخته شود.
- حامیان یکپارچگی عصبی-نمادین
- بر این باورند که قابلاتکاترین سیستمهای هوش مصنوعی، تشخیص الگوی عصبی را با موتورهای منطق نمادین دقیق و مبتنی بر قانون ترکیب خواهند کرد.
- تحلیلگران بهرهوری پردازشی
- بر بدهبستانهای ترمودینامیکی و اقتصادی ناشی از انتقال مصرف برق از کلاسترهای آموزش به سرورهای استنتاج تمرکز دارند.
تلاش برای ساخت هوش مصنوعی توانمندتر، از نظر تاریخی بر یک رویکرد مبتنی بر زورآزمایی در پردازشِ زمان آموزش متکی بوده است: افزایش تعداد پارامترهای مدل و تغذیه دادههای بیشتر به آن، مدتها پیش از آنکه حتی یک پرسش کاربر را ببیند. اما تغییر در نحوه تخصیص توان پردازشی سیستمها نشان میدهد که مقیاسپذیری پردازش در زمان تولید پاسخ — یعنی دادن زمان به یک مدل کوچکتر برای جستجوی پاسخ — میتواند به همان تواناییهای استدلالی منجر شود که پیشآموزش یک غول نرمافزاری به همراه دارد.[1]
این سازوکار که با نام «پردازش در زمان اجرا» یا «مقیاسپذیری استنتاج» شناخته میشود، اساساً اتفاقی را که هنگام ثبت پرسش کاربر رخ میدهد، تغییر میدهد. سیستم به جای پیشبینی کلمه بعدی در یک توالی واحد و غیرقابل تغییر، صدها مسیر استدلالی بالقوه تولید میکند، آنها را میسنجد و پیش از ارائه خروجی نهایی، مسیرهای بنبست را دور میریزد.[1][4]
معماری زیربنایی این روش، به شدت از الگوریتمهای کلاسیک بازیسازی وام گرفته است. «جستجوی درختی مونت کارلو» (Monte Carlo Tree Search)، یعنی همان چارچوبی که به AlphaZero اجازه داد در شطرنج استاد شود، اکنون برای مدلهای زبانی در حال انطباق است تا بتوانند معماهای منطقی پیچیده را حل کنند.[4]
در مقالهای در سال ۲۰۲۴ با عنوان «مقیاسپذیری بهینه پردازش در زمان اجرای مدلهای زبانی بزرگ میتواند موثرتر از مقیاسپذیری پارامترهای مدل باشد»، پژوهشگران دانشگاه کالیفرنیا برکلی و Google DeepMind این بدهبستان را کمّیسازی کردند. نویسنده ارشد، چارلی اسنل (Charlie Snell) و تیمش دریافتند که در بنچمارکهای استدلالی خاص، اعمال پردازش در زمان اجرا به یک مدل پایه کوچکتر اجازه میدهد تا از مدلی با ۱۴ برابر اندازه خود پیشی بگیرد.[1]
افزایش بهرهوری در اینجا قابلتوجه است. پژوهشگران با تخصیص تطبیقی توان پردازشی بر اساس میزان دشواری پرسش، بهرهوری مقیاسپذیری در زمان اجرا را در مقایسه با روشهای نمونهبرداری استاندارد، بیش از چهار برابر بهبود بخشیدند.[1]
برای اینکه این فرآیند جستجو کار کند، مدل به روشی قابلاتکا برای قضاوت درباره مراحل میانی خود نیاز دارد. اینجاست که «مدلهای پاداشدهی فرآیند» جایگزین «مدلهای پاداشدهی نتیجه» سنتی میشوند که تنها به پاسخ نهایی نمره میدادند.[2]
در مقاله سال ۲۰۲۳ با عنوان «بیایید گام به گام راستیآزمایی کنیم»، هانتر لایتمن (Hunter Lightman) و کارل کوب (Karl Cobbe)، پژوهشگران OpenAI، نشان دادند که پاداش دادن به هر گام صحیح از استدلال، توهمات منطقی را به شدت کاهش میدهد.[2]
مدل تحت نظارت فرآیندی آنها، ۷۸ درصد از مسائل یک زیرمجموعه معرف از مجموعه آزمون MATH را حل کرد. مدل پاداشدهی فرآیند با مشخص کردن دقیق نقطهای که زنجیره تفکر در آن اشتباه پیش میرود، به الگوریتم جستجو اجازه میدهد تا به عقب برگردد و شاخه دیگری را امتحان کند.[2]
مدل تحت نظارت فرآیندی آنها، ۷۸ درصد از مسائل یک زیرمجموعه معرف از مجموعه آزمون MATH را حل کرد.
سیستم AlphaGeometry متعلق به DeepMind که در ژانویه ۲۰۲۴ در نشریه Nature منتشر شد، واضحترین نمایش از این رویکرد عصبی-نمادین را در عمل ارائه میدهد.[3]
این سیستم یک مدل زبانی عصبی سریع و مبتنی بر تشخیص الگو را با یک موتور استنتاج نمادین کُند و قانونمدار جفت میکند. تیم DeepMind در این باره نوشت: «سیستم AlphaGeometry قدرت پیشبینی یک مدل زبانی عصبی را با یک موتور استنتاج قانونمدار ترکیب میکند که برای یافتن راهحلها به صورت هماهنگ با یکدیگر کار میکنند.»[3]
هنگام آزمایش روی ۳۰ مسئله هندسه از المپیاد بینالمللی ریاضی، AlphaGeometry توانست ۲۵ مسئله را در محدوده زمانی استاندارد حل کند. سیستم پیشرفته قبلی که با نام «روش وو» (Wu's method) شناخته میشد، تنها ۱۰ مسئله را حل کرده بود.[3]
این سیستم بدون استفاده از نمایشهای انسانی به این موفقیت دست یافت و در عوض بر ۱۰۰ میلیون نقطه داده مصنوعی تکیه کرد تا به مدل زبانی آموزش دهد که وقتی موتور نمادین گیر میافتد، ساختارهای هندسی مفیدی را پیشنهاد دهد.[3]
برخلاف روایتهای بازاریابی که این سیستمها را دارای تأملات انسانگونه یا «تفکر سیستم ۲» جلوه میدهند، قابلیت واقعی آنها صرفاً یک الگوریتم جستجوی به شدت بهینهشده است که در یک فضای احتمالی مسیریابی میکند.[5]
هزینه ترمودینامیکی این رویکرد، بار مصرف انرژی را از کلاستر آموزش به سرورهای استنتاج منتقل میکند. در حالی که پیشآموزش یک مدل تریلیونپارامتری به ماهها کارکرد مداوم پردازندههای گرافیکی (GPU) نیاز دارد، اجرای یک جستجوی درختی مونت کارلوی عمیق برای یک پرسش پیچیده واحد، به مراتب انرژی بیشتری نسبت به یک جستجوی وب استاندارد مصرف میکند.[5]
اگر یک مدل ۷ میلیارد پارامتری بتواند با راستیآزمایی کار خود به دقتی در سطح پیشرفتهترین مدلها دست یابد، خندق اقتصادیِ ساخت مدلهای پایه عظیم شروع به فرسایش میکند. در این حالت، گلوگاه رقابت از اینکه «چه کسی بیشترین داده آموزشی را دارد» به این تغییر میکند که «چه کسی میتواند بهینهترین مسیریابی درختهای جستجو را در زمان استنتاج انجام دهد».[1][5]
بررسی عمیق دیدگاهها
پژوهشگران بهینهسازی استنتاج
تمرکز بر به حداکثر رساندن بهرهوری پردازش در زمان اجرا برای رقابت با مدلهای عظیم از پیشآموزشدیده.
این گروه استدلال میکنند که وسواس صنعت به تعداد پارامترها منجر به بازدهی نزولی شده است. با پیادهسازی الگوریتمهای جستجو مانند جستجوی درختی مونت کارلو، پژوهشگران میتوانند یک مدل کوچکتر و ارزانتر را وادار کنند تا پیش از پاسخ دادن، هزاران راهحل بالقوه را بررسی کند. شواهد نشان میدهد که برای مسائل منطقی و ریاضی، دادن زمان بیشتر برای «فکر کردن» به یک مدل ۷ میلیارد پارامتری، از نظر ریاضی معادل پرسش از مدلی با ۱۴ برابر اندازه آن است که این امر اقتصاد استقرار هوش مصنوعی را اساساً تغییر میدهد.
حامیان یکپارچگی عصبی-نمادین
تاکید بر ضرورت جفت کردن شبکههای عصبی با منطق نمادین سنتی.
طرفداران سیستمهای عصبی-نمادین به AlphaGeometry به عنوان سندی اشاره میکنند که نشان میدهد مدلهای زبانی به تنهایی نمیتوانند وظایف استدلالی پیچیده را به شکلی قابلاتکا حل کنند. آنها استدلال میکنند که اگرچه شبکههای عصبی در تشخیص الگوی شهودی و پیشنهاد گامهای بعدی عالی هستند، اما فاقد دقت لازم برای اثباتهای ریاضیاند. این گروه معتقد است با اتصال یک شبکه عصبی به یک موتور استنتاج نمادین، هوش مصنوعی میتواند بهترینهای هر دو جهان را به دست آورد: حل مسئله خلاقانه که با قوانین دقیق و قابل راستیآزمایی محدود شده است.
تحلیلگران بهرهوری پردازشی
تحلیل تغییرات هزینههای انرژی و سختافزار مرتبط با پارادایمهای جدید استنتاج.
در حالی که پردازش در زمان اجرا باعث صرفهجویی در هزینههای اجرای اولیه آموزش میشود، تحلیلگران هشدار میدهند که این روش هزینه هر پرسش کاربر را به شدت افزایش میدهد. اجرای یک جستجوی درختی عمیق برای یک پرسش پیچیده نیازمند آن است که مدل پیش از بازگرداندن حتی یک کلمه به کاربر، صدها توکن را به صورت داخلی تولید و دور بریزد. این گروه بر این واقعیت ترمودینامیکی تمرکز دارند که اگر مقیاسپذیری استنتاج به رویه پیشفرض تبدیل شود، دیتاسنترها در ساعات اوج مصرف با تقاضای بیسابقهای برای برق در لحظه مواجه خواهند شد.
چرا مهم است
تغییر مسیر از آموزش مدلهای عظیم به بهینهسازی مسیرهای جستجو در زمان استنتاج، مانع ورود به هوش مصنوعی پیشرفته را پایین میآورد. اگر مدلهای کوچکتر و ارزانتر بتوانند با بررسی کار خود به منطق پیشرفته دست یابند، شرکتها و پژوهشگران میتوانند بدون اتکا به سیستمهای انحصاری تریلیونپارامتری، از استدلال سطح بالا استفاده کنند.
آنچه نمیدانیم
- اینکه پردازش در زمان اجرا برای کارهای خلاقانه و باز که در آنها مراحل میانی قابل راستیآزمایی عینی نیستند، تا چه حد کارآمد است.
- هزینه دقیق ترمودینامیکی اجرای جستجوهای درختی عمیق برای میلیاردها درخواست روزانه کاربران.
- اینکه آیا افزایش بهرهوری ناشی از مقیاسپذیری استنتاج نیز در نهایت مانند مقیاسپذیری پارامترها به یک نقطه توقف خواهد رسید یا خیر.
منابع
پوشش منابع
5 منبع
3 دیدگاه شناساییشده
- [1]arXivحامیان یکپارچگی عصبی-نمادین
Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters
مطالعه در arXiv → - [2]arXivحامیان یکپارچگی عصبی-نمادین
Let's Verify Step by Step
مطالعه در arXiv → - [3]Google DeepMindحامیان یکپارچگی عصبی-نمادین
AlphaGeometry: An Olympiad-level AI system for geometry
مطالعه در Google DeepMind → - [4]Hugging Faceپژوهشگران بهینهسازی استنتاج
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning
مطالعه در Hugging Face → - [5]تیم سردبیری کوهستانتحلیلگران بهرهوری پردازشی
تحلیل تیم سردبیری کوهستان
مطالعه در تیم سردبیری کوهستان →
نظرات
بیشتر در متا
مشاهده همه →سیستمهای تصویر نقشه
چرا غیرممکن بودن حفظ همزمان مساحت و زاویه، انتخاب نقشه را به ما دیکته میکند؟
6 منبع
معماری پایگاه داده
چگونه Write-Ahead Logging و Two-Phase Locking اتمیسیته و ایزولاسیون را در پایگاههای داده رابطهای تضمین میکنند
6 منبع
شناخت اجتماعی
چگونه برجستگی ادراکی و اصلاح آگاهانه، اسناد شخصیتی را از موقعیتی در ادراک اجتماعی جدا میکنند
7 منبع
معماری شناختی
چگونه اثر تقدم و تاخر، حافظه بلندمدت را از حافظه کاری جدا میکنند
5 منبع
هر زاویه. هر روز.
دریافت متا اخبار همراه با پوشش کامل منابع و تحلیل دیدگاهها، مستقیم در صندوق ورودی شما.