تحلیل داده‌ها نشان می‌دهد مدل‌های هوش مصنوعی کوچک و تخصصی در آزمون‌های منطق از مدل‌های زبانی بزرگ پیشی می‌گیرند

فرض غالب در هوش مصنوعی این بوده است که استدلال یک ویژگی نوظهور از مقیاس است. اگر مدلی نتواند یک معمای منطقی را حل کند، راه‌حل مرسوم این است که صرفاً پارامترهای بیشتر، داده‌های آموزشی بیشتر و قدرت محاسباتی بیشتری اضافه شود.[5]

با این حال، شواهد در حال حاضر شروع به نقض این رویکرد مبتنی بر نیروی خام کرده‌اند. داده‌های معیارسنجی اخیر نشان می‌دهد که مدل‌های زبانی کوچک (SLM) – سیستم‌هایی که معمولاً کمتر از ۱۵ میلیارد پارامتر دارند – نه تنها در آزمون‌های خاص منطق و ریاضی با مدل‌های پیشگام عظیم برابری می‌کنند، بلکه فعالانه از آن‌ها پیشی می‌گیرند.[4][5]

این تغییر نشان‌دهنده یک بازنگری اساسی در نحوه ساخت هوش ماشینی است. به جای فشرده‌سازی کل اینترنت در یک غول تریلیون-پارامتری، محققان ثابت می‌کنند که داده‌های بسیار سازمان‌یافته و معماری‌های بازگشتی می‌توانند کارایی استدلال را به ازای هر پارامتر به صورت تصاعدی افزایش دهند.[5]

مکانیسم پشت این کارایی در نحوه آموزش مدل‌های کوچک برای پردازش اطلاعات نهفته است. مدل‌های زبانی بزرگ (LLM) مانند کتابخانه‌های تحقیقاتی گسترده و تعمیم‌یافته عمل می‌کنند و برای پاسخ به پرس‌وجوهای گسترده، به بازیابی استدلال تقریبی در میان میلیاردها اتصال متکی هستند.[3][5]

در مقابل، SLMهای تخصصی بیشتر شبیه ماشین‌حساب‌های متمرکز عمل می‌کنند. این مدل‌های فشرده با استفاده از تکنیک‌هایی مانند فرایادگیری چند-نمونه‌ای (few-shot meta-learning)، وادار می‌شوند تا الگوها و قوانین استنتاج انتزاعی را در طول وظایف استخراج کنند، نه اینکه صرفاً الگوها را در داده‌های آموزشی حفظ کنند.[1]

یک مطالعه اخیر که در مجموعه مقالات ACL منتشر شد، این مکانیسم را با جداسازی شایستگی منطقی از طریق وظایف استدلال قیاسی (syllogistic reasoning) آزمایش کرد. محققان دریافتند که مدل‌های کوچک بین ۱.۵ تا ۷ میلیارد پارامتر، هنگامی که با فرایادگیری تنظیم دقیق می‌شوند، پیشرفت‌های عمیقی در تعمیم نشان می‌دهند.[1]

این مدل‌های فشرده فرایادگیری شده، با موفقیت از سیستم‌های پیشگام عظیم، از جمله GPT-4o، در ارزیابی‌های دقیق استدلال قیاسی پیشی گرفتند. شواهد حاکی از آن است که برای منطق محدود و مبتنی بر قانون، آموزش نحوه تفکر به یک مدل، بسیار مؤثرتر از دادن چیزهای بیشتر برای فکر کردن به آن است.[1][5]

مکانیسم حیاتی دیگری که عملکرد SLM را هدایت می‌کند، استفاده از طرح‌های استدلالی (Blueprints) است. از آنجا که مدل‌های کوچک ظرفیت محدودی دارند، اغلب نسبت به تغییرات پرامپت بسیار حساس هستند و ممکن است در حفظ زنجیره فکری در طول چندین مرحله دچار مشکل شوند.[2]

برای حل این مشکل، محققان چارچوب‌هایی را توسعه داده‌اند که راهنماهای استدلالی ساختاریافته و سطح بالا ارائه می‌دهند. این طرح‌ها به عنوان داربست‌های شناختی عمل می‌کنند و مسائل منطقی پیچیده را به مراحل سیستماتیک و قابل اجرا تقسیم می‌کنند که مدل کوچک‌تر می‌تواند بدون از دست دادن پنجره زمینه خود آن‌ها را دنبال کند.[2]

هنگامی که مدل‌هایی به کوچکی ۳.۸ میلیارد پارامتر به این طرح‌ها و مکانیسم‌های جستجوی الگوی پرامپت مجهز می‌شوند، بهبودهای چشمگیری را در معیارهای استدلال ریاضی، کدنویسی و منطق نشان می‌دهند، بدون اینکه نیازی به افزایش اندازه مدل باشد.[2]

اعداد عملکرد در این حوزه قابل توجه هستند. در معیار دقیق ریاضی (MATH)، مدل ۱۴ میلیارد پارامتری مایکروسافت، Phi-4، اخیراً نمره ۸۰.۴٪ را کسب کرد که از نمره ۷۴.۶٪ به دست آمده توسط GPT-4o که بسیار بزرگتر است، فراتر رفت.[5]

با این حال، علی‌رغم این پیروزی‌های هدفمند، شواهد همچنین محدودیت‌های آشکار استدلال هوش مصنوعی فعلی را، صرف نظر از اندازه مدل، برجسته می‌کند. این امر به وضوح توسط SimpleBench نشان داده می‌شود، یک معیار متنی چندگزینه‌ای که برای آزمایش استدلال روزمره انسان و استحکام خصمانه زبانی طراحی شده است.[3]

در SimpleBench، خط پایه انسان‌های غیرتخصصی – افرادی که فقط دانش در سطح دبیرستان دارند – نمره ۸۳.۷٪ را کسب کردند. در مقابل، برترین مدل زبانی بزرگ (LLM) پیشگام تنها ۸۱.۹٪ امتیاز کسب کرد و بسیاری از مدل‌های عظیم در محدوده ۶۰٪ و ۷۰٪ قرار گرفتند.[3]

این شکاف تأیید می‌کند که دانش حفظ شده و استدلال تقریبی که حتی توسط بزرگترین مدل‌ها استفاده می‌شود، همیشه برای پاسخ به سؤالات فریبنده اساسی یا پیمایش معماهای هوش اجتماعی کافی نیست.[3]

داده‌ها نشان‌دهنده یک انشعاب واضح در آینده معماری هوش مصنوعی است. برای وظایف خلاقانه گسترده و دامنه باز و پرس‌وجوهای پیچیده و بدون ساختار، تعداد پارامترهای عظیم همچنان ضروری است. حجم محض دانش جهانی مورد نیاز را نمی‌توان در فضای ۷ میلیارد پارامتری فشرده کرد.[4][5]

با این حال، برای وظایف محدود، تکراری و مبتنی بر قانون – مانند تولید کد، اثبات‌های ریاضی و استخراج داده‌های ساختاریافته – شواهد به طور قاطع به نفع مدل‌های کوچک و تخصصی است.[2][5]

این سیستم‌های فشرده یک راه‌حل سبک و مناسب برای استقرار ارائه می‌دهند که می‌تواند به صورت محلی بر روی دستگاه‌های لبه یا تلفن‌های همراه اجرا شود و تأخیر، هزینه‌های محاسباتی و مصرف انرژی را به شدت کاهش دهد.[2][4]

در نهایت، تحلیل داده‌ها ثابت می‌کند که مقیاس پیش‌شرط منطق نیست. با تغییر تمرکز از تورم پارامتر به کارایی معماری، صنعت هوش مصنوعی ثابت می‌کند که داده‌های آموزشی هوشمندانه‌تر و چارچوب‌های استدلال بازگشتی می‌توانند بر محاسبات مبتنی بر نیروی خام غلبه کنند.[1][5]