افزایش ۲۸.۲ درصدی دقت: چگونه پرامپت‌نویسی زنجیره افکار، استدلال را در مدل‌های زبانی بزرگ بیدار می‌کند

افزایش ۲۸.۲ درصدی دقت، نشان‌دهنده میانگین بهبود تاریخی در بنچمارک‌های استدلال پیچیده است؛ زمانی که به مدل‌های زبانی بزرگ صرفاً دستور داده شد تا روند کار خود را نشان دهند. پژوهشگران با مجبور کردن مدل به بیان منطق میانی خود پیش از ارائه پاسخ نهایی، قابلیت‌های ریاضی و منطقی پنهانی را آزاد کردند که پرامپت‌نویسی استاندارد و مستقیم قادر به دستیابی به آن‌ها نبود. این تکنیک که با نام پرامپت‌نویسی زنجیره افکار (Chain-of-Thought) شناخته می‌شود، تولیدکننده‌های مبهم متن را بدون تغییر حتی یک خط از کد پایه، به موتورهای استدلالی شفاف تبدیل کرد.[1][7]

پیش از این مداخله، مدل‌های زبانی بزرگ با پرسش‌های پیچیده مانند یک جهش واحد از سؤال به جواب برخورد می‌کردند. اگر کاربری یک مسئله حساب چندمرحله‌ای را مطرح می‌کرد، مدل سعی می‌کرد رقم نهایی را بلافاصله پیش‌بینی کند و اغلب شکست می‌خورد، زیرا بار شناختی نگهداری چندین متغیر نانوشته از ظرفیت معماری آن فراتر می‌رفت. پرامپت‌نویسی زنجیره افکار، فرمت خروجی را تغییر می‌دهد. این روش مدل را ملزم می‌کند تا دنباله‌ای از جملات میانی تولید کند؛ یک چرک‌نویس منطقی که مسئله را به زیربخش‌های قابل مدیریت تقسیم می‌کند.[3][6]

نتایج تجربی این تغییر بی‌سابقه بود. در اوایل سال ۲۰۲۲، پژوهشگران Google Brain مدل ۵۴۰ میلیارد پارامتری PaLM خود را روی بنچمارک GSM8K (مجموعه داده‌ای از مسائل ریاضی مقطع ابتدایی) آزمایش کردند. تحت پرامپت‌نویسی استاندارد، مدل به نرخ حل ۱۸ درصدی دست یافت. اما وقتی پژوهشگران تنها هشت نمونه از استدلال گام‌به‌گام را در پرامپت ارائه دادند، دقت مدل به ۵۷ درصد جهش کرد. این پرش ۳۹ واحد درصدی حتی از مدل‌های به‌شدت تنظیم‌شده (fine-tuned) که صراحتاً برای حل مسائل ریاضی آموزش دیده بودند نیز پیشی گرفت.[1]

مکانیسم این کار بر ماهیت خودهمبسته (autoregressive) مدل‌های زبانی تکیه دارد که متن را توکن به توکن و بر اساس بستر تمام توکن‌های قبلی تولید می‌کنند. وقتی یک مدل محاسبه‌ای میانی را می‌نویسد، آن متن جدید به بخشی از پنجره زمینه (context window) برای توکن بعدی تبدیل می‌شود. مدل با برون‌سپاری حافظه کاری خود، در واقع زمان محاسباتی بیشتری برای رسیدن به نتیجه‌گیری درست می‌خرد. منطق در هر گام تأیید می‌شود و خطر خطاهای زنجیره‌ای به حداقل می‌رسد.[3][5]

مدت کوتاهی پس از کشف اولیه، پژوهشگران دانشگاه توکیو و گوگل نشان دادند که مدل‌ها برای فعال کردن این رفتار حتی نیازی به نمونه‌های دست‌ساز ندارند. آن‌ها با افزودن ساده عبارت «بیایید گام‌به‌گام فکر کنیم» به یک پرسش، چیزی را استخراج کردند که آن را استدلال زنجیره افکار بدون نمونه (Zero-Shot Chain-of-Thought) نامیدند. همین یک جمله، دقت مدل ۱۷۵ میلیارد پارامتری InstructGPT متعلق به OpenAI را در بنچمارک GSM8K از ۱۰.۴ درصد به ۴۰.۷ درصد افزایش داد و عملکرد آن را در مجموعه داده MultiArith از ۱۷.۷ درصد به ۷۸.۷ درصد رساند.[2]

با این حال، این قابلیت همگانی نیست. استدلال زنجیره افکار یک ویژگی نوظهور (emergent property) ناشی از مقیاس مدل است، به این معنی که تنها زمانی محقق می‌شود که یک شبکه عصبی به اندازه خاصی برسد. آزمایش‌ها پیوسته نشان می‌دهند که مدل‌های با کمتر از ۱۰۰ میلیارد پارامتر در تولید زنجیره‌های منطقی منسجم دچار مشکل می‌شوند و اغلب گام‌های میانی ناقصی تولید می‌کنند که به پاسخ‌های نهایی نادرست ختم می‌شود. تنها در مقیاس‌های عظیم است که مدل‌ها از درک معنایی لازم برای ترسیم قابل‌اعتماد یک مسیر شناختی چندمرحله‌ای برخوردار می‌شوند.[1][3]

فراتر از دقت خام، این تکنیک ویژگی حیاتی دیگری را برای پذیرش سازمانی معرفی کرد: تفسیرپذیری. در صنایع قانون‌گذاری‌شده‌ای مانند مالی و مراقبت‌های بهداشتی، اگر مسیر رسیدن به یک پاسخ درست مانند یک جعبه سیاه باشد، آن پاسخ اغلب بی‌فایده است. مدل‌ها با تولید یک زنجیره استدلال صریح، یک مسیر قابل حسابرسی ارائه می‌دهند. اگر یک سیستم تریاژ هوش مصنوعی توصیه به مراقبت پزشکی فوری کند، گام‌های میانی دقیقاً نشان می‌دهند که کدام علائم باعث این تشدید شده‌اند و به ناظران انسانی اجازه می‌دهند منطق را اعتبارسنجی کرده یا خطا را دیباگ کنند.[3][6]

با تکامل صنعت هوش مصنوعی، نقش پرامپت‌نویسی زنجیره افکار نیز شروع به تغییر کرده است. در سال ۲۰۲۵، پژوهشگران آزمایشگاه‌های هوش مصنوعی زایای وارتون (Wharton) ارزیابی دقیقی از این تکنیک روی مدل‌های مدرن انجام دادند. آن‌ها دریافتند که برای مدل‌هایی که صراحتاً با قابلیت‌های استدلال بومی طراحی شده‌اند، پرامپت‌های خارجی زنجیره افکار بازدهی نزولی دارند. پژوهشگران خاطرنشان کردند که «دستاوردهای حداقلی در دقت، به‌ندرت افزایش زمان پاسخ‌گویی را توجیه می‌کند»؛ افزایشی که آن‌ها آن را بین ۲۰ تا ۸۰ درصد در تأخیر (latency) اندازه‌گیری کردند.[4]

این جریمه تأخیر به این دلیل رخ می‌دهد که تولید توکن‌های میانی نیازمند منابع محاسباتی قابل‌توجهی است. وقتی یک مدل مجبور می‌شود پیش از پاسخ دادن به یک سؤال ساده، یک پاراگراف منطق بنویسد، زمان بیشتری مصرف کرده و هزینه‌های API بالاتری به همراه دارد. تیم وارتون دریافت که برای مدل‌های غیر استدلالی، این تکنیک همچنان میانگین عملکرد را بهبود می‌بخشد، اما در عین حال نوساناتی را نیز وارد می‌کند و گاهی باعث می‌شود مدل بیش از حد فکر کند و در سؤالات ساده‌ای که در حالت عادی درست پاسخ می‌داد، شکست بخورد.[4]

میراث پرامپت‌نویسی زنجیره افکار اکنون در معماری پیشرفته‌ترین سیستم‌های این صنعت نهادینه شده است. مدل‌های پیشگام (frontier models) به جای تکیه بر کاربران برای تایپ «بیایید گام‌به‌گام فکر کنیم»، اکنون زنجیره‌های استدلال پنهان را پیش از ارائه پاسخ به‌صورت بومی اجرا می‌کنند. تکنیکی که به عنوان یک ترفند هوشمندانه مهندسی پرامپت آغاز شد، اساساً رویکرد هوش مصنوعی به حل مسائل پیچیده را بازتعریف کرده و ثابت کرده است که ساختار یک پرسش به همان اندازه اندازه مدلی که به آن پاسخ می‌دهد، اهمیت دارد.[4][7]