سوگیری تازگی در لایه‌های توجه؛ چطور چینش مثال‌ها دقت هوش مصنوعی را تا ۳۰ درصد جابه‌جا می‌کند؟

سرنوشت خروجی یک مدل زبانی بزرگ در جریان آموزش‌های چند میلیون دلاری آن رقم نمی‌خورد، بلکه در واپسین میلی‌ثانیه‌های محاسبه توجه روی پنجره بافت تعیین می‌شود. وقتی مدل یک پرامپت چندشات را پردازش می‌کند، سرهای توجه وزن ریاضی نامتناسب و بسیار بالایی را به توکن‌های دقیقا قبل از گام تولید اختصاص می‌دهند.[6]

این وزن‌دهی موضعی عملاً دستورالعمل‌های کلی‌تر را کم‌اثر می‌کند؛ تا جایی که چند مثال پایانی به عامل اصلی تصمیم‌گیری مدل در تولید پاسخ بدل می‌شوند. این ویژگی رفتاری معماری که «سوگیری تازگی» نامیده می‌شود، قابلیت اطمینان یادگیری درون‌بافتی را از پایه متزلزل می‌کند.[1]

پرامپتی با دستورالعمل‌های یکسان و مثال‌های کاملاً مشابه، صرفاً با جابه‌جا کردن ترتیب همان مثال‌ها می‌تواند از اوج دقت پیشرفته به سطحی نزدیک به حدس تصادفی سقوط کند. این شکاف کارایی یک نوسان آماری جزئی نیست.[1][2]

مکانیک و سازوکار سوگیری تازگی

برای درک چرایی این رخداد، باید شیوه پردازش توالی‌ها در معماری ترنسفورمر را بررسی کرد. لایه‌های توجه پرامپت را مثل انسان نمی‌خوانند تا برداشتی کل‌نگر و مفهومی از قواعد به دست آورند؛ در عوض، آن‌ها امتیاز شباهت میان توکن فعلی و تمام توکن‌های پیشین را محاسبه می‌کنند.[6]

از آنجا که مدل‌های زبانی برای پیش‌بینی کلمه بعدی در توالی آموزش دیده‌اند، سازوکارهای توجه آن‌ها به‌طور طبیعی یک تمایل اولیه قدرتمند به بافت محلی مجاور پیدا می‌کنند. توکن‌هایی که به مرحله تولید نزدیک‌ترند، کشش گرانشی به‌مراتب شدیدتری بر توزیع احتمالات خروجی نسبت به توکن‌های ابتدای پرامپت اعمال می‌کنند.[1]

هنگامی که مهندس پنج مثال برای یک وظیفه دسته‌بندی ارائه می‌دهد، مدل آن‌ها را مجموعه‌ای بدون ترتیب از قواعد مستقل از هم فرض نمی‌کند، بلکه آن‌ها را یک توالی می‌بیند. اگر آخرین مثال پرامپت برچسب «منفی» داشته باشد، سرهای توجه هنگام ارزیابی ورودی اصلی کاربر، بیشترین وزن را به ویژگی‌های همان مثال «منفی» اختصاص می‌دهند.[1]

این مسئله آسیب‌پذیری ساختاری عمیقی ایجاد می‌کند. اگر آخرین مثال شباهت ظاهری و سطحی با ورودی کاربر داشته باشد، مدل معمولاً برچسب همان مثال پایانی را بدون در نظر گرفتن محتوای معنایی تکرار می‌کند. پژوهشگران به این تلاقی، ترکیب «سوگیری برچسب اکثریت» با «سوگیری تازگی» می‌گویند.[1][2]

توهم پایداری پرامپت‌های ایستا

کشف این حساسیت شدید، فرضیه پایدار بودن یک پرامپت خوش‌ساخت به‌عنوان یک مؤلفه نرم‌افزاری مطمئن را باطل کرد. تیم‌های مهندسی هفته‌ها صرف انتخاب دقیق «مجموعه طلایی» از سه تا پنج مثال می‌کنند و آن‌قدر آن را می‌آزمایند تا روی مجموعه اعتبارسنجی بدون نقص عمل کند.[3]

این مثال‌های ثابت در ظاهر ایمن به نظر می‌رسند، اما در سکوت، کیفیت بخش عمده‌ای از درخواست‌های کاربران در محیط واقعی را تنزل می‌دهند. از آنجا که مثال‌ها ثابت هستند، چینش ویژه آن‌ها برای هر درخواستی که با سوگیری‌های آخرین مثال هم‌راستا نباشد، یک نقطه کور دائمی می‌آفریند.[6]

مثال‌های ثابت، مدل را روی توزیع خاصی تنظیم می‌کنند که به‌ندرت با ترافیک واقعی همخوانی دارد. این یعنی پرامپتی که برای الگوی ورودی خاصی بهینه‌سازی شده، در صورت اندکی تغییر در توزیع ورودی‌ها، با شکست سیستماتیک روبه‌رو خواهد شد، حتی اگر ماهیت وظیفه کاملاً یکسان مانده باشد.[7]

افزون بر این، ترتیب «فوق‌العاده‌ای» که روی یک مدل پاسخی ایده‌آل می‌دهد، قابل انتقال به مدلی دیگر نیست. چیدمانی که دقت ۹۰ درصدی را روی مدلی با ۱۷۵ میلیارد پارامتر ثبت می‌کند، ممکن است روی مدلی کوچک‌تر با ۷ میلیارد پارامتر عملکردی فاجعه‌بار داشته باشد. ترتیب بهینه تابعی از داده‌های پیش‌آموزش و پیکربندی سرهای توجه همان مدل خاص است.[2]

اندازه‌گیری نوسان دقت

ابعاد این ناپایداری نخستین بار در سال ۲۰۲۱ در پژوهش مشترک پژوهشگران دانشگاه برکلی و یوسی ارواین کمّی‌سازی شد. تونی ژائو و همکارانش در مقاله‌ای با عنوان «پیش از استفاده کالیبره کنید»، نشان دادند که دقت مدل جی‌پی‌تی-۳ در تحلیل احساسات متن، صرفاً بر اساس ترتیب مثال‌ها بین ۵۰ تا بیش از ۸۰ درصد نوسان داشته است.[1]

پژوهشگران دریافتند که مدل همواره تمایل شدیدی به انتخاب برچسب‌هایی دارد که نزدیک به انتهای پرامپت آمده‌اند. اگر پرامپت با مثالی با برچسب مثبت تمام می‌شد، احتمال پایه مدل برای پیش‌بینی برچسب «مثبت» برای هر ورودی بعدی به شکلی مصنوعی جهش می‌کرد و مرز تصمیم‌گیری را منحرف می‌ساخت.[1]

پژوهش دیگری در سال ۲۰۲۲ که توسط انجمن زبان‌شناسی محاسباتی منتشر شد، نشان داد که این پدیده در تمام ابعاد مدل‌ها پابرجاست. محققان ۱۱ وظیفه گوناگون دسته‌بندی متن را ارزیابی کردند و دریافتند که افزایش شمار پارامترها از ۱۰۰ میلیون به ۱۷۵ میلیارد نیز حساسیت به ترتیب را از میان نبرده است.[2]

نویسندگان گزارش دادند: «ما نشان می‌دهیم ترتیبی که نمونه‌ها ارائه می‌شوند می‌تواند تفاوت میان عملکردی نزدیک به مرز فناوری یا در حد حدس تصادفی باشد.» آن‌ها نتیجه گرفتند که برخی چیدمان‌ها بسیار درخشان و برخی دیگر کاملاً مخرب فرآیند استدلال مدل هستند.[2]

مهار خطا و کالیبراسیون بافتی

حل این ناپایداری نیازمند مداخله در لایه استنتاج است، نه اینکه صرفاً متن پرامپت بازنویسی شود. یکی از روش‌های اثبات‌شده، «کالیبراسیون بافتی» است که سوگیری‌های اولیه مدل را پیش از تولید پاسخ، از نظر ریاضی خنثی می‌کند.[1]

برای کالیبره کردن مدل، مهندسان پرامپت چندشات را همراه با یک ورودی فاقد محتوا مانند رشته «N/A» یا یک فاصله خالی به مدل می‌دهند. از آنجا که ورودی هیچ اطلاعات معناداری ندارد، یک مدل بی‌طرف باید تمامی برچسب‌های ممکن را با احتمالی یکسان پیش‌بینی کند.[1]

اما در واقعیت، مدل به‌شدت به نفع برچسب آخرین مثال متمایل می‌شود. مهندسان با اندازه‌گیری این توزیع منحرف‌شده، مجموعه‌ای از پارامترهای کالیبراسیون را به دست می‌آورند. سپس این پارامترها روی لاجیت‌های خروجی مدل در جریان کوئری‌های واقعی اعمال می‌شوند تا توزیع پایه را به حالت یکنواخت بازگردانند.[1]

این تنظیم ریاضی نتایجی خیره‌کننده به همراه دارد. به‌کارگیری کالیبراسیون بافتی، میانگین دقت را در وظایف گوناگون تا ۳۰ درصدِ مطلق ارتقا می‌دهد. مهم‌تر از آن، واریانس میان چیدمان‌های گوناگون را به‌شدت می‌کاهد و کارایی پرامپت را قابل پیش‌بینی می‌کند.[1]

بازیابی پویا به‌مثابه راه‌حل ساختاری

در سیستم‌های محیط عملیاتی، مطمئن‌ترین راهکار در برابر سوگیری تازگی، کنار گذاشتن پرامپت‌های ایستا است. معماری‌های مدرن به‌جای کدنویسی ثابت چند مثال، از «بازیابی پویای چندشات» برای ساخت پرامپت سفارشی به ازای هر درخواست بهره می‌برند.[6]

هنگامی که کاربر درخواستی ثبت می‌کند، سامانه متن را به بردار تبدیل کرده و در پایگاه داده برداری به جستجوی مشابه‌ترین نمونه‌های تاریخی می‌پردازد. سپس تنها مرتبط‌ترین مثال‌ها را به پنجره بافت تزریق می‌کند و مطمئن می‌شود که سوگیری تازگی مدل به حوزه معنایی درست پیوند خورده است.[6]

بازیابی پویا همواره با اختلاف دو رقمی از پرامپت‌نویسی ایستا پیشی می‌گیرد. این سامانه با تطبیق دقیق مثال‌ها با پرسش کاربر، تمرکز موضعی لایه توجه را به‌جای یک نقطه‌ضعف، به یک مزیت عملیاتی بدل می‌سازد.[6]

با این حال، بازیابی پویا نیز نیازمند چیدمان دقیق است. استاندارد مهندسی حکم می‌کند که مرتبط‌ترین نمونه بازیابی‌شده دقیقاً در انتهای توالی و درست پیش از درخواست کاربر قرار گیرد؛ این کار تضمین می‌کند که سوگیری تازگی قوی‌ترین سیگنال را تقویت کند.[6]

نقش حیاتی نمونه‌های منفی

فراتر از چیدمان، ترکیب ماهیت مثال‌ها چگونگی ترسیم مرز تصمیم‌گیری توسط سرهای توجه را معین می‌کند. بیشتر توسعه‌دهندگان به‌طور غریزی تنها نمونه‌های مثبت، یعنی نمونه‌های بی‌نقص از خروجی دلخواه، را ارائه می‌دهند. این رویکرد انحصاری باعث می‌شود مدل در موقعیت‌های مبهم یا مرزی کور عمل کند.[4]

نشان دادن آنچه نباید انجام شود، اغلب اثرگذارتر است. ترکیب ۷۰ درصد مثال مثبت با ۳۰ درصد مثال منفی، تضاد واضح‌تری در فضای برداری ایجاد می‌کند. مثال‌های منفی مرزهای مأموریت را مشخص کرده و مانع تعمیم بیش‌ازحد مدل می‌شوند.[4]

نمونه‌های منفی با نشان دادن خطاهایی که هوش مصنوعی باید از آن‌ها پرهیز کند، برتری محسوسی بر رویکرد صرفاً مثبت دارند و دقت را تا ۲۰ درصد افزایش می‌دهند. مدل با توجه به کنتراست میان نمونه‌های خوب و بد، یاد می‌گیرد از الگوهای نادرست اجتناب ورزد.[4]

در نهایت، پرامپت‌نویسی چندشات ترفندی جادویی برای فرار از مهندسی دقیق نیست؛ این شیوه یک رابط کاربری شکننده بر فراز یک موتور آماری پیچیده است. تنها راه ساخت سامانه‌های قابل اعتماد هوش مصنوعی، نگریستن به مثال‌ها به‌عنوان توالی‌هایی از وزن‌های ریاضی پیشین است، نه صرفاً فهرستی از دستورات انسانی.[6]

چاه‌های توجه و جاذبه توکن‌ها

پژوهش‌های مربوط به تفسیرپذیری مکانیکی، نقشه‌ای عینی از این سوگیری درون شبکه عصبی ترسیم می‌کنند. پژوهشگران با ردگیری الگوهای فعال‌سازی سرهای توجه می‌توانند نحوه تخصیص منابع محاسباتی مدل در پنجره بافت را رصد کنند.[5]

تقریباً در تمامی مدل‌های ترنسفورمر، زیرمجموعه خاصی از سرهای توجه مانند «مدارهای استقرایی» عمل می‌کنند. این مدارها مستقیماً برای یافتن الگوهای تکرارشونده در مجاورت بلافصل توکن فعلی سیم‌کشی شده‌اند. وقتی توالی‌هایی مانند «ورودی الف -> خروجی ب» را می‌بینند، احتمال ساخت خروجی مشابه برای ورودی تازه را شدیداً بالا می‌برند.[5]

از آنجا که این مدارهای استقرایی بر پایه معیار فاصله کاهشی کار می‌کنند، اثر آن‌ها روی توکن‌های ابتدای پرامپت به‌شدت افت می‌کند. نخستین مثال در یک پرامپت پنج‌نمونه‌ای ممکن است کمتر از ۵ درصد از کل وزن توجه را دریافت کند و در گام تولید نهایی عملاً نامرئی شود.[5]

این گرانش موضعی تبیین می‌کند که چرا افزودن مثال‌های بیشتر در نهایت بازدهی معکوس دارد. پرامپتی با بیست مثال، نخستین نمونه‌ها را آن‌قدر از کانون توجه دور می‌کند که به نویز آماری بدل می‌شوند. مدل تمام تمرکزش را روی سه مثال آخر می‌گذارد و تنوع طراحی‌شده کل مجموعه را نادیده می‌گیرد.[7]

آینده یادگیری درون‌بافتی

همگام با توسعه مدل‌ها برای پردازش پنجره‌های بافتی با میلیون‌ها توکن، مدیریت وزن‌دهی توجه به چالش بنیادین معماری هوش مصنوعی بدل می‌شود. صرفاً سرازیر کردن داده‌های بیشتر به مدل، تضمینی برای تفکر متوازن و همه‌جانبه روی آن داده‌ها نخواهد بود.[6]

انواع جدید معماری‌ها مانند مدل‌های فضای حالت و سازوکارهای توجه خطی می‌کوشند تا با فشرده‌سازی بافت در یک حالت پنهان با اندازه ثابت، این سوگیری تازگی را مسطح کنند. با این حال، این مدل‌ها اغلب از توانایی دقیق تطبیق الگو که یادگیری چندشات را در ترنسفورمرهای استاندارد متمایز ساخته، بی‌بهره می‌مانند.[6]

در آینده پیش‌رو، توسعه‌دهندگان باید مهندسی پرامپت را تمرینی در مدیریت توجه تلقی کنند. ترتیب داده‌ها اهمیتی هم‌پای خود داده‌ها دارد. درک اینکه توکن‌های پایانی قدرتی نامتناسب دارند به مهندسان امکان می‌دهد سامانه‌هایی طراحی کنند که به جای پیکار با فیزیک مدل، همگام با آن کار کنند.[6]