مزیت موقعیتی دستورالعمل سیستمی: چگونه قرار دادن دستورات در ابتدای پنجره زمینه، خروجی مدل‌های زبان بزرگ را محدود می‌کند

برخی از مهندسان پرامپت استدلال می‌کنند که دستورالعمل سیستمی (System Prompt) یک محدودیت مطلق است، مجموعه‌ای از قوانین بنیادی که مدل نمی‌تواند آن‌ها را نادیده بگیرد، زیرا ابتدا پردازش شده و خط مبنا را برای تمام تولیدات بعدی تعیین می‌کند. برخی دیگر در مقابل می‌گویند که با رشد پنجره‌های زمینه به ۱۲۸,۰۰۰ یا حتی ۱,۰۰۰,۰۰۰ توکن، دستورالعمل‌های اولیه به طور معمول فراموش می‌شوند و توسط حجم عظیم متن بعدی شسته می‌شوند، و دستورالعمل سیستمی را به جای یک قانون آهنین، به یک پیشنهاد شکننده تبدیل می‌کنند.[3]

این کشمکش در قلب نحوه پردازش زبان توسط هوش مصنوعی مدرن قرار دارد. ترانسفورمرها (Transformers)، معماری زیربنایی مدل‌هایی مانند GPT-4 و Llama 3، در تئوری توانایی توجه به هر توکنی در پنجره زمینه خود را با وزن برابر دارند. با این حال، در عمل، توجه آن‌ها بسیار نامتوازن است، که توسط الگوهای آماری داده‌های آموزشی و مکانیسم‌های پوشش‌دهی علّی (Causal Masking) شکل گرفته است.[5]

این پدیده به طور رسمی به عنوان سوگیری موقعیتی (Positional Bias) شناخته می‌شود و مشهورترین نمود آن، اثر «گم شدن در میانه» است. محققان دانشگاه استنفورد و UC برکلی نشان دادند که وقتی یک مدل زبان با دنباله‌ای طولانی از اسناد تغذیه می‌شود، توانایی آن برای بازیابی یک واقعیت خاص به شدت به موقعیت مکانی آن واقعیت بستگی دارد.[1]

اگر اطلاعات مرتبط در همان ابتدای پرامپت قرار گیرد، مدل آن را با دقت بالا بازیابی می‌کند. اگر در انتهای پرامپت قرار گیرد، دقت دوباره بالا می‌رود. اما اگر واقعیت حیاتی در میانه یک سند ۳۰ صفحه‌ای دفن شده باشد، عملکرد مدل به طور قابل توجهی کاهش می‌یابد و یک منحنی دقت مشخص به شکل U ایجاد می‌کند. همانطور که نویسندگان اشاره می‌کنند: «عملکرد می‌تواند هنگام تغییر موقعیت اطلاعات مرتبط به طور قابل توجهی کاهش یابد، که نشان می‌دهد مدل‌های زبان کنونی به طور قوی از اطلاعات موجود در زمینه‌های ورودی طولانی استفاده نمی‌کنند.»