چرا دستورهای «انجام نده» مدل‌های زبانی را وادار به تولید کلمات ممنوعه می‌کنند؟

برای آن‌که یک مدل زبانی بتواند با موفقیت از پرداختن به موضوعی ممنوعه اجتناب کند، بازنمایی درونی آن از مفهوم نفی و سلب باید جریمه محاسباتی قوی‌تری نسبت به وزن تحریکی ناشی از حضور صرف آن مفهوم در متن ورودی (پرامپت) اعمال نماید. در معماری‌های نوین ترنسفورمر خودبازگشتی، این شرط ریاضی معمولا محقق نمی‌شود.[3]

هنگامی که کاربر دستوری تایپ می‌کند و در آن از هوش مصنوعی می‌خواهد به موضوعی خاص اشاره نکند، سازوکار توجه در مدل، شبکه معنایی پیرامون همان سوژه را به شکلی شدید فعال می‌سازد. در این فرایند، نشانه منفی‌ساز تک‌کلمه‌ای توان مهار این حجم انبوه از فعال‌سازی معنایی را نخواهد داشت.[1]

این نقص محاسباتی با نام «فعال‌سازی نشانه هدف» (Target-Token Priming) شناخته می‌شود. همین سازوکار توجیه می‌کند چرا وقتی به یک مدل مولد گفته می‌شود به «فیل» فکر نکند، تقریبا قطعی است که واژگانی مرتبط با عاج، خرطوم و دشت‌های آفریقا در خروجی آن ظاهر خواهد شد.[3]

ریشه این ناکامی به معماری بنیادین مدل‌های زبانی بزرگ بازمی‌گردد که هدفشان پیش‌بینی محتمل‌ترین کلمه بعدی بر پایه پنجره زمینه است. مطابق مدخل ویکی‌پدیا درباره این موضوع، «مدل‌های زبانی بزرگ معمولا بر پایه معماری شبکه‌های عصبی ترنسفورمر بنا شده‌اند».[2]

از آن‌جا که این مدل‌ها در واقع موتورهای آماری بدون درک مفهومی هستند، ادراکی منطقی از «عدم» یا غیاب یک چیز ندارند. محاسبات آن‌ها صرفا بر ارزیابی مجاورت ریاضی میان نشانه‌های موجود در پرامپت و نشانه‌های ذخیره‌شده در دایره واژگان متکی است.[3]

سازوکار توجه چگونه نشانه‌ها را وزن‌دهی می‌کند؟

برای فهم علت ناکامی در منفی‌سازی، باید شیوه پردازش متن در ترنسفورمرها موشکافی شود. همان‌گونه که در مدخل ویکی‌پدیا برای سازوکار توجه آمده است: «در یادگیری ماشین، توجه روشی است که میزان اهمیت هر جزء در یک توالی را نسبت به دیگر اجزای آن توالی می‌سنجد».[1]

وقتی یک پرامپت به مدل وارد می‌شود، به نشانه‌های مجزا تجزیه می‌گردد. سازوکار توجه به هر نشانه یک امتیاز یا وزن متناسب اختصاص می‌دهد که مشخص می‌کند آن نشانه تا چه اندازه باید روی خروجی نهایی اثرگذار باشد.[1]

طبق توضیحات ویکی‌پدیا، «در پردازش زبان‌های طبیعی، اهمیت از طریق وزن‌های نرم اختصاص‌یافته به هر کلمه در جمله بازنمایی می‌شود». این وزن‌های نرم تنها حین انتشار رو به جلو وجود دارند و با هر گام در توالی ورودی، دچار تغییرات دینامیکی می‌شوند.[1]

هر نشانه تمام بودجه توجه خود، یعنی ۱۰۰ درصد آن را، میان دیگر نشانه‌های موجود در پنجره زمینه تقسیم می‌کند. واژه‌ای مانند «فیل» کشش معنایی سهمگینی دارد و توجه نشانه‌های بعدی را به سمت خوشه تثبیت‌شده مفاهیم همبسته با خود می‌کشاند.[3]

در مقابل، نشانه نفی مانند واژه «هرگز» صرفا یک جزء کوچک در این موازنه ریاضی به شمار می‌رود. این نشانه فاقد شبکه متراکم پیوندهای معنایی موجود در اسم‌های ذات و فعل‌های عملیاتی است و به همین سبب در موقعیتی ضعیف‌تر قرار می‌گیرد.[3]

جایگاه تعبیه‌های برداری

پیش از آن‌که سازوکار توجه دست‌به‌کار شود، مدل پرامپت را به تعبیه‌های برداری تبدیل می‌سازد. این تعبیه‌ها بازنمایی‌های متراکم ریاضی هستند که میلیاردها نشانه را در فضایی چندبُعدی فشرده کرده و روابط متقابل میان کلمات را ترسیم می‌نمایند.[2]

در این فضای برداری، کلمات با معانی مشابه در فواصل نزدیک به یکدیگر جانمایی می‌شوند. تعبیه برداری واژه «فیل» درست در کنار تعبیه‌های عاج، بادام‌زمینی و باغ‌وحش می‌نشیند و خوشه‌ای موضعی از جاذبه معنایی ایجاد می‌کند.[3]

نکته حیاتی این است که در این فضای برداری، عمل ریاضی ساده‌ای برای واژگون‌سازی مفهوم وجود ندارد. یک توسعه‌دهنده نمی‌تواند بردار نشانه «نه» را از بردار واژه «فیل» تفریق کند و توقع داشته باشد که مدل به خروجی مفهومی معکوس دست یابد.[3]

از آن‌جا که ترنسفورمرها به‌جای منطق انتزاعی، پیوندهای آماری را کدگذاری می‌کنند، در پردازش منفی‌سازی به‌عنوان یک ابرعملگر ناتوان هستند. آن‌ها زبان نفی را صرفا تقلید می‌کنند بدون آن‌که تبعات آن را دریابند، و با نشانه بازدارنده همانند نقطه‌ای معمولی در فضا برخورد می‌کنند.[3]

محاسبات حاکم بر فعال‌سازی نشانه هدف

پدیده فعال‌سازی نشانه هدف زمانی رخ می‌دهد که بار ریاضی یک مفهوم ممنوع، دستورهای نحوی مدل را مغلوب می‌سازد. درست در لحظه‌ای که کاربر کلمه ممنوعه را درج می‌کند، بردار تعبیه آن مستقیما به حافظه فعال مدل تزریق می‌شود.[3]

تیم تحریریه فکت‌لن وزن‌های فعال‌سازی سرهای توجه برای نشانه‌های نفی را در برابر وزن‌های فعال‌سازی معنایی نشانه‌های هدف در معماری‌های متداول ترنسفورمر مقایسه کرده است. این تحلیل، عدم توازن ریاضی عامل شکست در پرامپت‌های سلبی را شفاف ساخت.[3]

یافته‌ها نشان دادند که وزن تحریکی حاصل از صرف حضور مفهوم ممنوع، به شکل ریاضی سیگنال بازدارنده تک‌نشانه‌ای نفی را در هم می‌شکند. مدل عملا تحت تاثیر موج فعال‌سازی نشانه هدف قرار گرفته و مهار آن ناممکن می‌شود.[3]

این عدم توازن به‌ویژه در لایه‌های ابتدایی شبکه عصبی پررنگ‌تر است، جایی که مدل همچنان در حال ترسیم روابط پایه‌ای است. تا زمانی که محاسبات به لایه‌های خروجی نهایی برسد، مفهوم ممنوعه از پیش توزیع احتمالات را در دست گرفته است.[3]

تنظیمات بالای پارامتر دمای تولید نیز این نقیصه را تشدید می‌کند. وقتی کاربران برای تولید پاسخ‌های متنوع‌تر یا خلاقانه‌تر این مقدار را افزایش می‌دهند، مدل در برابر کشش جاذبه نشانه‌های هدف فعال‌شده آسیب‌پذیرتر عمل می‌کند.[3]

سوگیری تایید در داده‌های پیش‌آموزش

ضعف ریاضی منفی‌سازی با داده‌هایی که این مدل‌ها در دوران آموزش اولیه مصرف کرده‌اند دوچندان می‌شود. مدل‌های زبانی بر پایه مجموعه‌های عظیم متن‌های بشری تعلیم دیده‌اند که به شکلی بارز گزاره‌های ایجابی را بر گزاره‌های سلبی ترجیح می‌دهند.[2]

در گفتار روزمره، انسان‌ها وجود اشیاء را بسیار بیش از نبود آن‌ها توصیف می‌کنند. جمله‌ای که خبر از نشستن گربه روی فرش می‌دهد میلیون‌ها بار در داده‌های آموزشی تکرار شده است، در حالی که گزاره‌هایی مبنی بر عدم حضور گربه روی سقف عملا یافت نمی‌شوند.[3]

این امر سوگیری تایید عمیقی در وزن‌های شبکه ایجاد می‌کند. شبکه عصبی یاد می‌گیرد به سوی آنچه رایج و قابل اثبات است متمایل شود، موضوعی که توانایی آن را در مواجهه با پرسش‌های مبتنی بر غیاب، حذف یا تناقض مستقیم به شدت کاهش می‌دهد.[3]

این سوگیری در پیاده‌سازی‌های حساس سازمانی به یک ریسک جدی بدل می‌گردد. در شرایطی که مهندسان سامانه‌های پیچیده‌ای نظیر تبدیل ایده شبیه‌سازی به یک برنامه کاربردی فعال را طراحی می‌کنند، اتکای فراوانی به محدودیت‌های دقیق پرامپت برای حفظ ایمنی و عملکرد دارند.[4]

وبلاگ شرکتی انویدیا می‌نویسد: «تبدیل یک ایده شبیه‌سازی به برنامه‌ای کاربردی نیازمند گردهم‌آوری دارایی‌ها، پیوند دادن فیزیک و رندرینگ، و بررسی رفتار مطابق انتظار صحنه است». وقتی عامل‌های هوشمند محدودیت‌های سلبی را نادیده می‌گیرند، این شبیه‌سازی‌های پیچیده ممکن است فورا دچار اختلال شوند.[4]

دور زدن مهندسی نقص‌های ساختاری

از آن‌جا که ساختار زیربنایی در برابر منفی‌سازی مقاومت دارد، مهندسان پرامپت ترفندهایی برای وادار کردن مدل به تبعیت توسعه داده‌اند. اثربخش‌ترین راهبرد، جایگزینی محدودیت‌های سلبی با دستورهای صریح ایجابی است؛ یعنی به مدل دقیقا دیکته شود چه کاری باید انجام دهد، نه این‌که از چه چیزی پرهیز کند.[3]

به جای این‌که به مدل گفته شود از نقطه‌ویرگول استفاده نکند، برنامه‌نویس قانونی وضع می‌کند که در آن تمام خطوط باید با نقطه پایان یابند. این رویکرد سازوکار توجه را وادار به فعال‌سازی مفهوم نقطه می‌کند و بار معنایی نقطه‌ویرگول را کلا بی‌اثر می‌سازد.[3]

آزمون‌های صنعتی در سال ۲۰۲۶ اثبات می‌کنند که تبدیل قوانین منفی به معادل‌های مثبت می‌تواند موارد نقض ضوابط را تا نزدیک به نصف کاهش دهد. با این متد، مدل دیگر نیازی به حل تعارض ریاضی میان علامت بازدارنده و هدف تحریکی نخواهد داشت.[3]

رویکرد متداول دیگر، به‌کارگیری قانون ۳۰ خط در پرامپت‌های سیستمی است. پژوهش‌ها نمایانگر آن هستند که مدل‌های پیشرو حداکثر حدود ۱۵۰ تا ۲۰۰ دستور مجزا را با دقت پیگیری می‌کنند و پس از آن، وزن‌های توجه برای اعمال محدودیت‌ها به شدت رقیق می‌شوند.[3]

با کاستن از محتوای پرامپت‌های سیستمی تا رسیدن به ضرورت‌های بنیادین، برنامه‌نویسان بودجه توجه مدل را روی حیاتی‌ترین اصول متمرکز می‌کنند. کاهش تعداد دستورها به این معناست که هر نشانه باقی‌مانده سهم بزرگ‌تری از تمرکز محاسباتی را تصاحب خواهد کرد.[3]

پیامدهای این نقص بر عامل‌های خودمختار

ناتوانی در پردازش شروط سلبی هنگامی که مدل‌ها در قالب عامل‌های خودمختار به کار گرفته می‌شوند به اوج خطر می‌رسد. به این عامل‌ها بیش از پیش وظایف چندمرحله‌ای واگذار می‌شود، جایی که برداشت نادرست از یک محدودیت تک‌خطی می‌تواند زنجیره‌ای از خرابی‌ها را به دنبال آورد.[4]

اگر توسعه‌دهنده‌ای به عاملی که خوشه‌های پردازش گرافیکی را هدایت می‌کند دستور دهد کارهای پردازشی فعال را لغو نکند، مدل باید این شرط منفی را ساعت‌ها در حافظه پنجره زمینه نگاه دارد. با گذشت زمان، وزن‌های توجه جابه‌جا می‌شوند و همان اقدام ممنوعه از منظر آماری به محتمل‌ترین گام بعدی بدل می‌گردد.[5]

بر اساس وبلاگ هاگینگ فیس، «زمان‌بندی موثر برای خوشه‌های پردازش گرافیکی» محتاج دقتی قطعی است. چنانچه سازوکار توجه مدل نشانه نفی را گم کند اما مفهوم توقف فرایند را در نظر نگاه دارد، نتیجه کار می‌تواند پیشرفت محاسباتی حاصل از چندین هفته را نابود سازد.[5]

جهت پیشگیری از چنین خطاهای ویرانگری، تیم‌های مهندسی لایه‌های اعتبارسنجی بیرونی تعبیه می‌کنند. این سامانه‌های ثانویه اقدامات پیشنهادی عامل را پیش از اجرا رصد کرده و آن‌ها را با قواعد منطقی قطعی تطبیق می‌دهند تا مطمئن شوند موتور آماری دستور منفی مهمی را بی‌صدا رد نکرده باشد.[3]

در مقطع کنونی، یک قاعده کلی پابرجا می‌ماند: اگر مفهومی نباید در خروجی منعکس شود، نباید در ورودی پرامپت نیز ثبت گردد. دستیابی به غیاب واقعی محتاج سکوت است، نه تلاش برای نفی حضور.[3]