سنجش حقیقت‌گویی در ترنسفورمرها؛ کاوشگرهای خطی چگونه بدون بازآموزی وزن‌ها به لایه‌های پنهان نفوذ می‌کنند؟

هنگامی که یک مدل زبانی بزرگ گزاره‌ای نادرست اما موجه را سرهم می‌کند و اصطلاحاً دچار توهم می‌شود، در واقعیت داده‌های درست اغلب درون شبکه پردازش شده‌اند. مشکل درست در گام نهایی متن‌سازی رخ می‌دهد؛ جایی که سامانه ترجیح می‌دهد پیش‌بینی محتمل‌ترین توکن بعدی را بر رعایت حقیقت factual اولویت دهد. برای درک این شکاف، پژوهشگران به جای پذیرش هیاهوی جعبه‌سیاه بودن هوش مصنوعی، روشی به نام پروب یا کاوشگری خطی را به کار گرفته‌اند تا میزان صدق گزاره‌ها را مستقیماً از بطن لایه‌های محاسباتی بیرون بکشند.[1][3]

کاوشگر خطی صرفاً یک شبکه عصبی تک‌لایه‌ای و بسیار ساده است که آموزش می‌بیند تا حالات درونی یک مدل بزرگ و منجمدشده را طبقه‌بندی کند. مهندسان به جای اینکه با صرف هزینه‌های هنگفت میلیاردها پارامتر ترنسفورمر را دوباره آموزش دهند، این کاوشگر کوچک را به لایه‌های میانی خاصی متصل می‌کنند. پروب یاد می‌گیرد که الگوهای چندبعدی و پیچیده فعال‌سازی را به مفهومی مشخص، مانند درست یا غلط بودن یک گزاره، ترجمه و متناظر کند.[1][2]

خواندن حالات پنهان مدل

پایه‌های علمی این شیوه بر این فرضیه استوار است که مدل‌های زبانی مفاهیم را در قالب بازنمایی‌های خطی درون حالات پنهان خود شکل می‌دهند. کاوشگر با تصویر کردن این بردارها بر فضایی با ابعاد کمتر، راستای مشخص ریاضی مربوط به صدق را تفکیک می‌کند. در کل این فرایند، وزن‌های مدل اصلی بدون تغییر باقی می‌مانند؛ رویکردی که توانایی‌های عمومی مدل را دست‌نخورده حفظ می‌کند و هم‌زمان ابزاری برای خواندن «باورهای درونی» آن فراهم می‌سازد.[1][3]

برای تعلیم این حسگر کم‌حجم، مجموعه‌ای از گزاره‌های دارای برچسب درست و غلط به مدل زبانی تزریق می‌شود. هم‌زمان با پردازش هر گزاره، کاوشگر الگوهای خروجی نورون‌ها در لایه هدف را ثبت می‌کند. وزن‌های کاوشگر طوری تنظیم می‌شوند که خطای طبقه‌بندی به حداقل برسد؛ یعنی خط فرضی مرز میان ادراک درست و غلط در فضای نهفته شبکه را به شکلی کاربردی بیاموزد.[1]

کارایی کاوشگر وابستگی شدیدی به لایه‌ای دارد که به آن وصل می‌شود. لایه‌های ابتدایی ترنسفورمر عمدتاً به ساختار دستوری و ویژگی‌های نحوی اختصاص دارند و لایه‌های پایانی اطلاعات معنایی عمیق‌تری را ترکیب می‌کنند. داده‌های تجربی نشان می‌دهد که ردپای حقیقت‌گویی اغلب در لایه‌های میانی به سمت پایانی پدیدار می‌شود؛ یعنی درست جایی که مدل زمینه و محتوای کافی را برای اعتبارسنجی یک واقعیت گردآوری کرده است.[1][2]

شناسایی توهم در لحظه تولید

پس از مرحله یادگیری، این ابزار کوچک حکم یک دستگاه عیب‌یاب را پیدا می‌کند. هنگامی که ترنسفورمر پاسخی تولید می‌کند، کاوشگر هم‌زمان بازنمایی‌های درونی را تحلیل می‌نماید تا بسنجد آیا ادعای خروجی با محاسبات درونی مدل هم‌خوانی دارد یا خیر. اگر کاوشگر احتمال کذب بالایی را ثبت کند در حالی که متن خروجی مطمئن به نظر می‌رسد، آشکارا از گسست میان دانش درونی شبکه و الگوریتم نگارش پرده برداشته می‌شود.[1][3]

این قابلیت از نظر ایمنی هوش مصنوعی ابزاری کارآمد و ملموس است، نه یک وعده بازاریابی. سامانه‌های پایش می‌توانند هشدارهای کاوشگر را قبل از نمایش پاسخ به کاربر رصد کنند و گزاره‌های غیرواقعی را فیلتر نمایند. افزون بر این، سیگنال پروب می‌تواند به عنوان راهنما در الگوریتم هدایت متن به کار رود تا مدل را از تولید توهم بازداشته و به سمت پاسخ‌های مستند سوق دهد.[3]

با تمام این اوصاف، نباید کاوشگرهای خطی را راهکاری بی‌نقص انگاشت. برد این تکنیک به تنوع و کیفیت داده‌های ارزیابی وابسته است و در برخورد با موضوعاتی که کاملاً خارج از توزیع داده‌های آزمون باشند، خطاپذیر است. مهم‌تر از همه، اگر خود مدل در لایه‌های پیشین فاقد اطلاعات لازم درباره موضوع باشد، کاوشگر هیچ نشانه معناداری نخواهد یافت؛ چرا که توانایی این ابزار فقط بازخوانی باورهای درونی مدل است، نه راستی‌آزمایی واقعیت‌های جهان خارج.[1][2]