سازوکار اصلی توهم‌زایی در مدل‌های زبان بزرگ (LLM): چرا هوش مصنوعی واقعیت می‌سازد و راهکارهای مهار آن

به طور خلاصه، مدل‌های زبان بزرگ واقعیت‌ها را اختراع می‌کنند زیرا در واقعیت، حقایق را ذخیره نمی‌کنند. آن‌ها روابط آماری بین کلمات را ذخیره می‌کنند. وقتی یک چت‌بات با اطمینان به یک پرونده قضایی ناموجود استناد می‌کند، یک مکانیسم بیولوژیکی را اختراع می‌کند یا یک رویداد تاریخی را جعل می‌کند، دچار نقص فنی نشده است. بلکه دقیقاً کاری را انجام می‌دهد که معماری بنیادی‌اش برای آن طراحی شده است: پیش‌بینی محتمل‌ترین کلمه بعدی در یک دنباله. درک این تمایز بین «محتمل» و «واقعی» کلید درک این است که چرا هوش مصنوعی دچار توهم می‌شود و چرا مهندسان به طور فزاینده‌ای درک می‌کنند که این مشکل را نمی‌توان به طور کامل از طریق آموزش از بین برد.[2][7]

برای درک اینکه چرا کاهش توهم‌زایی اینقدر دشوار است، باید به سازوکارهای زیربنایی معماری ترانسفورمر که هوش مصنوعی مولد مدرن را قدرت می‌بخشد، نگاه کنیم. در طول فاز آموزش اولیه، این مدل‌ها تریلیون‌ها کلمه را از اینترنت عمومی جذب می‌کنند و همه چیز، از مقالات علمی داوری‌شده گرفته تا وبلاگ‌های طنز و بحث‌های انجمن‌ها، را در خود جای می‌دهند. با این حال، آن‌ها این متن را در یک پایگاه داده قابل جستجو یا یک گراف دانش ساختاریافته ذخیره نمی‌کنند. در عوض، این الگوهای زبانی گسترده را در یک فضای ریاضیاتی با ابعاد بالا فشرده می‌کنند و میلیاردها پارامتر داخلی – یا وزن‌ها – را برای نمایش روابط آماری بین مفاهیم تنظیم می‌کنند. تنها هدف مدل در این فاز بنیادی، به حداقل رساندن نرخ خطای خود هنگام حدس زدن توکن بعدی در یک دنباله پوشانده‌شده است.[2][5]

از آنجایی که مدل اساساً یک موتور احتمالی است، قبل از تولید پاسخ، یک مخزن حقیقت را بررسی نمی‌کند؛ بلکه یک توزیع احتمال را در واژگان خود محاسبه می‌کند. یک دنباله از کلمات می‌تواند بر اساس الگوهای زبانی داده‌های آموزشی بسیار محتمل باشد، در حالی که در دنیای واقعی کاملاً نادرست است. به عنوان مثال، اگر درخواستی مدیرعامل یک استارتاپ تازه تأسیس را بپرسد، مدل ممکن است نامی را تولید کند که از نظر آماری شبیه یک مدیر اجرایی فناوری به نظر می‌رسد، همراه با یک بیوگرافی محتمل، زیرا آن دنباله از توکن‌ها، مسیر کمترین مقاومت ریاضیاتی را نشان می‌دهد، حتی اگر آن شخص وجود خارجی نداشته باشد.[2][6]

محققان عموماً این جعل‌ها را به دو دسته متمایز تقسیم می‌کنند: توهمات درونی (Intrinsic) و بیرونی (Extrinsic). توهمات درونی زمانی رخ می‌دهند که خروجی مدل مستقیماً با مواد منبع ارائه شده در درخواست کاربر در تضاد باشد. اگر یک گزارش مالی به هوش مصنوعی بدهید و درآمد را به اشتباه خلاصه کند، این یک خطای درونی است. با این حال، توهمات بیرونی بسیار رایج‌تر و خطرناک‌تر هستند. این‌ها زمانی اتفاق می‌افتند که مدل اطلاعات خارجی را معرفی می‌کند که نمی‌توان آن‌ها را توسط درخواست تأیید کرد، و با تکیه بر وزن‌های داخلی فشرده خود، با اطمینان یک واقعیت ساختگی را مطرح می‌کند، مانند اختراع یک منبع جعلی برای حمایت از یک ادعای علمی واقعی.[1][4]

خود داده‌های آموزشی به عنوان اولین عامل اصلی این خطاها عمل می‌کنند. از آنجایی که مدل‌ها بر روی اینترنت فیلترنشده آموزش دیده‌اند، بدون تبعیض حقایق، داستان‌ها، اطلاعات قدیمی و تصورات غلط رایج را جذب می‌کنند. هنگامی که مجموعه داده‌های آموزشی حاوی اطلاعات متناقض در مورد یک موضوع خاص باشد، مدل با جستجوی حقیقت، تعارض را حل نمی‌کند. در عوض، به طور مؤثری تناقضات را به یک مصالحه آماری تبدیل می‌کند. اگر یک افسانه به اندازه کافی در فضای آنلاین تکرار شود، وزن‌های مدل احتمال بالاتری را به آن افسانه نسبت به حقیقت کمتر ذکر شده اختصاص خواهند داد.[2]

علاوه بر این، مقیاس عظیم فشرده‌سازی داده مورد نیاز برای ساخت یک مدل زبان به این معنی است که حقایق نادر یا خاص اغلب در نویز ریاضیاتی گم می‌شوند. اگر یک بخش خاص از دانش تاریخی یا یک اصطلاح پزشکی تخصصی تنها چند بار در یک مجموعه آموزشی متشکل از سه تریلیون توکن ظاهر شود، نقشه آماری مدل آن را به اندازه کافی قوی نشان نمی‌دهد تا آن را به درستی به یاد آورد. هنگامی که در مورد آن موضوع خاص از مدل سؤال می‌شود، تلاش می‌کند جاهای خالی را با توکن‌های رایج‌تر و مرتبط پر کند و زمینه دقیق را به طور یکپارچه با جزئیات ساختگی ترکیب نماید.[2][6]

اما مشکل توهم‌زایی بسیار عمیق‌تر از داده‌های آموزشی نامرتب یا فشرده‌سازی شدید است. تحلیل‌های نظری اخیر نشان داده‌اند که توهم‌زایی یک محدودیت ذاتی و ریاضیاتی در خود پارادایم پیش‌بینی توکن بعدی است. از آنجایی که هر مدل زبانی بر روی مجموعه محدودی از داده‌های آموزشی و تعداد محدودی از پارامترها کار می‌کند، نمی‌تواند پیچیدگی و ظرافت نامتناهی حقیقت دنیای واقعی را به طور کامل ترسیم کند. همیشه موارد حاشیه‌ای، ترکیب‌های جدیدی از مفاهیم و درخواست‌های خارج از توزیع وجود خواهند داشت که مدل را مجبور به حدس زدن می‌کنند. در یک سیستم کاملاً مولد، هیچ مکانیسم ریاضیاتی برای تمایز بین یک حقیقت با احتمال بالا و یک داستان با احتمال بالا وجود ندارد؛ هر دو صرفاً دنباله‌های بهینه‌شده‌ای از توکن‌ها هستند.[3][7]

این محدودیت ذاتی به این معنی است که تا زمانی که مدل مجبور به تولید متن در حوزه‌هایی باشد که اعتماد آماری آن پایین است، به ناچار دچار توهم خواهد شد. مدل در طول آموزش برای توقف یا عدم پیش‌بینی یک توکن جریمه می‌شود، که این امر تمایلی به تولید یک پاسخ – هر پاسخی – به جای اعتراف به نادانی را در آن ایجاد می‌کند. با درک این محدودیت بنیادی معماری، صنعت هوش مصنوعی تا حد زیادی تمرکز خود را تغییر داده است. به جای تلاش برای انجام وظیفه از نظر ریاضی غیرممکنِ حذف کامل توهمات از مدل پایه، مهندسان به طور فزاینده‌ای در حال ساخت سیستم‌های کاهش خارجی هستند که مدل را احاطه کرده تا رفتار آن را محدود کرده و خروجی‌های آن را بر واقعیت قابل تأیید مبتنی سازند.[3][5]

برجسته‌ترین و پرکاربردترین این استراتژی‌های کاهش، تولید تقویت‌شده با بازیابی (Retrieval-Augmented Generation) است که معمولاً به عنوان RAG شناخته می‌شود. معماری RAG اساساً وظیفه اصلی مدل را تغییر می‌دهد. به جای تکیه صرف بر وزن‌های داخلی و فشرده خود برای به یاد آوردن یک واقعیت از حافظه، یک سیستم RAG درخواست کاربر را رهگیری کرده و ابتدا یک پایگاه داده خارجی و تأیید شده – مانند اینترانت شرکتی، پایگاه داده پزشکی یا یک موتور جستجوی زنده – را برای اطلاعات مرتبط جستجو می‌کند. سپس نتایج برتر را بازیابی کرده و آن زمینه واقعی را به طور یکپارچه مستقیماً در درخواست مدل قبل از شروع تولید پاسخ توسط مدل، وارد می‌کند.[4][5]

این تغییر معماری، وظیفه مدل زبان را از «به یاد آوردن» به «خلاصه‌سازی» تبدیل می‌کند. با مبتنی ساختن تولید بر متن صریحاً بازیابی‌شده، RAG به طور قابل توجهی وقوع توهمات بیرونی را کاهش می‌دهد. به مدل دستور داده می‌شود که با استفاده از تنها زمینه ارائه شده به پرسش پاسخ دهد و از قابلیت‌های زبانی قوی خود برای تجزیه و تحلیل و توضیح حقایق بازیابی‌شده استفاده کند، نه اینکه خود حقایق را حدس بزند. اگرچه RAG بسیار مؤثر است، اما خطاها را به طور کامل از بین نمی‌برد؛ مدل‌ها همچنان می‌توانند زمینه بازیابی‌شده را به اشتباه تفسیر کنند یا در صورت پیچیده بودن بیش از حد متن ارائه شده، دچار توهمات درونی شوند.[1][5]

یک استراتژی کاهش عمده دیگر در طول فاز همسوسازی پس از آموزش رخ می‌دهد، به ویژه از طریق تکنیک‌هایی مانند یادگیری تقویتی از بازخورد انسانی (RLHF) و درخواست‌های سیستم هدفمند. در طول RLHF، آزمایش‌کنندگان انسانی با مدل تعامل می‌کنند و به صراحت به آن برای اعتراف به نادانی به جای حدس زدن پاداش می‌دهند. هدف، کالیبره کردن آستانه‌های اعتماد داخلی مدل است. اگر احتمال آماری یک پاسخ صحیح به زیر سطح معینی کاهش یابد، مدل آموزش می‌بیند که به جای تولید یک ساختگی محتمل، یک امتناع ایمن مانند «من اطلاعات کافی برای پاسخ به آن ندارم» را خروجی دهد.[4][6]

با این حال، این کالیبراسیون رفتاری به شدت شکننده است. از آنجایی که مدل پایه زیربنایی همچنان ظرفیت تولید متن توهم‌آمیز را دارد، آموزش RLHF صرفاً به عنوان یک پوشش رفتاری عمل می‌کند و رفتار را سرکوب می‌کند نه اینکه آن را حذف کند. تکنیک‌های پیچیده درخواست‌دهی، دور زدن‌های امنیتی (jailbreaks) یا صرفاً درخواست از مدل برای پذیرش یک شخصیت خاص یا سناریوی فرضی، اغلب می‌توانند این موانع ایمنی را دور بزنند. هنگامی که لایه همسوسازی سوراخ می‌شود، مدل بلافاصله به رفتار بنیادی خود یعنی پیش‌بینی محتمل‌ترین توکن بعدی بدون توجه به دقت واقعی آن باز می‌گردد، که نشان می‌دهد تمایل به توهم‌زایی در وزن‌ها نهفته اما فعال باقی می‌ماند.[3][4]

در نهایت، چالش مداوم توهم‌زایی یک بده‌بستان بنیادی را در قلب معماری فعلی هوش مصنوعی آشکار می‌کند. مکانیسم دقیقی که مدل‌های زبان بزرگ را بسیار مفید، خلاق، روان و سازگار می‌سازد – یعنی توانایی آن‌ها در ترکیب احتمالی مفاهیم مختلف به روش‌های بدیع بدون محدود شدن توسط یک پایگاه داده سخت – دقیقاً همان مکانیسمی است که آن‌ها را به راویان غیرقابل اعتماد واقعیت تبدیل می‌کند. اگر یک مدل محدود به خروجی دادن تنها رشته‌های متنی کاملاً تأیید شده باشد، توانایی خود را برای طوفان فکری، سرودن شعر، ترجمه اصطلاحات یا ترکیب ایده‌های پیچیده از دست خواهد داد.[6][7]

با ادامه بلوغ این فناوری، اجماع در میان محققان از پیگیری یک مدل مولد کاملاً واقعی فاصله می‌گیرد. در عوض، آینده هوش مصنوعی قابل اعتماد در سیستم‌های چندعاملی و معماری‌های ترکیبی نهفته است، جایی که مدل زبان خلاق و احتمالی به شدت توسط کدهای قطعی، موتورهای منطق نمادین و الگوریتم‌های بررسی مداوم واقعیت نظارت می‌شود. در این چارچوب‌های نوظهور، مدل زبان صرفاً به عنوان رابط ارتباطی عمل می‌کند، در حالی که سیستم‌های جداگانه و غیرمولد، بازیابی و تأیید واقعی دانش را بر عهده دارند. تا زمانی که این سیستم‌های ترکیبی کامل و به طور گسترده مستقر شوند، کاربران باید هوش مصنوعی مولد را با این درک هدایت کنند که برای یک ترانسفورمر، احتمال و حقیقت مفاهیمی هستند که از نظر ریاضی متمایز هستند.[5][7]