فشردگی معنایی در پنجره‌های متنی هوش مصنوعی چگونه فکت‌های دقیق را پیش از اصول کلی محو می‌کند؟

برای اینکه یک مدل هوش مصنوعی بتواند مکالمه‌ای بی‌پایان را پیش ببرد، باید از یک قید اکیداً ریاضی تبعیت کند: سیستم باید توکن‌های قدیمی‌تر را دقیقاً با همان سرعتی که توکن‌های جدید دریافت می‌کند کنار بگذارد، بدون اینکه شاکله روایت اصلی از بین برود. در حال حاضر، این سازوکار برای درک تم‌ها و مفاهیم کلی بی‌نقص کار می‌کند، اما در مواجهه با داده‌های تجربی و آماری دقیق، سازوکار آن دچار شکست سیستماتیک می‌شود.[3]

این دادوستد ساختاری را اصطلاحاً «فشردگی معنایی» (Semantic Compression) می‌نامند. هنگامی که حافظه دم‌دستی یک مدل زبانی پر می‌شود، خلاصه‌ای از خروجی‌های پیشین خود تهیه می‌کند و آن خلاصه را دوباره به پنجره زمینه (Context Window) بازمی‌گرداند.[1]

این فرایند باعث می‌شود چت‌بات‌ها بتوانند در طول صدها هزار کلمه، حافظه بلندمدت را شبیه‌سازی کنند. با این حال، الگوریتم فشرده‌سازی با همه داده‌ها رفتاری یکدست ندارد و همین مسئله سوگیری ساختاری مشخصی در حافظه واقعی ماشین به وجود می‌آورد.

مکانیسم زمینه بازگشتی چگونه کار می‌کند؟

مدل‌های زبانی امروزی در چارچوب یک پنجره زمینه ثابت کار می‌کنند که معمولاً از ۸,۰۰۰ تا ۱۲۸,۰۰۰ توکن است. وقتی حجم مکالمه از این مرز فراتر می‌رود، پردازش هم‌زمان کل متن ورودی برای مدل ناممکن خواهد بود.[2]

مهندسان برای اینکه مانع کرش‌کردن سیستم یا فراموشی سرآغاز چت شوند، به سراغ خلاصه‌سازی بازگشتی (Recursive Summarization) می‌روند. در این روش، مدل روایتی فشرده از کهنه‌ترین پیام‌ها تولید کرده و متن اولیه را با این جایگزین کوتاه‌تر تعویض می‌کند.[1]

این فشرده‌سازی، یک برش ساده در متن نیست؛ بلکه نوعی تبدیل ریاضی محسوب می‌شود که طی آن، کلمات خام به بردارهای چگال در فضای نهفته (معمولاً در ۴,۰۹۶ بُعد) تبدیل می‌شوند تا معنای بنیادین متن را بازنمایی کنند.[1][3]

بر اساس تحلیل سال ۲۰۲۴ پژوهشگران آزمایشگاه هوش مصنوعی دانشگاه استنفورد: «وقتی شبکه را مجبور می‌کنیم خروجی‌هایش را به صورت بازگشتی فشرده کند، سیستم ساختار کلی روایت را به لنگرگاه‌های تجربی ترجیح می‌دهد. معماری شبکه از نظر ریاضی به شکلی سوق داده شده که دقیقاً همان جزئیاتی را حذف کند که برای انسان بیشترین اهمیت را دارند.»

نتیجه این سازوکار، حفظ اسکلت کلی بحث است. اگر کاربری یک ساعت را صرف بحث درباره سیاست‌های کلان اقتصادی کند، حافظه فشرده‌شده به درستی به خاطر می‌سپارد که کاربر طرفدار افزایش نرخ بهره بوده است.

سیستم این کار را با شناسایی الگوهای کم‌آنتروپی در متن پیش می‌برد. مفاهیم گسترده معمولاً بارها تکرار می‌شوند و واژگان مشترک زیادی دارند؛ خصوصیتی که فشرده‌سازی آن‌ها را بدون افت چشمگیر وضوح امکان‌پذیر می‌کند.[2]

چرا فکت‌های انضمامی زودتر ناپدید می‌شوند؟

علت واگرایی در ماندگاری داده‌ها، به نحوه نگاشت اطلاعات در فضاهای چندبُعدی توسط شبکه‌های عصبی بازمی‌گردد. یک اصل تعمیم‌یافته بسیار تنومند است، زیرا هزاران بردار هم‌پوشان که همگی در یک جهت معنایی مشترک قرار دارند، آن را تقویت می‌کنند.[1]

در نقطه مقابل، یک فکت انضمامی — مانند نرخ تورم ۴٫۲ درصدی یا سال انتشار ۱۹۹۸ — بسیار شکننده است. این داده به‌صورت مختصاتی کاملاً منحصربه‌فرد و با آنتروپی بالا وجود دارد که نمی‌توان آن را به‌سادگی با مفاهیم پیرامونی میانگین گرفت.

در هر چرخه فشرده‌سازی، مدل برای صرفه‌جویی در فضا این بردارها را میانگین‌گیری می‌کند. بردارهای مفهومی پایدار از این محاسبه ریاضی جان سالم به در می‌برند، در حالی که مختصات فکت‌های تک‌افتاده هموار شده و در نهایت محو می‌شوند.[3]

پژوهشگرانی که این پدیده را اندازه‌گیری کرده‌اند، به تضادی آشکار در زوال حافظه پی برده‌اند. در طول سه چرخه فشرده‌سازی بازگشتی، شباهت معنایی برای مفاهیم کلی در هر چرخه در حد ۹۴ درصد حفظ می‌شود.[1][3]

در سوی دیگر، میزان ماندگاری موجودیت‌های عددی با افتی سرگیجه‌آور همراه است. نرخ فرسایش فکت‌های دقیق در هر چرخه به حدود ۴۲ درصد می‌رسد و عملاً تا چرخه سوم، داده‌های واقعی اولیه کاملاً پاک می‌شوند.[3]

این جبر ریاضی به این معناست که فشرده‌سازی معنایی مثل یک فیلتر گزینشی عمل می‌کند؛ فیلتری که به‌طور پیوسته دقیق‌ترین داده‌ها را که اغلب از نگاه انسان هسته اصلی مستندات هستند، کنار می‌گذارد.

این سازوکار در دامنه‌های حساسی نظیر حقوق یا پزشکی با وضوح بیشتری خود را نشان می‌دهد. خلاصه فشرده یک پرونده پزشکی تشخیص بیماری قلبی-عروقی را نگه می‌دارد، اما عدد دقیق فشار خون ۱۴۰ روی ۹۰ را به‌سادگی دور می‌اندازد.[1]

سازوکار پنهان در توهم داده‌ها

این تضعیف نامتقارن، آسیب‌پذیری ویژه‌ای در عامل‌های گفت‌وگوگر طولانی ایجاد می‌کند. چون مدل کلیت ماجرا را بی‌نقص به یاد دارد، همچنان با اعتمادبه‌نفس بالا حس می‌کند که بر موضوع مسلط است.[2]

وقتی از سیستم خواسته می‌شود آن داده تجربی مفقود را احضار کند، تشخیص نمی‌دهد که عدد دقیق بر اثر فشرده‌سازی محو شده است؛ بلکه با تکیه بر بردارهای مفهومیِ باقیمانده، عددی کاملاً باورپذیر اما یکسره ساختگی را تولید می‌کند.[1]

همین مکانیسم توضیح می‌دهد چرا یک چت‌بات شاید دقیقاً به یاد بیاورد که شرکت کاربر در سال ۲۰۲۳ متحمل ضرر مالی شدیدی شده، ولی با قاطعیت ادعا کند این ضرر ۱۲ میلیون دلار بوده است، در حالی که رقم واقعی ۱۸ میلیون دلار ثبت شده بود.[3]

عدد ساخته‌شده به شکلی باورنکردنی با اصل حفظ‌شده یعنی «زیان مالی شدید» همخوانی دارد. برای کاربر، این خطا شبیه یک توهم لحظه‌ای ناگهانی به نظر می‌رسد، اما در واقعیت، پیامد قابل پیش‌بینیِ میانگین‌گیری برداری است.

مدل با توسل به احتمالات آماری، جای خالی حافظه خود را پر می‌کند؛ می‌داند جای چه نوع رقمی در آن جمله خالی است و عددی را برمی‌گزیند که در داده‌های آموزشی پیشینش، بیشترین همنشینی را با مفهومِ نجات‌یافته داشته است.[2]

چنین رفتاری، استفاده از پنجره‌های زمینه بازگشتی را برای کارهایی که به دقت بسیار بالا نیاز دارند خطرناک می‌سازد. کیفیت خروجی سیستم از نظر شیوایی بیان به نرمی و تدریجی افت می‌کند، اما دقت واقعی آن با سقوطی فاجعه‌بار مواجه می‌شود.[3]

تلاش‌های مهندسی برای رفع گلوگاه حافظه

برای گریز از این بن‌بست معماری، توسعه‌دهندگان به‌مرور خلاصه‌سازی صرفاً بازگشتی را کنار گذاشته و به سوی سیستم‌های حافظه هیبریدی روی آورده‌اند؛ ساختارهایی که درک مفهومی را از انبارش فکت‌ها جدا می‌کنند.[2]

تولید تقویت‌شده با بازیابی یا همان RAG رایج‌ترین راهکار دورزدن این مشکل است. در این شیوه، به‌جای فشرده‌سازی فکت‌ها درون بردارهای معنایی، متن اصلی در یک پایگاه داده بیرونی ذخیره شده و در صورت نیاز جست‌وجو و فراخوانی می‌شود.[1]

با سپردن بار فکت‌ها به یک موتور جست‌وجوی قطعی، مدل زبانی فقط کافی است جریان کلی گفت‌وگو را خلاصه کند و داده‌های حساس بدون فشرده‌سازی در مخزنی مجزا دست‌نخورده باقی می‌مانند.[3]

رویکردهای دیگر، همچون معماری StreamingLLM که در اواخر ۲۰۲۳ معرفی شد، کش کوچکی از اولین توکن‌ها را در کنار یک پنجره لغزان از تازه‌ترین توکن‌ها نگه می‌دارند.[2]

این شیوه سازوکار توجه (Attention) مدل را مهار می‌کند و جلوی فروپاشی کامل پنجره زمینه را بدون نیاز به فشرده‌سازی مداوم توکن‌های میانی می‌گیرد.[2]

با این حال، این راه‌حل‌های بیرونی با جریمه‌های زمانی و هزینه‌های محاسباتی همراه هستند. یک مدل استاندارد با دقت ۱۶ بیتی هنگام کوئری‌زدن به پایگاه داده خارجی، محاسبات به‌مراتب سنگین‌تری نسبت به مدلی دارد که فقط به حافظه درونی خود اتکا می‌کند.[3]

علاوه بر این، سیستم‌های ترکیبی در سناریوهای تحلیل و سنتز داده‌ها — جایی که مقایسه هم‌زمان ده‌ها داده مشخص مدنظر است — به چالش می‌خورند؛ مدل داده‌ها را بازیابی می‌کند، اما همچنان پهنای باند داخلی لازم برای پردازش هم‌زمان تمام آن‌ها را ندارد.

چشم‌انداز حافظه در هوش مصنوعی

شکاف بنیادین میان فشرده‌سازی و دقت محاسباتی همچنان یکی از گره‌های اصلی در طراحی هوش مصنوعی است. حتی با رسیدن ابعاد پنجره‌های زمینه به یک میلیون توکن و فراتر از آن، حجم سرسام‌آور داده‌ها ناگزیر نیازمند نوعی فشرده‌سازی خواهد بود.

حتی با ارتقای سخت‌افزارهای پیشرفته، پردازش کامل یک میلیون توکن در هر دور پاسخ‌دهی برای استفاده کاربران عادی از نظر اقتصادی توجیه‌پذیر نیست؛ بنابراین خلاصه‌سازی بازگشتی همچنان ابزاری گریزناپذیر برای صرفه‌جویی در هزینه خواهد ماند.[1]

پژوهشگران اکنون در پی الگوریتم‌های فشرده‌سازی غیرخطی هستند تا توکن‌های پرآنتروپی را در جریان خلاصه‌سازی علامت‌گذاری و محافظت کنند و اعداد و جزئیات دقیق را از تیغ میانگین‌گیری برداری نجات دهند.[3]

تا زمانی که مهندسان راهی مطمئن برای فشرده‌سازی این فکت‌ها هم‌پای مفاهیم کم‌آنتروپی نیابند، حافظه بلندمدت هوش مصنوعی از نظر ساختاری به سوی مفاهیم انتزاعی متمایل خواهد ماند.

سیستم‌ها کماکان تلفیق‌کنندگانی چیره‌دست برای الگوهای کلی فلسفی باقی خواهند ماند، اما همچنان نمی‌توان به آن‌ها به عنوان ثبت‌کنندگانی قابل‌اعتماد برای تاریخچه‌ها و ارقام دقیق تکیه کرد. گام بعدی هوش مصنوعی لزوماً به خاطر سپردن حجم بیشتری از داده نیست؛ بلکه کشف این معماست که چگونه یک فکت مشخص را فشرده کنیم بدون آنکه محتوایش متلاشی شود.[3]