چگونه دسته‌بندی پویا قطعیت هوش مصنوعی را در دمای صفر بر هم می‌زند؟

مقیاس را در کسری از یک سنت در نظر بگیرید؛ اگر در محاسبه حساب بانکی، یک‌هزارم پنی گرد شود، صاحب حساب هرگز متوجه این کسر ناچیز نخواهد شد. اما در درون یک مدل زبانی بزرگ، خطای گردکردنی با همان مقیاس یعنی یک‌هزارم رقم اعشار، می‌تواند متنی هزارکلمه‌ای را به کلی بازنویسی کند.[4]

این نوسان میکروسکوپی یکی از پایدارترین معماها در به‌کارگیری هوش مصنوعی را توجیه می‌کند. مهندسان معمولاً مدل‌ها را طوری تنظیم می‌کنند که کاملاً پیش‌بینی‌پذیر باشند و تمام متغیرهای تصادفی را حذف می‌کنند. با این حال، این سامانه‌ها وقتی در مقیاس وسیع مستقر می‌شوند، گهگاه به پرامپتی کاملاً یکسان، پاسخ متفاوتی می‌دهند.[4]

علت این موضوع نه یک باگ نرم‌افزاری است و نه ردپایی از خلاقیت نهفته ماشینی؛ بلکه نتیجه برخوردی بنیادین میان ریاضیات نظری یادگیری ماشین و واقعیت فیزیکی تراشه‌های سیلیکونی است که اعداد را به صورت موازی پردازش می‌کنند. در واقع این خود سخت‌افزار است که مصالحه را تحمیل می‌کند.[4]

برای درک چرایی انحراف یک مدل قفل‌شده، باید سازوکار مدیریت هزاران کاربر هم‌زمان توسط سرورهای تجاری را واکاوی کرد. همان مکانیزمی که استقرار هوش مصنوعی را از نظر اقتصادی توجیه‌پذیر می‌کند، هم‌زمان بازتولیدپذیری نتایج آن را از بین می‌برد.[4]

سازوکار کدگشایی حریصانه

وقتی یک مدل زبانی بزرگ متنی تولید می‌کند، به ساختار جمله فکر نمی‌کند؛ بلکه احتمال قطعه بعدی واژه یعنی توکن را محاسبه می‌کند. مدل به هر واژه بالقوه در دایره لغات خود یک امتیاز ریاضی موسوم به لاجیت نسبت می‌دهد.[4]

توسعه‌دهندگان نحوه انتخاب واژه‌ها را با متغیری به نام دما کنترل می‌کنند. دمای بالا منحنی احتمالات را هموارتر کرده و به سامانه امکان می‌دهد واژه‌هایی با رتبه پایین‌تر را برای پاسخی خلاقانه‌تر انتخاب کند؛ اما دمای صفر دقیقاً برعکس عمل می‌کند.[4]

در دمای صفر، مدل ملزم به استفاده از کدگشایی حریصانه است؛ یعنی باید همواره توکنی را برگزیند که بیشترین احتمال را دارد، حتی اگر اختلافش با گزینه بعدی ناچیز باشد. اگر واژه «سیب» امتیاز ۰.۹۰۰۱ و «پرتقال» امتیاز ۰.۹۰۰۰ بگیرد، «سیب» در هر بار برنده قطعی خواهد بود.[4]

در محاسبات ریاضی محض، این قاعده قطعیت کامل را تضمین می‌کند. اگر ورودی پرامپت یکسان باشد، احتمالات به‌دست‌آمده و واژه دارای بالاترین امتیاز باید دقیقاً یکسان باشند و چه یک‌بار پرسیده شود چه یک‌میلیون‌بار، همان توالی کلمات تولید شود.[4]

مستندات تکرارپذیری پای‌تورچ اشاره می‌کند: «از نظر تئوری، کدگشایی حریصانه تابعی قطعی است که یک توالی ورودی را به یک توالی خروجی متناظر تبدیل می‌کند.» با این حال، همین مستندات بلافاصله هشدار می‌دهد که اجرای این تابع روی سخت‌افزارهای موازی، خطاهای عددی اجتناب‌ناپذیری وارد می‌کند.[1]

محدودیت‌های محاسبات ممیز شناور

رایانه‌ها حافظه نامحدود برای ثبت ارقام اعشاری ندارند؛ آن‌ها اعداد کسری را بر اساس استاندارد سال ۱۹۸۵ موسوم به IEEE 754 و با حساب ممیز شناور نمایش می‌دهند. هوش مصنوعی مدرن برای کاهش مصرف حافظه و تسریع پردازش، به‌شدت به قالب ممیز شناور ۱۶ بیتی یا همان FP16 تکیه دارد.[2]

قالب FP16 فوق‌العاده کارآمد است اما محدودیت دقت جدی دارد. کوچک‌ترین تفاوتی که این قالب می‌تواند تفکیک کند، اپسیلون ماشین نام دارد و تقریباً ۰.۰۰۰۹۷۷ است. هر رقمی کوچک‌تر از این آستانه، ناچار گرد می‌شود تا در فضای حافظه اختصاص‌یافته جا بگیرد.[2][4]

گردکردن، رفتاری عجیب در ریاضیات رایانه ایجاد می‌کند: جمع در ممیز شناور خاصیت شرکت‌پذیری ندارد. در جبر جبری، حاصل (الف + ب) + ج با الف + (ب + ج) برابر است، اما در رایانه، تغییر ترتیب جمع مقادیر، نحوه گردکردن آن‌ها را دستخوش تغییر می‌کند.[2]

اگر پردازنده عددی بسیار بزرگ را با عددی بی‌نهایت کوچک جمع بزند، عدد کوچک ممکن است به‌کلی گرد شده و محو شود. اما اگر ابتدا چند عدد کوچک جمع شوند، حجم انباشته آن‌ها حفظ می‌شود و هنگام جمع با عدد بزرگ زنده می‌ماند. این توالی است که نتیجه را رقم می‌زند.[2]

راهنمای برنامه‌نویسی انویدیا کودا صراحتاً بیان می‌کند: «حساب ممیز شناور خاصیت شرکت‌پذیری ندارد و ترتیب عملیات در تقلیل‌های موازی به پیکربندی اجرای پردازنده بستگی دارد.» این واقعیت سخت‌افزاری نشان می‌دهد که ساختار گروه‌بندی ریاضی، مستقیماً حاصل نهایی را تغییر می‌دهد.[3]

کارت‌های گرافیک چگونه میلیون‌ها عدد را جمع می‌زنند؟

تولید یک کلمه مستلزم میلیاردها عملیات ریاضی است که هسته اصلی آن ضرب ماتریسی است؛ فرآیندی که شامل ضرب شبکه‌های عددی عظیم و جمع‌زدن نتایج حاصله است. واحد پردازش گرافیکی یا همان کارت گرافیک، این جمع‌ها را با ساختاری موسوم به درخت تقلیل انجام می‌دهد.[4]

کارت گرافیک به‌جای جمع‌کردن تک‌تک اعداد در یک صف طولانی، آن‌ها را دوبه‌دو جفت می‌کند. جفت‌های اول و دوم جمع می‌شوند تا ردیفی تازه از مجموع‌ها شکل گیرد؛ سپس این مجموع‌ها باز هم دوبه‌دو ترکیب می‌شوند تا درختی شکل بگیرد که در رأس آن تنها یک عدد باقی بماند.[3]

شکل هندسی این درخت تقلیل، توالی دقیق عملیات جمع را تعیین می‌کند. یک درخت کاملاً متقارن، اعداد را در تمام سطوح به‌طور منظم جفت می‌کند؛ اما درخت نامتقارن ممکن است یک عدد را معلق نگه دارد و آن را در مرحله دیگری از گردکردن وارد کند.[3][4]

اگر ساختار درخت ثابت بماند، خطاهای گردکردن نیز یکنواخت مانده و نتیجه نهایی کاملاً قابل تکرار خواهد بود. اما در یک مرکز داده زنده، ساختار این درخت تقریباً هرگز ثابت نمی‌ماند و بسته به حجم ترافیک سرور در هر میلی‌ثانیه، دچار نوسان می‌شود.[4]

همین معماری منعطف است که شکاف میان ویژگی‌های سخت‌افزاری و غیرقابل‌پیش‌بینی بودن خروجی نرم‌افزار را رقم می‌زند. کارت گرافیک پیوسته مسیرهای محاسباتی خود را بازتنظیم می‌کند تا پاسخگوی نوسان درخواست کاربران باشد و این امر توالی گردکردن را دگرگون می‌سازد.[4]

آشفتگی ناشی از زمان‌بندی دسته‌ای پویا

پردازش درخواست هر کاربر به‌صورت جداگانه از منظر اقتصادی توجیه‌ناپذیر است. مدیران سرورها برای بهره‌برداری بهینه از تراشه‌ها از زمان‌بندی دسته‌ای پویا بهره می‌برند؛ سیستم کسری از ثانیه منتظر می‌ماند تا چند درخواست مختلف را جمع‌آوری کرده و هم‌زمان در قالب یک دسته پردازش کند.[4]

اندازه این دسته‌ها ثبات ندارد؛ در ساعت ۲ بامداد ممکن است دسته‌ها ۱۶ تایی باشند و در اوج ترافیک ساعت ۹ صبح به ۱۲۸ عدد برسند. اندازه دسته، ابعاد ماتریس‌هایی را تعیین می‌کند که کارت گرافیک باید در هم ضرب کند.[4]

با تغییر ابعاد ماتریس، پردازنده گرافیکی ساختار درخت تقلیل را برای بهینه‌سازی بار کاری دگرگون می‌کند. استراتژی جمع موازی در دسته ۱۶تایی کاملاً با دسته ۱۲۸تایی متفاوت است؛ بنابراین ترتیب عملیات جمع و به تبع آن خطاهای گردکردن تغییر می‌یابند.[3][4]

این یعنی پاسخ به پرامپت یک کاربر بسته به اینکه آیا دو کاربر دیگر دقیقاً در همان میلی‌ثانیه درخواستی فرستاده‌اند یا خیر، تغییرات ریاضی بسیار ریزی پیدا می‌کند. کاربران مجزا هستند، اما سخت‌افزار اشتراکی نوعی درهم‌تنیدگی عددی پنهان میان آن‌ها به وجود می‌آورد.[4]

این تفاوت معمولاً امتیاز احتمال واژه را کمتر از یک‌هزارم تغییر می‌دهد و برای عموم محاسبات کاملاً بی‌خطر است؛ توکن اول همچنان اول می‌ماند و خروجی در ظاهر پایدار به نظر می‌رسد.[4]

اثر پروانه‌ای یک توکن منفرد

اختلال زمانی رخ می‌دهد که مدل میان دو واژه سرگردان شود. اگر شبکه عصبی هر دو واژه «سیب» و «پرتقال» را به یک اندازه مناسب بداند، فاصله احتمالاتی آن‌ها ممکن است حتی از خطای گردکردن ممیز شناور نیز کمتر باشد.[4]

در این وضعیت، وقتی تغییر اندازه دسته ساختار درخت تقلیل را جابه‌جا می‌کند، خطای گردکردن می‌تواند این فاصله ریز را پر کند؛ امتیاز «پرتقال» اندکی بالا رفته، امتیاز «سیب» کاهش می‌یابد و ترتیب جابه‌جا می‌شود. سپس مدل بر اساس کدگشایی حریصانه، گزینه برنده جدید را برمی‌گزیند.[4]

به محض تغییر حتی یک کلمه، کل روند تولید متن از مسیر قبلی جدا می‌شود. مدل‌های زبانی ویژگی خودبازگشتی دارند؛ به این معنا که خروجی قبلی خود را به عنوان ورودی بعدی دریافت می‌کنند. جایگزینی «پرتقال» به جای «سیب»، زمینه متن را دگرگون کرده و مبنای تمام محاسبات بعدی را به کلی تغییر می‌دهد.[4]

این پدیده که اثر پروانه‌ای توکن‌هاست نشان می‌دهد چگونه دو پرامپت کاملاً یکسان می‌توانند به مقالاتی کاملاً متفاوت ختم شوند. این تفاوت ناشی از جهش خلاقانه مدل نیست، بلکه از خطای گردکردن ناچیزی در کلمه چهاردهم نشأت می‌گیرد که به دلیل درخواست هم‌زمان کاربری در قاره‌ای دیگر فعال شده است.[4]

مهندسان می‌توانند با غیرفعال کردن دسته‌بندی پویا به قطعیت مطلق برسند، اما این کار بازدهی سرورها را نابود کرده و هزینه‌های رایانش را چندین برابر می‌کند. صنعت هوش مصنوعی پذیرفته که تکرارپذیری مطلق با مقیاس تجاری سازگار نیست؛ سخت‌افزار نیازمند مصالحه است و ریاضیات تاوان آن را می‌دهد.[4]