چگونه فرمول ریاضی تابع زیان کراسانتروپی مدل‌های زبانی را وادار به حذف تردید میکند؟
معادله بنیادینی که برای آموزش هوش مصنوعی مدرن به کار می‌رود، شک و تردید را از نظر ریاضی جریمه میکند؛ در نتیجه مدل‌ها حدس‌های کورکورانه خود را با همان قطعیت مطلقِ حقایق اثبات‌شده تحویل میدهند. برطرف کردن این اعتمادبه‌نفس کاذب نیازمند بازطراحی سازوکار محاسبه جهل در شبکه‌های عصبی است.
به قلم ندا وزیری
این خبر را به اشتراک بگذارید
به‌طور خلاصه
- زیان کراسانتروپی مدل‌های زبانی را وادار میکند احتمال پاسخ‌های درست را به سمت ۱۰۰ درصد ببرند و توانایی بیان تردید را از بین ببرند.
- اهداف آموزشی استاندارد ابهام داده‌ها را ثبت می‌کنند اما در نمایش عدم قطعیت شناختی ناکامند و منجر به حدس‌های بسیار مطمئن می‌شوند.
- ریزتنظیم نظارت‌شده کالیبراسیون مدل را با متمرکز کردن کل جرم احتمال روی یک پاسخ مرجع واحد، به‌شدت تضعیف میکند.
وقتی یک سیستم هوش مصنوعی مدرن پاسخی کاملاً ساختگی تحویل میدهد، هیچ لکنت یا تردیدی در کلامش دیده نمی‌شود. این اشتباه با همان قطعیت مطلقی بیان می‌شود که برای یک واقعیت مستند به کار می‌رود؛ وضعیتی که هیچ نشانه‌ای درونی برای کاربر باقی نمی‌گذارد تا متوجه شود سیستم صرفاً در حال حدس زدن است.
این رفتار یک باگ نرم‌افزاری ساده یا نقصی موقت در مدل‌های کنونی نیست. در واقع، این پیامد مستقیم و ریاضی معادله‌ای است که تقریباً برای آموزش تمامی مدل‌های زبانی بزرگ امروزی به کار گرفته می‌شود.
این معادله «زیان کراسانتروپی» (Cross-entropy loss) نام دارد؛ سازوکار بنیادین امتیازدهی که به شبکه عصبی می‌آموزد کلمه بعدی را در یک توالی چگونه پیش‌بینی کند و عملکرد فوق‌العاده‌ای در تولید متن‌های روان دارد.
با این حال، زیان کراسانتروپی نقصی ساختاری دارد: مدل را وادار میکند احتمال پاسخ درست را تا جای ممکن به ۱۰۰ درصد نزدیک کند و عملاً توانایی شبکه برای درک و ثبت عدم قطعیت درونی‌اش را از بین می‌برد.
برای درک علت توهم‌زایی این مدل‌ها با چنین اطمینان بالایی، باید به ریاضیات حاکم بر بهینه‌سازی آن‌ها نگریست. تابع زیان همانند مربی سخت‌گیری عمل میکند که هیچ پیش‌بینی محتاطانه یا مبهمی را نمی‌پذیرد و تنها قطعیت مطلق می‌خواهد.
ریاضیات بی‌رحم کراسانتروپی
در مرحله پیش‌آموزش، مدل زبانی حجم عظیمی از دادههای متنی را می‌خواند و سعی میکند توکن بعدی را حدس بزند. تابع زیان کراسانتروپی این حدس‌ها را با محاسبه لگاریتم منفی احتمالی که مدل به کلمه درست بعدی اختصاص داده، ارزیابی و نمره‌گذاری میکند.[1]
اگر مدل به کلمه درست ۷۰ درصد احتمال بدهد، تابع زیان جریمه‌ای برای آن در نظر می‌گیرد. شبکه برای به حداقل رساندن این جریمه، وزن‌های درونی خود را طوری تغییر میدهد که دفعه بعد در مواجهه با الگویی مشابه، همان کلمه را با اطمینان بیشتری حدس بزند.[1]
نقص اساسی در شکل هندسی همین منحنی لگاریتمی نهفته است. حتی وقتی پیش‌بینی مدل از دقت بالایی برخوردار است — مثلاً پاسخ درست را با احتمال ۰.۹ پیش‌بینی میکند — تابع زیان باز هم جریمه اعمال میکند و قانع نمی‌شود.[2]
این فرمول شبکه را به سمت احتمال ۰.۹۹، سپس ۰.۹۹۹ و در نهایت ۰.۹۹۹۹ سوق میدهد. در تابع هدف، هیچ شرط توقفی گنجانده نشده که به سیستم اعلام کند اطمینان ۹۰ درصدی برای این بستر متنی کفایت میکند.[2]
در نتیجه، الگوریتم گرادیان کاهشی به بالا بردن سطح اطمینان ادامه میدهد، حتی مدت‌ها پس از آنکه پیش‌بینی از حالت خطا خارج شده باشد. روی دادههای آموزشی، مدلی با ظرفیت بالا تقریباً همیشه درست پاسخ میدهد و می‌آموزد که اطمینان حداکثری همواره بیشترین پاداش را به همراه دارد.[2]
تمایز عدم قطعیت تصادفی و شناختی
این اصرار بی‌وقفه بر قطعیت، توانایی مدل را در تمایز قائل شدن میان دو نوع عدم قطعیت کاملاً متفاوت مخدوش میکند. در علم آمار، عدم قطعیت به دو بخش «تصادفی» (Aleatoric) و «شناختی» (Epistemic) تقسیم می‌شود و شبکه‌های عصبی رفتاری بسیار متفاوت در برابر آن‌ها دارند.[4]
عدم قطعیت تصادفی نمایانگر تصادف یا ابهام ذاتی نهفته در خود داده‌ها است. اگر یک جمله بتواند به‌طور منطقی به سه شکل مختلف تمام شود، مدل یاد می‌گیرد توزیع احتمال خود را میان این سه گزینه معتبر تقسیم کند.[4]
اما عدم قطعیت شناختی نشان‌دهنده کمبود دانش خود مدل است؛ همان تردید واقعی که وقتی شبکه عصبی با موضوع یا مفهومی ناشناخته در دادههای آموزشی خود روبه‌رو می‌شود، پدید می‌آید.[4]
زیان کراسانتروپی هیچ سازوکاری برای نمایش عدم قطعیت شناختی ندارد. در سرتاسر فرایند آموزش، هیچ سیگنال ریاضی مستقیمی وجود ندارد که به سیستم بیاموزد صرفاً به دلیل کمبود داده، احتمال پایین‌تری ارائه دهد.[1]
در عوض، مدل ناچار به حدس زدن می‌شود. از آنجا که هدف آموزشی صرفاً اطمینان بالا را تشویق میکند، شبکه توزیع احتمال قطعی و قاطع خود را برای نادانسته‌هایش نیز درست مانند دانسته‌های قطعی اعمال میکند.[1]
چگونه ریزتنظیم کالیبراسیون را از بین می‌برد
معضل اعتمادبه‌نفس مفرط در مرحله پس‌آموزش تشدید می‌شود. پس از پیش‌آموزش اولیه، مدل‌ها تحت ریزتنظیم نظارت‌شده (SFT) قرار می‌گیرند تا نحوه پیروی از دستورهای انسانی و قالب‌بندی خروجی‌ها در قالب گفتگویی منسجم را یاد بگیرند.[3]
در این مرحله، ناظران انسانی برای هر پرامپت یک پاسخ مرجع واحد و بی‌نقص ارائه میدهند. سپس مدل با استفاده از همان تابع زیان کراسانتروپی آموزش داده می‌شود تا همان توالی کلمات را بازتولید کند.[3]
پژوهشگرانی که پایداری بازنمایی در مدل‌ها را بررسی کرده‌اند، به اثر مخرب این روند بر احتمالات درونی مدل اشاره کرده‌اند. آن‌ها در مقاله‌ای در سال ۲۰۲۶ نوشتند: «میزان زیان زمانی به کمترین مقدار می‌رسد که مدل تقریباً تمام جرم احتمال خود را روی همان پاسخ مرجع متمرکز کند و سهمی برای گزینه‌های جایگزین باقی نگذارد.»[3]
در این هدف نظارت‌شده، هیچ انگیزه‌ای برای اختصاص جرم احتمال به سایر پایان‌بندی‌های محتمل وجود ندارد. به مرور زمان، مدل می‌آموزد که ایمن‌ترین استراتژی برای کاهش نرخ خطا، یقین حداکثری به یک مسیر واحد است.[3]
این روند، وضعیت «کالیبراسیون» مدل را برهم می‌زند. در یک مدل کالیبره‌شده، میزان اطمینان اعلام‌شده با دقت واقعی همخوانی دارد؛ یعنی اگر مدل در صد پاسخ مختلف اطمینان ۹۰ درصدی نشان دهد، باید دقیقاً ۹۰ پاسخ درست از کار درآیند.[2]
سنجش شکاف میان ادعا و واقعیت
در مدل‌های زبانی امروزی، کالیبراسیون تقریباً همواره ضعیف است. در آزمون‌های پیچیده، مدلی ممکن است اطمینان ۹۹ درصدی خود را برای مجموعه‌ای از پاسخ‌ها نشان دهد که در عمل تنها ۶۰ درصد آن‌ها درست هستند.[2]
مهندسان این شکاف را با معیاری به نام «خطای کالیبراسیون مورد انتظار» یا ECE اندازه می‌گیرند. این معیار، پیش‌بینی‌های مدل را بر اساس سطح اطمینان اعلام‌شده دسته‌بندی کرده و هر دسته را با دقت واقعی مقایسه میکند تا میانگین شکاف به دست آید.[2]
مدلی با کالیبراسیون بی‌نقص، دارای ECE صفر خواهد بود و روی نمودار قابلیت اطمینان، خط قطری کاملی رسم میکند. اما در مقابل، بیشتر مدل‌های ریزتنظیم‌شده پایین‌تر از این خط قرار می‌گیرند و به‌طور مستمر دقتی بالاتر از واقعیت را وعده میدهند.[2]
این افت در مدل‌هایی با واژگان حجیم‌تر و لایه‌های پنهان بزرگ‌تر محسوس‌تر است. پژوهشی که در سال ۲۰۲۵ در کنفرانس بین‌المللی یادگیری ماشین ارائه شد، نشان داد مدل‌های بزرگ‌تر از ظرفیت ریاضی بالاتری برای دچار شدن به اطمینان کاذب در طول ریزتنظیم برخوردارند.[5]
با افزایش اندازه لایه‌های پنهان در شبکه عصبی، حد پایین آنتروپی کاهش می‌یابد. این ویژگی ساختاری به مدل اجازه میدهد پیش‌بینی‌های بسیار متمرکز و قاطعی ایجاد کند که کمبود دانش پس‌زمینه آن را کاملاً می‌پوشاند.[5]
مهندسی حس تردید در شبکه
حل این نقص مستلزم تغییر در معادلات بنیادین فرایند آموزش است. پژوهشگران در سراسر این حوزه در پی توسعه توابع زیان جایگزین و روش‌های منظم‌سازی هستند که قطعیت ناموجه را هنگام بهینه‌سازی به صراحت جریمه کنند.[4]
یکی از روش‌های رایج «هموارسازی برچسب» (Label smoothing) است. به‌جای آنکه مدل برای پاسخ درست به سمت احتمال ۱.۰ و برای بقیه گزینه‌ها به سمت ۰.۰ هدایت شود، این مقدار هدف کمی پایین‌تر، مثلاً روی ۰.۹ تنظیم می‌شود.[5]
این اصلاح ریاضی کوچک از رشد بی‌پایان اطمینان در زیان کراسانتروپی جلوگیری میکند و شبکه را وادار می‌سازد سطحی حداقلی از عدم قطعیت را حفظ کند؛ رویکردی که کالیبراسیون را در فاز ریزتنظیم نظارت‌شده بهبود می‌بخشد.[5]
رویکرد دیگر ریزتنظیم احتمال-آنتروپی است. سازوکارهایی نظیر چارچوب ALIEN با افزودن یک سر خروجی دوم به آموزش، مشخصاً پیش‌بینی احتمال خطای خود مدل را فرا می‌گیرند و عدم قطعیت شناختی نادیده‌گرفته‌شده را ثبت می‌کنند.[4]
با آموزش این سیستم ثانویه بر اساس خطاهای واقعی مدل، مهندسان می‌توانند نمره اطمینان اصلاح‌شده‌ای به دست آورند. این نمره همبستگی بیشتری با مرزهای واقعی دانش مدل دارد و می‌تواند ECE را در برخی آزمایش‌ها تا ۷۰ درصد کاهش دهد.[4]
محدودیت‌های دستکاری‌های پسینی
دستکاری‌های پسینی مانند مقیاس‌بندی دما (Temperature scaling) نیز به‌وفور به کار می‌روند. توسعهدهندگان با تعدیل ریاضی توزیع احتمال نهایی پیش از تولید خروجی، جهش‌های ناشی از اعتمادبه‌نفس مفرط را ملایم‌تر می‌کنند.[2]
با این حال، راه‌حل‌های پسینی ابزارهایی نادقیق و خشن به حساب می‌آیند. آن‌ها کل توزیع را به شکلی یکنواخت تغییر میدهند و بدون تفکیک، اطمینان مدل را هم در حدس‌های بی‌اساس و هم در حقایق تاییدشده به یک اندازه کاهش میدهند.[2]
صنعت هوش مصنوعی دریافته است که پاداش دادن به قطعیت مطلق، سیستم‌هایی ذاتاً غیرقابل‌اعتماد پدید می‌آورد. ساخت کارگزاران مستقل و قابل‌اتکا نیازمند آن است که نه‌تنها پاسخ درست، بلکه نحوه نمایش ریاضی جهل نیز به آن‌ها آموزش داده شود.[6]
این تحلیل چگونه انجام شد
- روش
- محاسبه تحلیلی جریمه ریاضی اعمال‌شده بر عدم قطعیت طی ریزتنظیم نظارت‌شده، با مقایسه گرادیان زیان کراسانتروپی در برابر تغییرات تجربی خطای کالیبراسیون مورد انتظار (ECE).
- یافته
- هدف ریاضی کراسانتروپی حفظ عدم قطعیت شناختی را جریمه میکند؛ بدین معنی که مدل‌های زبانی بزرگ صریحاً آموزش می‌بینند تا آگاهی از نادانسته‌های خود را پاک کنند. از این رو اعتمادبه‌نفس مفرط یک الزام ساختاری است، نه یک باگ قابل‌اصلاح.
- داده‌هایی که بر پایهٔ آن‌ها کار کردیم
- هدف زیان کراسانتروپی برای کلاس صحیح: −log(p_true) approaching 1.0 — gitconnected
- میزان افت کالیبراسیون در ریزتنظیم نظارت‌شده: Loss of epistemic uncertainty — National Institutes of Health
- محدودیت‌های این تحلیل
- این تحلیل مبتنی بر کران‌های نظری و معیارهای کالیبراسیون در سطح بنچمارک است و ممکن است نحوه بروز اعتمادبه‌نفس کاذب را در محیط‌های تجاری فوق‌تخصصی به‌طور کامل بازتاب ندهد.
اصطلاحات کلیدی
- زیان کراسانتروپی (Cross-entropy loss)
- یک تابع ریاضی در آموزش شبکه‌های عصبی که اختلاف میان احتمالات پیش‌بینی‌شده مدل و مقادیر واقعی را اندازه می‌گیرد.
- عدم قطعیت شناختی (Epistemic uncertainty)
- تردیدی که از کمبود دانش مدل یا فقدان داده در فرایند آموزش ناشی می‌شود و توابع زیان معمول توان نمایش آن را ندارند.
- عدم قطعیت تصادفی (Aleatoric uncertainty)
- تردید ناشی از ماهیت تصادفی یا ابهام ذاتی خود داده‌ها، مانند جمله‌ای که چند پایان محتمل دارد.
- خطای کالیبراسیون مورد انتظار (ECE)
- معیاری که فاصله میان اطمینان ادعاشده توسط مدل و دقت واقعی آن را در پیش‌بینی‌ها محاسبه میکند.
- هموارسازی برچسب (Label smoothing)
- روشی در آموزش که با تنظیم احتمال هدف اندکی کمتر از ۱۰۰ درصد، مدل را وادار به حفظ مقداری عدم قطعیت میکند.
پرسش‌های متداول
چرا توسعهدهندگان نمیتوانند به هوش مصنوعی بیاموزند که بگوید «نمیدانم»؟
زیرا شبکه عصبی زیربنایی، حالت درونی تعریفشدهای برای نادانی ندارد. فرایند آموزش کراسانتروپی مدل را ملزم به تخصیص توزیع احتمال به تمام پرامپتها میکند؛ بدین معنا که سیستم حتی در صورت نداشتن داده کافی، از نظر ریاضی ناچار به حدس زدن است.
آیا افزودن دادههای آموزشی بیشتر مشکل اطمینان کاذب را برطرف میکند؟
دادههای بیشتر فراوانی خطاها را کاهش میدهند، اما مشکل کالیبراسیون را رفع نمیکنند. زمانی که مدل با سناریویی کاملاً جدید خارج از دادههای خود مواجه شود، تابع هدف کراسانتروپی باز هم آن را به سوی حدس زدن با قطعیت مطلق سوق میدهد.
تفاوت مقیاس‌بندی دما با هموارسازی برچسب چیست؟
هموارسازی برچسب با تغییر احتمالات هدف در فاز آموزش، شیوه یادگیری مدل را دگرگون میکند. در مقابل، مقیاس‌بندی دما یک تنظیم پسینی است که بعد از پایان آموزش اعمال شده و صرفاً احتمالات خروجی را بدون تغییر در وزن‌های شبکه هموارتر میکند.
بررسی عمیق دیدگاه‌ها
محققان بنیادین ریاضیات
پژوهشگرانی که روی معادلات بنیادین بهینه‌سازی شبکه‌های عصبی تمرکز دارند.
این طیف، اطمینان مفرط را نه یک رفتار گذرا، بلکه ضرورتی جبری ناشی از ریاضیات می‌دانند. استدلال آن‌ها این است که تا وقتی مدل‌ها مبتنی بر کمینه‌سازی لگاریتم منفی کلاس واقعی آموزش می‌بینند، ناچار به حذف عدم قطعیت شناختی خواهند بود. از دید این پژوهشگران، راه‌حل تنها در بازطراحی توابع زیان اصلی نظیر ریزتنظیم احتمال-آنتروپی یا نرمال‌سازی لاجیت نهفته است، نه تکیه بر سازوکارهای رفتاری پسینی.
مهندسان هم‌راستاسازی
متخصصانی که بر روش‌های پس‌آموزش مانند ریزتنظیم نظارت‌شده و یادگیری تقویتی متمرکزند.
مهندسان هم‌راستاسازی یادآور می‌شوند که مدل‌های پایه معمولاً کالیبراسیون نسبتاً مناسبی دارند و اطمینان مفرط شدید عمدتاً در فاز ریزتنظیم شکل می‌گیرد. تحمیل یک پاسخ مرجع واحد به مدل، توزیع‌های احتمالی ظریف به‌دست‌آمده در پیش‌آموزش را از بین می‌برد. تمرکز این گروه بر روش‌های ریزتنظیم آگاه به کالیبراسیون است تا بدون برهم زدن آموزش دستورپذیری، قطعیت بیجا جریمه شود.
توسعهدهندگان کاربردی
مهندسانی که محصولات مصرفی و سازمانی را بر بستر مدل‌های زبانی بزرگ توسعه میدهند.
برای فعالانی که هوش مصنوعی را در عمل به کار می‌گیرند، دستکاری نظری توابع زیان کاربرد فوری ندارد. این گروه بیشتر به چاره‌های پسینی مانند مقیاس‌بندی دما، مهندسی پرامپت و روش‌های تولید مبتنی بر بازیابی (RAG) اتکا می‌کنند تا مدل را به حقایق بیرونی متصل کنند. آن‌ها قابلیت اطمینان کاربردی را بر کمال ریاضی ترجیح میدهند و اغلب از سیستم‌های ثانویه برای اعتبارسنجی ادعاهای مدل بهره می‌برند.
- محققان بنیادین ریاضیات
- معتقدند اطمینان مفرط پیامد گریزناپذیر و ریاضی معادله کراسانتروپی است.
- مهندسان هم‌راستاسازی
- بر تخریب کالیبراسیون مدل‌های پایه بر اثر ریزتنظیم نظارت‌شده و بازخورد انسانی تمرکز دارند.
- توسعهدهندگان کاربردی
- راهکارهای عملی و پسینی مانند مقیاس‌بندی دما را برای مهار اطمینان کاذب در اولویت می‌گذارند.
دیدگاه‌هایی که این گزارش پوشش نداده
- کاربران نهایی که بدون آگاهی از توهم ریاضی قطعیت، به خروجی‌های هوش مصنوعی اعتماد می‌کنند.
- نهادهای ناظر که تلاش می‌کنند استانداردهای قابلیت اطمینان را برای سیستم‌های هوش مصنوعی در محیط‌های پرریسک تدوین کنند.
منابع
پوشش منابع
6 منبع
3 دیدگاه شناسایی‌شده
- [1]Mediumتوسعهدهندگان کاربردی
Pretraining and the Source of Error
مطالعه در Medium → - [2]gitconnectedمحققان بنیادین ریاضیات
Why trained models are over-confident (basically always)
مطالعه در gitconnected → - [3]National Institutes of Healthمهندسان هم‌راستاسازی
Calibrating LLM confidence by probing perturbed representation stability
مطالعه در National Institutes of Health → - [4]arXivمحققان بنیادین ریاضیات
ALIEN: Probability-Entropy Fine-Tuning
مطالعه در arXiv → - [5]International Conference on Machine Learningمهندسان هم‌راستاسازی
Calibration of different LLaMA3 models fine-tuned on the same SFT dataset
مطالعه در International Conference on Machine Learning → - [6]تیم سردبیری کوهستانتوسعه‌دهندگان کاربردی
تحلیل تیم سردبیری کوهستان
مطالعه در تیم سردبیری کوهستان →
بیشتر در هوش مصنوعی
مشاهده همه →تفسیرپذیری مکانیکی
مکانیسم یادگیری درجا: مدارهای القایی و ترکیب کلید در ترنسفورمرها چگونه کار می‌کنند؟
4 منبع
امنیت زیستی
گوگل دیپ‌مایند از SynthID Bio برای واترمارک‌گذاری پروتئین‌های طراحی‌شده با هوش مصنوعی رونمایی کرد
4 منبع
آموزش مدل
چگونه الگوریتم GRPO گلوگاه حافظه را در آموزش استدلال هوش مصنوعی از بین می‌برد
6 منبع
معماری مدل
چگونه شبکه‌های مسیریابی «ترکیب خبرگان» تعداد پارامترهای مدل زبانی را از هزینه پردازشی جدا می‌کنند
5 منبع
نظرات
هر زاویه. هر روز.
اخبار هوش مصنوعی با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.