رفتن به محتوای اصلی
Koohestun
توضیح کوهستانایمنی هوش مصنوعیگزارش تحلیلی· 6 دقیقه مطالعه· در متا

فروپاشی یک مرز ریاضی: چگونه هوش مصنوعی تفاوت بین شانس ذاتی و کمبود دانش را بازتعریف می‌کند

مرز ریاضی سنتی میان شانس تقلیل‌ناپذیر و کمبود دانش، با گسترش مدل‌های زبانی بزرگ در حال فروپاشی است. یک چارچوب جدید نشان می‌دهد که برخلاف ادعاهای بازاریابی، عدم قطعیت یک طیف سیال است که با بودجه محاسباتی تعیین می‌شود و مفروضات بنیادین در ایمنی هوش مصنوعی را به چالش می‌کشد.

به قلم کاوه کردی

پژوهشگران مدرن ایمنی هوش مصنوعی 40%مهندسان سازه 30%نظریه‌پردازان کلاسیک یادگیری ماشین 30%
پژوهشگران مدرن ایمنی هوش مصنوعی
استدلال می‌کنند که این دوگانگی در مقیاس بزرگ از نظر ریاضی ناسازگار است و عدم قطعیت یک طیف سیال است.
مهندسان سازه
عدم قطعیت تصادفی را به عنوان یک ویژگی فیزیکی تغییرناپذیر در نظر می‌گیرند.
نظریه‌پردازان کلاسیک یادگیری ماشین
عدم قطعیت معرفتی را به عنوان یک شکاف پارامتری می‌بینند که با داده‌های آموزشی کافی قابل رفع است.

دیدگاه‌هایی که این گزارش پوشش نداده

  • نهادهای نظارتی که به معیارهای ثابت عدم قطعیت تکیه می‌کنند
  • کاربران نهایی ابزارهای تشخیصی هوش مصنوعی

در ۶ اکتبر ۲۰۲۵، پژوهشگرانی که در چهل و دومین کنفرانس بین‌المللی یادگیری ماشین (ICML) حضور داشتند، مقاله‌ای منتشر کردند که یک فرض بنیادین در هوش مصنوعی را در هم شکست: این ایده که عدم قطعیت به شکلی تر و تمیز به دو دسته مجزا تقسیم می‌شود. سال‌هاست که مهندسان و دانشمندان داده برای سنجش ریسک به یک دوگانگی سخت‌گیرانه تکیه کرده‌اند. آن‌ها عدم قطعیت «تصادفی» (aleatoric) - یعنی شانس ذاتی و تقلیل‌ناپذیر پرتاب یک سکه - را از عدم قطعیت «معرفتی» (epistemic) - یعنی کمبود دانشی که با جمع‌آوری داده‌های بیشتر از بین می‌رود - جدا می‌کردند. اما با بزرگ‌تر شدن مدل‌های زبانی، این مرز شفاف فرو ریخت. یافته‌های سال ۲۰۲۵ نشان داد آنچه صنعت به عنوان یک چارچوب ریاضی حل‌شده بازاریابی می‌کرد، در واقع برای درک نحوه پردازش احتمالات توسط شبکه‌های عصبی مدرن به اندازه کافی گویا نبود. تمایز بین آنچه یک مدل «نمی‌تواند» بداند و آنچه «هنوز» نمی‌داند، به یک آستانه کاملاً سیال تبدیل شده بود.[5]

ریشه‌های این دوگانگی بسیار دورتر از علوم کامپیوتر قرار دارد. در سال ۲۰۰۸، مجله Structural Safety یک چارچوب پایه منتشر کرد که عدم قطعیت تصادفی را صرفاً به عنوان تصادف فیزیکی تقلیل‌ناپذیر تعریف می‌کرد. اگر یک مهندس در حال ساخت یک پل باشد، سرعت دقیق باد در یک روز سه‌شنبه در ۱۰ سال آینده کاملاً تصادفی است؛ این یک بازی شانس است که از واژه لاتین «alea» به معنای تاس گرفته شده است. هیچ مقدار از داده‌های تاریخی عدد دقیق را به شما نخواهد داد. عدم قطعیت معرفتی، که از واژه یونانی «episteme» به معنای دانش گرفته شده، نشان‌دهنده چیزهایی است که مهندس می‌توانست بداند اما نمی‌داند. اگر فولاد پل دارای یک نقص میکروسکوپی باشد که بازرس آن را نادیده گرفته، این یک خطای معرفتی است. این عدم قطعیت تنها به این دلیل وجود دارد که دانش ناظر ناقص است.[2]

یادگیری ماشین این چارچوب را به طور کامل پذیرفت. مقاله‌ای در سال ۲۰۱۹ در مجله Machine Learning این مفاهیم را برای شبکه‌های عصبی فرموله کرد و مدل کلاسیک را به عنوان یک موتور احتمالی در نظر گرفت. در این بستر، عدم قطعیت معرفتی به عنوان عدم قطعیت پارامترهای شبکه تفسیر می‌شد. اگر مدلی مطمئن نبود که یک تصویر سگ است یا گربه، صرفاً به این دلیل که هرگز آن نژاد خاص را ندیده بود، تغذیه آن با ۱۰,۰۰۰ تصویر دیگر از همان نژاد، عدم قطعیت معرفتی را تقریباً به صفر می‌رساند. مدل در واقع فقط به داده‌های بیشتری نیاز داشت.[1]

عدم قطعیت تصادفی نشان‌دهنده شانس ذاتی است، در حالی که عدم قطعیت معرفتی نشان‌دهنده کمبود دانش است.

از سوی دیگر، عدم قطعیت تصادفی در خود پیش‌بینی احتمالی ظاهر می‌شد. اگر دوربین یک خودروی خودران با تابش ناگهانی نور خورشید کور شود، موقعیت دقیق خطوط جاده از دست می‌رود. حتی اگر مدل یک میلیارد ساعت فیلم رانندگی دیده باشد، نمی‌تواند به طور قطعی بداند خطوط در آن فریم خاص و مخدوش کجا هستند. این عدم قطعیت در فرآیند تولید داده نهفته است. سال‌ها، هدف «کمی‌سازی عدم قطعیت» در هوش مصنوعی این بود که کل عدم قطعیت را اندازه‌گیری کند، خط پایه تصادفی را جدا سازد و مابقی را به عنوان شکاف معرفتی در نظر بگیرد که مهندسان باید آن را پر می‌کردند.[1]

اما واقعیتِ پیاده‌سازی مدل‌های عظیم، شکاف‌های این نظریه را آشکار کرد. در آوریل ۲۰۲۲، پژوهشگران نگاه عمیق‌تری به تفکیک این دو عدم قطعیت منتشر کردند و نشان دادند که آن‌ها اغلب به روش‌هایی با هم تعامل دارند که این دوگانگی سخت‌گیرانه قادر به مدیریت آن نیست. اگر یک مدل جایگزین از آزمایش‌های کامپیوتری که حاوی نویز تصادفی هستند یاد بگیرد، مدل حاصل عدم قطعیت معرفتی از خود نشان می‌دهد که اساساً به آن تصادف اولیه وابسته است. این دو نوع عدم قطعیت در یکدیگر نفوذ می‌کنند و جدا کردن تمیز آن‌ها در استقرار پیچیده و واقعی سیستم‌ها از نظر ریاضی غیرممکن می‌شود.[4]

اما واقعیتِ پیاده‌سازی مدل‌های عظیم، شکاف‌های این نظریه را آشکار کرد.

نقطه شکست با مقیاس عظیم مدل‌های زبانی بزرگ (LLM) فرا رسید. در فوریه ۲۰۲۴، پژوهشگران نشان دادند که از مدل‌های زبانی می‌توان برای تشخیص امر قابل شناخت از غیرقابل شناخت در سطح توکن استفاده کرد. وقتی یک LLM متنی تولید می‌کند، یک توزیع احتمال به کلمه بعدی اختصاص می‌دهد. اگر دستور این باشد: «پایتخت فرانسه شهرِ»، مدل با قطعیت نزدیک به ۱۰۰٪ می‌داند که کلمه بعدی «پاریس» است. این یک شکاف معرفتی حل‌شده است. اما اگر دستور این باشد: «اولین کارت کشیده شده از دسته کارت‌های بُر خورده»، مدل با عدم قطعیت تصادفی خالص روبرو می‌شود. کلمه بعدی می‌تواند هر یک از ۵۲ کارت باشد.[3]

با این حال، آزمایش‌های LLM در سال ۲۰۲۴ چیز عمیق‌تری را فاش کرد: مرز بین این دو عدم قطعیت کاملاً به بودجه محاسباتی ناظر بستگی دارد. اگر یک مدل کوچک باشد و روی داده‌های محدودی آموزش دیده باشد، بخش وسیعی از جهان برای آن تصادفی به نظر می‌رسد. این مدل ظرفیت تشخیص الگوهای پنهان را ندارد، بنابراین واریانس را به عنوان نویز تقلیل‌ناپذیر در نظر می‌گیرد. اما وقتی یک مدل عظیم با یک تریلیون پارامتر دقیقاً همان داده‌ها را پردازش می‌کند، همبستگی‌های پنهان را می‌یابد. آنچه برای مدل کوچک تصادفی بود، برای مدل بزرگ به معرفتی تبدیل می‌شود و متعاقباً به صفر کاهش می‌یابد.[3]

با افزایش بودجه محاسباتی، عدم قطعیت معرفتی به سمت صفر کاهش می‌یابد و تنها خط پایه تصادفی باقی می‌ماند.

این تغییر، نحوه ارزیابی ما از ایمنی هوش مصنوعی را به طور بنیادین دگرگون می‌کند. فیلسوفان و آماردانان مدت‌هاست بر سر اینکه آیا تمایز بین این دو نوع عدم قطعیت در عمل ممکن است یا خیر، بحث کرده‌اند. در آمار کلاسیک فراوانی‌گرا، تابع درست‌نمایی عدم قطعیت تصادفی را توصیف می‌کند در حالی که پارامترها نشان‌دهنده عدم قطعیت معرفتی هستند. اما در عصر هوش مصنوعی مولد، بخش‌های بازاریابی اغلب «کمی‌سازی عدم قطعیت» را به عنوان تضمین ایمنی می‌فروشند. آن‌ها ادعا می‌کنند که مدل‌هایشان می‌توانند به طور کامل تصادف ذاتی را از کمبود دانش جدا کنند و قول می‌دهند که سیستم دقیقاً می‌داند چه زمانی باید از انسان کمک بخواهد.[6]

یافته‌های سال ۲۰۲۵ انتشارات MLR Press این روایت بازاریابی را در هم می‌شکند. فردی بیکفورد اسمیت، نویسنده اصلی این مطالعه، مشکل را به وضوح بیان کرد: «ما ناهماهنگی‌هایی را در بحث‌های موجود پیرامون این ایده‌ها شناسایی کردیم و پیشنهاد می‌کنیم که این امر ناشی از آن است که دیدگاه تصادفی-معرفتی برای دربرگرفتن تمام کمیت‌های متمایزی که پژوهشگران به آن‌ها علاقه‌مندند، به اندازه کافی گویا نیست.» این دوگانگی برای درک پراکندگی آماری در داده‌های مدرن بیش از حد ساده‌انگارانه است. وقتی یک عامل هوش مصنوعی در دنیای واقعی مستقر می‌شود - خواه در حال تشخیص بیماری یک بیمار باشد یا مسیریابی یک شبکه برق - عدم قطعیت آن یک ویژگی ثابت از جهان نیست. بلکه یک طیف است که توسط محدودیت‌های معماری خودش دیکته می‌شود.[5]

جداسازی تصادف ذاتی از کمبود دانش یک مطلق ریاضی نیست، بلکه یک آستانه مهندسی است. با ادامه گسترش مقیاس مدل‌ها، آن‌ها این مرز را فراتر خواهند برد و آنچه را که زمانی فکر می‌کردیم شانس خالص است، به الگوهای قابل پیش‌بینی تبدیل می‌کنند. چالش نسل بعدی هوش مصنوعی این نیست که آنچه را نمی‌داند به طور کامل دسته‌بندی کند، بلکه ساخت سیستم‌هایی است که به اندازه کافی قوی باشند تا در منطقه خاکستری بین این دو با ایمنی عمل کنند. مقاله ICML در سال ۲۰۲۵ خط پایه جدیدی را تعیین می‌کند: هر چارچوب ایمنی که بر تفکیک تمیز بین ریسک تصادفی و معرفتی تکیه کند، در حال اندازه‌گیری جهانی است که دیگر وجود ندارد.[5]

نکات کلیدی

  • مرز سنتی بین عدم قطعیت تصادفی (شانس) و معرفتی (دانش) در هوش مصنوعی مدرن در حال از بین رفتن است.
  • مهندسی سازه در ابتدا عدم قطعیت تصادفی را به عنوان تصادف فیزیکی تقلیل‌ناپذیر تعریف کرد؛ مفهومی که توسط یادگیری ماشین اولیه پذیرفته شد.
  • مدل‌های زبانی بزرگ نشان می‌دهند آنچه برای یک مدل کوچک به عنوان نویز تقلیل‌ناپذیر به نظر می‌رسد، توسط یک مدل بزرگ‌تر قابل پیش‌بینی است.
  • یک مطالعه در سال ۲۰۲۵ توسط MLR Press ثابت کرد که این دوگانگی دقیق برای شبکه‌های عصبی پیچیده از نظر ریاضی ناسازگار است.
  • چارچوب‌های ایمنی هوش مصنوعی باید خود را تطبیق دهند تا عدم قطعیت را به جای یک ویژگی ثابت از جهان، به عنوان یک طیف سیال در نظر بگیرند.

چرا مهم است

با استقرار روزافزون هوش مصنوعی در محیط‌های حساس به ایمنی مانند مراقبت‌های بهداشتی و رانندگی خودکار، اندازه‌گیری دقیق آنچه یک مدل نمی‌داند، مسئله مرگ و زندگی است. تکیه بر چارچوب‌های ریاضی منسوخ که عدم قطعیت را به اشتباه دسته‌بندی می‌کنند، می‌تواند هنگام مواجهه سیستم‌ها با موارد لبه‌ای به فجایع دنیای واقعی منجر شود.

بررسی عمیق دیدگاه‌ها

دیدگاه مهندسی سازه

عدم قطعیت تصادفی را به عنوان یک ویژگی فیزیکی تغییرناپذیر در نظر می‌گیرد.

در مهندسی سنتی، مرز بین آنچه می‌توان دانست و آنچه به شانس واگذار می‌شود، توسط قوانین فیزیک ثابت شده است. بار دقیق باد روی یک پل در دهه‌های آینده اساساً تصادفی است؛ هیچ مقدار از داده‌های حسگر که امروز جمع‌آوری می‌شود نمی‌تواند آن را حل کند. این اردوگاه برای ایجاد حاشیه‌های ایمنی در سازه‌های فیزیکی به این دوگانگی سخت‌گیرانه تکیه می‌کند و عدم قطعیت معرفتی را به عنوان تنها متغیری در نظر می‌گیرد که می‌توانند از طریق اندازه‌گیری بهتر و آزمایش مواد کنترل کنند.

دیدگاه کلاسیک یادگیری ماشین

عدم قطعیت معرفتی را به عنوان یک مشکل داده می‌بیند که باید حل شود.

برای متخصصان اولیه یادگیری ماشین، این دوگانگی یک نقشه راه روشن برای بهبود مدل ارائه می‌کرد. اگر یک شبکه عصبی در مورد یک پیش‌بینی نامطمئن بود، مهندسان صرفاً باید تعیین می‌کردند که آیا این عدم قطعیت تصادفی (نویز در داده‌ها) است یا معرفتی (کمبود نمونه‌های آموزشی). با جمع‌آوری داده‌های بیشتر، آن‌ها از نظر تئوری می‌توانستند عدم قطعیت معرفتی را به صفر برسانند و تنها نویز تقلیل‌ناپذیر سیستم را باقی بگذارند.

دیدگاه مدرن ایمنی هوش مصنوعی

استدلال می‌کند که دوگانگی سخت‌گیرانه در مدل‌های زبانی بزرگ از بین می‌رود.

پژوهشگرانی که مدل‌های عظیمی مانند مدل‌های زبانی بزرگ را تجزیه و تحلیل می‌کنند، استدلال می‌کنند که مرز سنتی یک توهم است. آنچه برای یک مدل کوچک به عنوان نویز تصادفی تقلیل‌ناپذیر به نظر می‌رسد، اغلب توسط یک مدل بزرگ‌تر با بودجه محاسباتی بالاتر به الگوهای معرفتی قابل پیش‌بینی تبدیل می‌شود. این اردوگاه طرفدار کنار گذاشتن دوگانگی سخت‌گیرانه به نفع یک طیف است و هشدار می‌دهد که تکیه بر چارچوب‌های منسوخ عدم قطعیت می‌تواند منجر به فجایع فاجعه‌بار در استقرار هوش مصنوعی در دنیای واقعی شود.

منابع

پوشش منابع

6 منبع

3 دیدگاه شناسایی‌شده

پژوهشگران مدرن ایمنی هوش مصنوعی 40%مهندسان سازه 30%نظریه‌پردازان کلاسیک یادگیری ماشین 30%
  1. [1]Machine Learning (Journal)نظریه‌پردازان کلاسیک یادگیری ماشین

    Aleatoric and Epistemic Uncertainty in Machine Learning: An Introduction to Concepts and Methods

    مطالعه در Machine Learning (Journal)
  2. [2]Structural Safetyمهندسان سازه

    Aleatoric or epistemic? Does it matter?

    مطالعه در Structural Safety
  3. [3]arXivنظریه‌پردازان کلاسیک یادگیری ماشین

    Distinguishing the Knowable from the Unknowable with Language Models

    مطالعه در arXiv
  4. [4]arXivنظریه‌پردازان کلاسیک یادگیری ماشین

    A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement

    مطالعه در arXiv
  5. [5]MLR Pressپژوهشگران مدرن ایمنی هوش مصنوعی

    Rethinking Aleatoric and Epistemic Uncertainty

    مطالعه در MLR Press
  6. [6]تیم سردبیری کوهستانپژوهشگران مدرن ایمنی هوش مصنوعی

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت متا اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.