چگونه دو مؤلفه امتیاز بریر، پیش‌بینی‌های دقیق را از حدس‌های پرادعا متمایز می‌کنند

آزمون واقعی یک پیش‌بینی احتمالی نه در زمان وقوع رویداد، بلکه در لحظه‌ای اتفاق می‌افتد که پیش‌بینی به مؤلفه‌های ریاضی خود تجزیه می‌شود. وقتی یک هواشناس می‌گوید ۷۰٪ احتمال بارندگی وجود دارد، یا یک مدل بالینی احتمال ۱۵ درصدی برای یک بیماری در نظر می‌گیرد، نتیجه به تنهایی نمی‌تواند این عدد را تأیید کند. در عوض، آماردانان از تجزیه امتیاز بریر استفاده می‌کنند؛ یک عملیات ریاضی که خطای پیش‌بینی را به قابلیت اطمینان، تفکیک‌پذیری و عدم قطعیت پایه تقسیم می‌کند. این تفکیک همان مکانیزمی است که یک مدل با قدرت پیش‌بینی واقعی را از مدلی که صرفاً میانگین تاریخی را حفظ کرده، متمایز می‌سازد.[2]

این معیار اولیه در سال ۱۹۵۰ توسط گلن بریر برای ارزیابی پیش‌بینی‌های آب‌وهوا معرفی شد، اما این مقاله آلن مورفی در سال ۱۹۷۳ در مجله هواشناسی کاربردی بود که نحوه استفاده از این امتیاز را اساساً تغییر داد. مورفی نشان داد که یک عدد خطای کلی و تجمیع‌شده، رفتار واقعی مدل را پنهان می‌کند. اثری که مورفی با عنوان «یک تفکیک برداری جدید برای امتیاز احتمال» منتشر کرد، ثابت نمود که مهارت پیش‌بینی یک بعد واحد نیست، بلکه تعادلی از قابلیت‌های متمایز است.[1][2]

برای درک این تفکیک، ابتدا باید به خط پایه نگاه کرد: عدم قطعیت. عدم قطعیت، تغییرپذیری ذاتی رویدادِ در حال پیش‌بینی را مستقل از خود پیش‌بینی اندازه‌گیری می‌کند. اگر شهری در طول یک سال دقیقاً در ۲۰٪ روزها بارانی باشد، مدلی که کورکورانه برای هر روز احتمال ۲۰٪ بارندگی را پیش‌بینی کند، به یک امتیاز بریر پایه دست می‌یابد. هدف هر سیستم پیش‌بینی پیشرفته‌ای — چه یک شبکه عصبی باشد و چه یک رگرسیون آماری — شکست دادن این خط پایه است.[3]

اولین مؤلفه فعال در این بهبود، قابلیت اطمینان است که اغلب کالیبراسیون نامیده می‌شود. قابلیت اطمینان می‌سنجد که احتمالات پیش‌بینی‌شده تا چه حد با فراوانی‌های مشاهده‌شده تطابق دارند. اگر مدلی ۱۰۰ بار احتمال ۴۰ درصدی وقوع یک رویداد را پیش‌بینی کند، آن رویداد باید دقیقاً ۴۰ بار رخ دهد. بر اساس مستندات مرکز تحقیقات آب‌وهوا و اقلیم استرالیا (CAWCR)، قابلیت اطمینان درجه‌ای است که در آن «احتمال پیش‌بینی با فراوانی نسبی مشاهده‌شده مطابقت دارد.»[3]

وقتی در بروشورهای تبلیغاتی سیستم‌های جدید هوش مصنوعیِ پیش‌بین ادعای اطمینان ۹۹ درصدی می‌شود، آن‌ها اغلب «اطمینان» را با «قابلیت اطمینان» اشتباه می‌گیرند. یک سیستم می‌تواند بسیار مطمئن اما کاملاً غیرقابل‌اطمینان باشد. اگر مدلی بگوید ۹۰٪ مطمئن است که یک سهام صعود می‌کند، اما آن سهام تنها در ۵۰٪ مواقعی که این پیش‌بینی‌ها انجام می‌شود واقعاً صعود کند، مدل به طرز ضعیفی کالیبره شده است. تجزیه بریر این اعتمادبه‌نفس کاذب را به شدت جریمه کرده و به نمره خطای کل می‌افزاید.[5]

دومین مؤلفه فعال، تفکیک‌پذیری است. تفکیک‌پذیری توانایی یک مدل را برای دسته‌بندی رویدادها در دسته‌های احتمالی متمایز که با میانگین پایه تفاوت دارند، کمّی می‌کند. مدلی با تفکیک‌پذیری بالا صرفاً در حوالی میانگین تاریخی ۲۰٪ پرسه نمی‌زند؛ بلکه با اطمینان و به درستی روزهای خاصی را که احتمال در آن‌ها ۵٪ است و روزهای دیگری را که احتمال ۹۰٪ است، شناسایی می‌کند.[3]

مستندات CAWCR با تأکید بر اینکه «تفکیک‌پذیری و قابلیت اطمینان متفاوت هستند»، خاطرنشان می‌کند که یک پیش‌بینی می‌تواند کاملاً قابل‌اطمینان باشد اما اگر هر روز صرفاً میانگین اقلیمی را صادر کند، تفکیک‌پذیری آن صفر خواهد بود. برعکس، یک مدل می‌تواند با جدا کردن جسورانه رویدادها در سطل‌های ۰٪ و ۱۰۰٪ تفکیک‌پذیری بالایی داشته باشد، اما اگر این پیش‌بینی‌های جسورانه اشتباه باشند، امتیاز قابلیت اطمینان آن فرو می‌ریزد.[3]

رابطه ریاضی به شکلی ظریف ساده است: امتیاز بریر برابر است با عدم قطعیت، به علاوه قابلیت اطمینان، منهای تفکیک‌پذیری. از آنجا که امتیاز بریر پایین‌تر نشان‌دهنده پیش‌بینی بهتر است، یک مدل باید خطای قابلیت اطمینان خود را به حداقل برساند (تطبیق احتمالات با واقعیت) در حالی که تفکیک‌پذیری خود را به حداکثر می‌رساند (دور کردن پیش‌بینی‌ها از میانگین پایه تا حد امکان).[4]

در عمل، بسته‌های نرم‌افزاری مانند Stata و R این تجزیه را خودکار می‌کنند. دستور brier در Stata دقیقاً همین مؤلفه‌ها را محاسبه می‌کند و به آماردانان اجازه می‌دهد تا دلیل شکست یک مدل را تشخیص دهند. اگر جریمه قابلیت اطمینان بالا باشد، مدل نیاز به کالیبراسیون مجدد دارد. اگر پاداش تفکیک‌پذیری پایین باشد، مدل فاقد ویژگی‌های بنیادین برای تمایز بین نتایج است.[4][6]

این تجزیه به ویژه در پیش‌بینی خطرات بالینی حیاتی است. مقاله‌ای در سال ۲۰۲۳ که در مرکز ملی اطلاعات زیست‌فناوری (NCBI) منتشر شد، باورهای غلط رایج درباره امتیاز بریر در مدل‌های پیش‌بینی باینری را برجسته کرد. نویسندگان دریافتند که محققان پزشکی اغلب امتیاز تجمیع‌شده را اشتباه تفسیر می‌کنند و متوجه نمی‌شوند که مدلی با تفکیک‌پذیری عالی، اگر قابلیت اطمینان آن به سمت پیش‌بینی بیش از حد بیماری‌های نادر و شدید متمایل باشد، ممکن است از نظر بالینی بی‌فایده باشد.[5]

برای رفع این مشکل، محققان اصلاحاتی مانند «امتیاز بریر وزن‌دار» را پیشنهاد کرده‌اند. یک مطالعه در سال ۲۰۲۳ در مورد کاربرد بالینی نشان داد که تجزیه استاندارد با مثبت کاذب و منفی کاذب رفتار یکسانی دارد. با این حال، در پزشکی، پیش‌بینی احتمال ۱۰ درصدی سرطان در حالی که احتمال واقعی ۹۰٪ است، بسیار خطرناک‌تر از حالت برعکس است. با وزن‌دهی به مؤلفه‌ها، ارزیابان می‌توانند جریمه ریاضی را با هزینه واقعی خطا در دنیای واقعی همسو کنند.[8]

این تجزیه بدون محدودیت هم نیست. مقاله‌ای در سال ۲۰۰۸ در مجله پیش‌بینی و آب‌وهوا با عنوان «دو مؤلفه اضافی در تجزیه امتیاز بریر» استدلال کرد که تفکیک سه‌بخشی سنتی مورفی، زمانی که اندازه نمونه‌ها کوچک است، این رابطه را بیش از حد ساده می‌کند. محققان نشان دادند که مجموعه‌داده‌های محدود، نویز آماری ایجاد می‌کنند که می‌تواند به طور مصنوعی امتیاز تفکیک‌پذیری را متورم کرده و مدل را توانمندتر از آنچه واقعاً هست نشان دهد.[7]

این نویز یک آسیب‌پذیری قابل‌توجه برای مدل‌های یادگیری ماشین مدرن است که اغلب روی مجموعه‌داده‌های عظیم اما به شدت تکه‌تکه عمل می‌کنند. وقتی یک فروشنده هوش مصنوعی ادعا می‌کند که مدل آن‌ها به یک امتیاز بریر بی‌سابقه در یک مجموعه‌داده محک دست یافته است، ارزیابِ شکاک باید بخواهد تجزیه آن را ببیند. امتیاز پایینی که ناشی از عدم قطعیت پایه پایینِ یک مجموعه‌داده عظیم باشد، دلیلی بر برتری الگوریتمی نیست؛ بلکه صرفاً بازتابی از یک محیط به راحتی قابل پیش‌بینی است.[1][7]

تمایز بین آنچه یک مدل یاد می‌گیرد و آنچه صرفاً حفظ می‌کند، توسط معیار تفکیک‌پذیری آشکار می‌شود. قابلیت پیش‌بینی واقعی ایجاب می‌کند که مدل موضع‌گیری کند — از حاشیه امن میانگین تاریخی دور شود و خطر جریمه بالای قابلیت اطمینان را بپذیرد. تجزیه امتیاز بریر تضمین می‌کند که این خطر کمّی‌سازی شود و یک دفتر کل ریاضی ارائه می‌دهد که آینده‌نگری واقعی را از توهم آماری جدا می‌کند.[2][5]