علم ابرپیش‌بینی: چرا امتیاز بریر ثابت می‌کند پیش‌بینی یک مهارت آموختنی است

در پایان سال دومِ یک تورنمنت گسترده اطلاعاتی در ایالات متحده، داوطلبی به نام داگ (Doug) در صدها پیش‌بینی ژئوپلیتیک، امتیاز بریر ۰.۱۴ را ثبت کرد. این عدد، که معیاری ریاضی برای سنجش دقت احتمالات است، او را به بهترین پیش‌بین در میان ۲۸۰۰ شرکت‌کننده در پروژه Good Judgment تبدیل کرد. این اتفاق همچنین نکته‌ای را ثابت کرد که یک قرن خرد متعارف را زیر و رو می‌کند: آینده‌نگریِ دقیق یک موهبت ذاتی و رازآلود نیست، بلکه یک مهارت مکانیکی و آموزش‌پذیر است.[2]

پروژه Good Judgment در ژوئیه ۲۰۱۱ در پاسخ به چالشی از سوی سازمان پروژه‌های تحقیقاتی پیشرفته اطلاعاتی (IARPA) آغاز شد. این آژانس می‌خواست بداند آیا می‌توان با تجمیع قضاوت‌های تحلیلگران پراکنده، پیش‌بینی‌های احتمالی دقیق و به‌موقعی برای رویدادهای جهانی تولید کرد یا خیر. این پروژه به رهبری پژوهشگرانی چون فیلیپ تتلوک (Philip Tetlock)، باربارا ملرز (Barbara Mellers) و دان مور (Don Moore)، هزاران آماتور بااستعداد را استخدام کرد و پیش‌بینی‌های آن‌ها را تحت امتیازدهی دقیق آماری قرار داد.[2]

پایه و اساس این امتیازدهی، «امتیاز بریر» است که نخستین بار در سال ۱۹۵۰ توسط گلن دبلیو. بریر (Glenn W. Brier) پیشنهاد شد. امتیاز بریر یک «قاعده امتیازدهی کاملاً اصولی» است که میانگین مجذور تفاوت بین احتمال پیش‌بینی‌شده و نتیجه واقعیِ صفر و یکی را اندازه‌گیری می‌کند. اگر تحلیلگری احتمال وقوع یک رویداد را ۷۰ درصد پیش‌بینی کند و آن اتفاق بیفتد، امتیاز او برابر با مجذور ۰.۷۰ منهای ۱، یعنی ۰.۰۹ خواهد بود. اما اگر آن اتفاق نیفتد، امتیاز او مجذور ۰.۷۰ منهای ۰، یعنی ۰.۴۹ می‌شود.[1]

از آنجا که امتیاز بریر کاملاً اصولی است، پیش‌بین‌ها تنها در صورتی می‌توانند امتیاز موردانتظار خود را به حداکثر برسانند که احتمالات واقعی خود را صادقانه بیان کنند. هیچ مزیت ریاضی در محافظه‌کاری یا اغراق وجود ندارد. جریمه اعتمادبه‌نفس کاذب به‌صورت تصاعدی افزایش می‌یابد؛ به این معنا که پیش‌بینی که احتمال ۹۹ درصد را اعلام می‌کند و اشتباه درمی‌آید، بسیار شدیدتر از کسی مجازات می‌شود که احتمال ۶۰ درصد را پیش‌بینی کرده و اشتباه کرده است.[1]

برای درک اینکه چرا برخی پیش‌بین‌ها موفق می‌شوند، پژوهشگران امتیاز بریر را به سه مولفه مجزا تجزیه می‌کنند: کالیبراسیون، رزولوشن و عدم قطعیت. کالیبراسیون یا قابلیت اطمینان، نشان می‌دهد که احتمالات اختصاص‌داده‌شده چقدر به فراوانی واقعی رویدادها نزدیک هستند. اگر یک پیش‌بین بگوید ۲۰ رویداد مختلف هر کدام ۱۰ درصد احتمال وقوع دارند، دقیقاً دو مورد از آن‌ها باید اتفاق بیفتد.[1]

از سوی دیگر، رزولوشن توانایی پیش‌بین را برای خطرپذیری و ارائه پیش‌بینی‌های غیربدیهی می‌سنجد. اگر یک رویداد دارای نرخ پایه تاریخی ۵۰ درصد باشد، پیش‌بینی که همیشه ۵۰ درصد را حدس می‌زند، کالیبراسیون بی‌نقصی خواهد داشت اما رزولوشن او افتضاح است. یک پیش‌بین ماهر باید بتواند احتمالات ۹۰ درصدی را از احتمالات ۱۰ درصدی تفکیک کند. عدم قطعیت نیز صرفاً تصادفی بودن ذاتی خود رویداد است که مستقل از پیش‌بین عمل می‌کند.[1]

تحقیقات پیشین تتلوک به این نتیجه معروف رسیده بود که یک کارشناس سیاسیِ متوسط «تقریباً به اندازه یک شامپانزه در پرتاب دارت» دقت دارد. اما پروژه Good Judgment گروهی از افراد را کشف کرد—که «ابرپیش‌بین» نامیده شدند—و همواره بهتر از خط پایه عمل می‌کردند. این افراد لزوماً کارشناسان حوزه‌های تخصصی با مجوزهای امنیتی طبقه‌بندی‌شده نبودند. آن‌ها صرفاً افرادی با مهارت‌های محاسباتی بالا بودند که باورهای خود را مرتباً به‌روز می‌کردند، مسائل لاینحل را به اجزای کوچک‌تر می‌شکستند و تواضع فکری عمیقی داشتند.[3]

قوی‌ترین استدلال متقابل در برابر مدل تیم‌محورِ پروژه Good Judgment، بازار پیش‌بینی است. نظریه اقتصادی حکم می‌کند که بازاری با نقدینگی واقعی—جایی که شرکت‌کنندگان سهام رویدادهای آینده را خرید و فروش می‌کنند—باید تمام اطلاعات موجود را به‌طور کامل تجمیع کند. اگر بازار قیمت یک رویداد را ۶۰ سنت تعیین کند، احتمال وقوع آن ۶۰ درصد است. بسیاری از اقتصاددانان استدلال می‌کنند که بازارها همیشه هیئت‌های کارشناسی را شکست خواهند داد.

با این حال، داده‌های تورنمنت IARPA چیز دیگری را نشان داد. تیم‌های ابرپیش‌بین همواره بازارهای پیش‌بینی را با اختلاف ۱۵ تا ۳۰ درصد شکست دادند. آن‌ها این موفقیت را نه تنها از طریق نبوغ فردی، بلکه از طریق یک تکنیک تجمیع ریاضی به نام «الگوریتم افراطی‌سازی» به دست آوردند.[3]

الگوریتم افراطی‌سازی با دریافت برآورد احتمالیِ تجمیع‌شده یک تیم و نزدیک‌تر کردن آن به صفر یا ۱۰۰ درصد کار می‌کند. اگر سه پیش‌بین با تنوع شناختی به‌طور مستقل به این نتیجه برسند که یک رویداد ۷۰ درصد احتمال وقوع دارد، الگوریتم ممکن است این مجموع را به ۸۵ درصد برساند. منطق این کار کاملاً شفاف است: اگر افرادی با سوگیری‌ها، منابع داده و تجربیات زیسته کاملاً متفاوت، همگی به یک نتیجه قاطع و یکسان برسند، آن‌ها در مجموع بخش عظیمی از فضای فرضیه‌ها را پوشش داده‌اند.

این ناهار مجانیِ ریاضی با یک شرط سختگیرانه همراه است: این الگوریتم کاملاً به تنوع تیمی بستگی دارد. اگر یک تیم ساختاری یکپارچه داشته باشد که در آن همه پس‌زمینه یکسانی دارند و گزارش‌های مشابهی را می‌خوانند، پیش‌بینی آن‌ها اصلاً نباید افراطی شود. در محیطی با تنوع صفر، این الگوریتم صرفاً نقاط کور مشترک و سوگیری‌های سیستماتیک را تشدید می‌کند.

پیامدهای این تحقیق بسیار فراتر از جمع‌آوری اطلاعات است. در یک آزمایش کنترل‌شده، پروژه Good Judgment نشان داد که تنها یک ماژول آموزشی یک‌ساعته برای رفع سوگیری‌های شناختی—که استدلال احتمالی و پرهیز از سوگیریِ پس‌نگر را آموزش می‌داد—امتیاز بریر پیش‌بین‌ها را به‌طور مداوم تا ۱۰ درصد بهبود بخشید. مانع اصلی بر سر راه آینده‌نگریِ دقیق، فقدان استعداد ذاتی نیست، بلکه امتناع از ثبت امتیاز و ارزیابی عملکرد است.[2]

علم پیش‌بینی ثابت می‌کند که اگرچه آینده همچنان نامشخص است، اما توانایی ما برای سنجش این عدم قطعیت، مسئله‌ای حل‌شده است. چارچوب‌های ریاضی وجود دارند و آموزش شناختی به حداقل سرمایه‌گذاری زمانی نیاز دارد. تنها مانع باقی‌مانده این است که آیا نهادها حاضرند کارشناسان خود را در معرض واقعیت بی‌رحمانه و عینیِ یک قاعده امتیازدهی کاملاً اصولی قرار دهند یا خیر.[4]