چرا بازه اطمینان ۹۵ درصدی به معنای احتمال ۹۵ درصدی برای یافتن میانگین واقعی در آن محدوده نیست؟

محدودیت الزام‌آور آمار فراوانی‌گرا (Frequentist) این است که پارامتر واقعی جامعه، یک هدف ثابت و بی‌حرکت در جهان است، در حالی که داده‌هایی که ما جمع‌آوری می‌کنیم تنها یک تجلی تصادفی و موقتی از آن است. اگر این شرط برقرار باشد — که در چارچوب‌های آماری استاندارد همیشه همین‌طور است — آنگاه مشهورترین معیار در علم نمی‌تواند آن معنایی را داشته باشد که تقریباً همه تصور می‌کنند.[2]

در داشبوردهای تست A/B، نتایج کارآزمایی‌های بالینی و پیش‌بینی‌های اقتصادی، بازه اطمینان ۹۵ درصدی استاندارد طلایی برای بیان عدم قطعیت است. با این حال، این معیار به طور معمول در زبان روزمره به عنوان یک تضمین ترجمه می‌شود: «۹۵ درصد احتمال دارد که میانگین واقعی در این محدوده خاص قرار گیرد.»[1][4]

این ترجمه از نظر ریاضی کاملاً غلط است. همان‌طور که سریواتسا ناراسیما (Srivatsa Narasimha) در یک بررسی روش‌شناختی در ماه مه ۲۰۲۶ نوشت: «خیر، یک بازه اطمینان ۹۵ درصدی به این معنا نیست که ۹۵ درصد احتمال دارد حق با شما باشد!» این خطا از یک ناهماهنگی بنیادین نشأت می‌گیرد؛ ناهماهنگی میان آنچه انسان‌ها به طور شهودی می‌خواهند بدانند و آنچه آمار فراوانی‌گرا واقعاً می‌تواند محاسبه کند.[3]

انسان‌ها ذاتاً به دنبال یک «بازه معتبر بیزی» (Bayesian credible interval) هستند؛ یعنی احتمال اینکه با توجه به داده‌های مشاهده‌شده، یک پارامتر در محدوده خاصی قرار گیرد. اما در عوض، یک «بازه اطمینان فراوانی‌گرا» به آن‌ها داده می‌شود که احتمالِ داده‌ها را با فرض یک پارامتر ثابت اندازه‌گیری می‌کند. در این چارچوب، میانگین واقعی حرکت نمی‌کند و هیچ توزیع احتمالی ندارد.[2]

از آنجا که میانگین واقعی یک ثابتِ تغییرناپذیر است، یا درون بازه خاصی که به تازگی محاسبه کرده‌اید قرار دارد، یا ندارد. بنابراین، احتمال واقعیِ اینکه بازه محاسبه‌شده شما حاوی میانگین واقعی باشد، دقیقاً صفر یا ۱۰۰ درصد است. ما فقط نمی‌دانیم کدام یک از این دو حالت رخ داده است.[2][4]

آنچه عدد «۹۵ درصد» در واقع توصیف می‌کند، قابلیت اطمینان بلندمدتِ رویه‌ای است که برای رسم بازه استفاده شده، نه خودِ بازه. یک بازی پرتاب حلقه را تصور کنید که در آن، میخِ هدف (که نشان‌دهنده میانگین واقعی است) به زمین پیچ شده است. شما ۱۰۰ حلقه را که نشان‌دهنده ۱۰۰ بازه اطمینان مختلف هستند، به سمت این میخ پرتاب می‌کنید.[1][5]

سطح اطمینان ۹۵ درصدی به این معناست که فرآیند ساخت و پرتاب حلقه‌ها تضمین می‌کند که ۹۵ حلقه از ۱۰۰ حلقه با موفقیت دور میخ قرار می‌گیرند. با این حال، وقتی یک حلقه خاص روی زمین افتاد، یا میخ را در بر گرفته یا نگرفته است. شما نمی‌توانید به یک حلقه تکی که روی چمن افتاده نگاه کنید و بگویید: «۹۵ درصد احتمال دارد که میخ داخل این حلقه باشد.» این اتفاق از قبل رخ داده و تمام شده است.[1][4]

این تمایز صرفاً یک وسواس آکادمیک نیست؛ بلکه پیامدهای جدی برای نحوه ارزیابی شواهد دارد. یک مقاله اجماع برجسته در سال ۲۰۱۶ در مجله اپیدمیولوژی اروپا (European Journal of Epidemiology) توسط ساندر گرینلند (Sander Greenland) و همکارانش هشدار داد که تفسیر اشتباه این بازه‌ها منجر به خطاهای عمیقی در ادبیات پزشکی می‌شود.[7]

نویسندگان به صراحت اشاره کردند که «۹۵ درصد تنها به این موضوع اشاره دارد که اگر تمام مفروضاتِ استفاده‌شده برای محاسبه بازه‌ها درست باشد، بازه‌های اطمینان ۹۵ درصدی محاسبه‌شده از مطالعات بسیار زیاد، هر چند وقت یک‌بار اندازه واقعی را در بر می‌گیرند.» این معیار هیچ احتمالی را به اعداد خاصِ چاپ‌شده در یک مطالعه مشخص اختصاص نمی‌دهد.[7]

با وجود دهه‌ها هشدار، این تصور غلط تقریباً فراگیر است. مطالعه‌ای که توسط انجمن سایکونومیک برجسته شده، نشان داد که ۹۷ درصد از محققان — از جمله اساتیدی که فعالانه در حال تدریس آمار هستند — در زمان آزمایش، حداقل یک گزاره نادرست را در مورد بازه‌های اطمینان تایید کردند.[9]

آژانس‌های بهداشت عمومی روزانه با این مشکلِ ترجمه و تفسیر مواجه هستند. وزارت بهداشت ایالت نیویورک که برای ردیابی بیماری‌های مزمن به این معیارها متکی است، به صراحت به تحلیلگران آموزش می‌دهد که این بازه، حاشیه خطایی را در اطراف یک برآورد نمونه‌ای ارائه می‌دهد، اما نمی‌تواند احتمالی را به خود پارامتر جامعه نسبت دهد.[6]

به طور مشابه، موسسه ملی استاندارد و فناوری (NIST) حدهای اطمینان را دقیقاً به عنوان مرزهای یک رویه تعریف می‌کند که اگر بی‌نهایت بار تکرار شود، میانگین واقعی را در درصد مشخصی از مواقع در بر می‌گیرد.[5]

در محیط‌های فناوری مدرن، پلتفرم‌هایی مانند Statsig و MetricGate باید داشبوردهای تست A/B خود را به گونه‌ای فعالانه طراحی کنند تا از این جهش احتمالیِ دقیق توسط مدیران محصول هنگام مشاهده نتایج آزمایش جلوگیری کنند. تا آوریل ۲۰۲۶، MetricGate خاطرنشان کرد که تفسیر اشتباه این بازه اغلب باعث می‌شود تیم‌ها نسخه‌های بازنده را فقط به این دلیل که بازه «عمدتاً مثبت» به نظر می‌رسید، راه‌اندازی کنند.[1][8]

تداوم این خطا، شکافی را در آموزش آمار برجسته می‌کند: ما ریاضیات رویکرد فراوانی‌گرا را آموزش می‌دهیم، اما در آموزش محدودیت‌های فلسفی آن ناکام می‌مانیم. ریاضیات ایجاب می‌کند که پارامتر ثابت باشد، اما شهود انسانی می‌طلبد که سیال باشد. تا زمانی که این شکاف پر نشود، بازه اطمینان ۹۵ درصدی همچنان معیاری در علم داده باقی خواهد ماند که با بیشترین اطمینان، اشتباه درک می‌شود.[3][10]