ریشه دوم مجموع مربعات: چرا مقایسه دو نظرسنجی نیازمند حاشیه خطای بزرگ‌تری است؟

در ۶ مارس ۲۰۱۸، پژوهشگران دانشگاه استنفورد (Stanford) هشدار تندی به روزنامه‌نگاران داده‌ها و تحلیلگران سیاسی دادند: «حاشیه خطا بزرگ‌تر از آن چیزی است که فکر می‌کنید.»

واقعیت ریاضی در علم آمارگیری نشان می‌دهد که وقتی مخاطب به نظرسنجی‌ای نگاه می‌کند که در آن یک نامزد با ۴۸ درصد در برابر ۴۶ درصد پیشتاز است، خطای استانداردِ درج‌شده در پایین صفحه برای فاصله بین آن‌ها صدق نمی‌کند. در عوض، اندازه‌گیری فاصله بین دو آمار مستقل در نظرسنجی، نیازمند محاسبه کاملاً متفاوتی است؛ محاسبه‌ای که دامنه عدم قطعیت را حدود ۴۱ درصد گسترش می‌دهد.[1][3][5]

ریشه این خطای دید آماری در نحوه گزارش واریانس نظرسنجی‌ها به عموم نهفته است. یک نظرسنجی استاندارد با ۱۰۰۰ پاسخ‌دهنده، دارای حاشیه خطای پایه حدود ۳.۱ واحد درصد در بازه اطمینان ۹۵ درصدی است. این رقم نشان‌دهنده عدم قطعیت یک نسبت مجزا و منفرد است؛ برای مثال، درصد رای‌دهندگانی که از نامزد الف حمایت می‌کنند.[4]

با این حال، انتخابات و بحث‌های افکار عمومی به‌ندرت حول یک عدد منفرد می‌چرخند. آن‌ها درباره تفاوت بین دو عدد هستند. وقتی یک تحلیلگر ۴۸ درصدِ نامزد الف را با ۴۶ درصدِ نامزد ب مقایسه می‌کند، دیگر با یک متغیر سروکار ندارد، بلکه با دو متغیر روبه‌روست. از آنجا که هر دو اندازه‌گیری شامل نویز نمونه‌گیری مستقل خود هستند، عدم قطعیت کل برای فاصله بین آن‌ها، ترکیبی از هر دو خطاست.[6]

در علم آمار، خطاهای استاندارد را نمی‌توان به‌سادگی با هم جمع کرد. در عوض، این واریانس‌ها هستند که با هم جمع می‌شوند. برای یافتن حاشیه خطای تفاوت بین دو نظرسنجی مستقل، آمارشناسان باید ریشه دوم (جذر) مجموع مربعات حاشیه‌های خطای آن‌ها را محاسبه کنند. این رابطه هندسی از نظر ریاضی دقیقاً مشابه قضیه فیثاغورس است که برای یافتن وتر یک مثلث قائم‌الزاویه استفاده می‌شود.[4][5]

اگر نظرسنجی X و نظرسنجی Y هر دو دارای حاشیه خطای ۳.۱ درصدی باشند، خطای تفاوت بین آن‌ها نه ۳.۱ درصد است و نه ۶.۲ درصد. این مقدار برابر است با جذرِ (۳.۱ به توان دو به علاوه ۳.۱ به توان دو)، که تقریباً معادل ۴.۳۸ درصد می‌شود. جریمه مقایسه دو نمونه مستقل با اندازه برابر، همیشه ضریبی از ریشه دوم عدد دو، یعنی ۱.۴۱۴ است.[5]

این بسط ۴۱ درصدی در عدم قطعیت، اساساً نحوه تفسیر داده‌های پیمایشی را تغییر می‌دهد. پیشتازی دو درصدی در نظرسنجی‌ای با حاشیه خطای پایه ۳.۱ درصد، اغلب توسط مفسران به‌عنوان یک تساوی آماری توصیف می‌شود. اما واقعیت بسیار شکننده‌تر است: برای اینکه این پیشتازی از نظر آماری با صفر تفاوت معناداری داشته باشد، فاصله باید از ۴.۳۸ درصد فراتر برود.[1]

جی. الیوت موریس (G. Elliott Morris)، تحلیلگر داده، در مقاله‌ای در ژانویه ۲۰۲۶ تأکید کرد که چگونه این واقعیت ریاضی به‌طور معمول در پوشش‌های خبری سیاسی نادیده گرفته می‌شود و به روایت‌های نادرستی درباره تغییر شتاب آرا می‌انجامد. وقتی پیشتازی یک نامزد از چهار درصد در ماه اکتبر به دو درصد در ماه نوامبر در دو نظرسنجی مختلف کاهش می‌یابد، این تغییر تقریباً به‌طور کامل در حاشیه خطای بسط‌یافته هضم می‌شود.[1]

ریاضیات زمانی پیچیده‌تر می‌شود که دو نسبت را در داخل یک نمونه کاملاً یکسان مقایسه کنیم، نه در دو نظرسنجی مستقل. وقتی یک نظرسنج‌ از یک گروه واحد ۱۰۰۰ نفره می‌خواهد بین دو نامزد یکی را انتخاب کنند، این دو نسبت همبستگی منفی دارند. هر پاسخ‌دهنده‌ای که حمایت خود را به نامزد الف تغییر می‌دهد، همزمان یک رای از نامزد ب کم می‌کند.[6]

این کوواریانس منفی به این معناست که خطاها کاملاً مستقل نیستند. همان‌طور که در تحلیل‌های آماریِ نسبت‌های درون‌نمونه‌ای به‌تفصیل آمده است، این همبستگی منفی، واریانس ترکیبی را در مقایسه با دو نظرسنجی کاملاً مجزا اندکی کاهش می‌دهد. با این حال، حاشیه خطای مورد نیاز برای این فاصله همچنان به‌طور قابل‌توجهی بزرگ‌تر از خطای پایه گزارش‌شده برای سهم آرای یک نامزد منفرد باقی می‌ماند.[6]

همین جریمه ریاضی بسیار فراتر از نظرسنجی‌های سیاسی نیز صدق می‌کند. در تحقیقات بازار شرکتی، شاخص خالص ترویج‌کنندگان (NPS) با کسر درصد «مخالفان» از درصد «ترویج‌کنندگان» محاسبه می‌شود. از آنجا که معیار نهایی، تفاضل دو نسبت است، حاشیه خطا برای نتیجه NPS به‌طور قابل‌توجهی گسترده‌تر از خطای معیار ترویج‌کنندگان به‌تنهایی است.[2]

با وجود این، گزارش‌های درآمد شرکتی و داشبوردهای بازاریابی به‌طور معمول تغییرات یک یا دو درصدی NPS را به‌عنوان روندهای تجاریِ قابل‌اقدام نمایش می‌دهند. بدون اعمال ریشه دوم مجموع مربعات بر واریانس‌های زیربنایی، مدیران اجرایی اغلب به‌جای واکنش به تغییرات واقعی در احساسات مشتری، به نویزهای آماری واکنش نشان می‌دهند.[2]

تعریف کلاسیک استنتاج برای دو نسبت جمعیت مستقل، نیازمند محاسبه یک خطای استاندارد تلفیقی هنگام آزمون فرض صفر مبنی بر برابر بودن دو نسبت است. اگر فرض صفر درست باشد — به این معنی که هیچ تفاوت واقعی بین دو جمعیت وجود نداشته باشد — نویز نمونه‌گیری ترکیبی غالباً فاصله‌های مصنوعیِ سه یا چهار درصدی را در نمونه‌های ۱۰۰۰ نفره ایجاد می‌کند.[4][5]

پژوهشگران استنفورد که درباره حاشیه‌های خطای دست‌کم‌گرفته‌شده هشدار داده بودند، همچنین اشاره کردند که واریانس نمونه‌گیری تنها یکی از منابع عدم قطعیت در نظرسنجی است. خطاهای غیرنمونه‌گیری — مانند سوگیری عدم پاسخ، اثرات چارچوب‌بندی و مدل‌های وزن‌دهی جمعیتی — اغلب اعوجاج بیشتری نسبت به انتخاب تصادفی خود نمونه ایجاد می‌کنند.[3]

وقتی این اثرات طراحی در محاسبات واریانس گنجانده می‌شوند، حاشیه خطای واقعی برای یک نظرسنجی استاندارد اغلب دو برابر می‌شود. اگر حاشیه خطای واقعی یک نظرسنجی منفرد در دنیای واقعی به ۶ درصد نزدیک‌تر باشد، حاشیه خطا برای تفاوت بین دو نظرسنجیِ این‌چنینی به ۸.۵ درصد نزدیک می‌شود.[3]

شواهد موجود برای دقت نظرسنجی‌ها همچنان توسط میل عمومی به قطعیت محدود می‌شود. سازمان‌های خبری با انگیزه‌های ساختاری مواجه‌اند تا یک تغییر یک درصدی را به‌جای یک خطای محاسباتی، به‌عنوان یک خبر فوری گزارش کنند. تا زمانی که جمع هندسی واریانس‌ها به یک ویژگی استاندارد در روزنامه‌نگاری داده‌ها تبدیل نشود، شکاف بین واقعیت آماری و درک عمومی پابرجا خواهد ماند.[1]