چگونه تجمیع داده‌ها در «پارادوکس سیمپسون» روندها را معکوس می‌کند

پارادوکس سیمپسون به این دلیل رخ می‌دهد که نابرابری حجم نمونه‌ها در زیرگروه‌های مختلف، هنگام ترکیب شدن، میانگین کل را از نظر ریاضیاتی مخدوش می‌کند. روندی که در هر دسته مجزا صادق است، می‌تواند در حالت تجمیعی کاملاً معکوس شود و یک خطای آماری ایجاد کند که محققان و الگوریتم‌ها را به یک اندازه گمراه می‌کند.

این پدیده بر یک متغیر مخدوش‌کننده متکی است؛ عامل پنهانی که هم بر متغیرهای مستقل و هم بر متغیرهای وابسته تأثیر می‌گذارد. وقتی داده‌ها بدون در نظر گرفتن این عامل مخدوش‌کننده تجمیع می‌شوند، حجم عظیم مشاهدات در یک زیرگروه، سایر زیرگروه‌ها را تحت‌الشعاع قرار می‌دهد. در نتیجه، معیار تجمیعی به‌دست‌آمده دیگر عملکرد یا نتیجه واقعی را اندازه‌گیری نمی‌کند؛ بلکه توزیع جمعیت در آن زیرگروه‌ها را می‌سنجد. با وجود برچسب «پارادوکس»، هیچ جادویی در کار نیست؛ تنها پای یک اشتباه در مقایسه موارد مشابه با یکدیگر در میان است.

سازوکار این معکوس شدن در میانگین ضربه‌زنی درک جیتر (Derek Jeter) و دیوید جاستیس (David Justice) بین سال‌های ۱۹۹۵ تا ۱۹۹۷ به وضوح قابل مشاهده است. در طول این سه فصل، جاستیس در هر سال میانگین ضربه‌زنی بالاتری نسبت به جیتر ثبت کرد. در سال ۱۹۹۵، جاستیس با میانگین ۰.۲۵۳ در برابر ۰.۲۵۰ جیتر؛ در سال ۱۹۹۶ با میانگین ۰.۳۲۱ در برابر ۰.۳۱۴ جیتر؛ و در سال ۱۹۹۷ با میانگین ۰.۳۲۹ در برابر ۰.۲۹۱ جیتر برتری داشت. با این حال، وقتی این سه فصل با هم ترکیب می‌شوند، جیتر با میانگین کل بالاتر ظاهر می‌شود: ۰.۳۰۰ در مقایسه با ۰.۲۹۸ جاستیس.

این معکوس شدن به این دلیل اتفاق می‌افتد که تعداد نوبت‌های ضربه‌زنی برای هر دو بازیکن در طول این سه سال به شدت متغیر بود. جاستیس در سال ۱۹۹۵، سالی که میانگین‌های ضربه‌زنی عموماً پایین بود، ۴۱۱ نوبت ضربه‌زنی ثبت کرد که درصد کلی او را پایین کشید. در مقابل، جیتر در آن سال تنها ۴۸ نوبت ضربه‌زنی داشت. در سال ۱۹۹۶، زمانی که هر دو بازیکن بسیار خوب ضربه زدند، جیتر ۵۸۲ نوبت ضربه‌زنی داشت در حالی که جاستیس به دلیل مصدومیت تنها ۱۴۰ نوبت ثبت کرد. میانگین تجمیعی جیتر به شدت به سمت بهترین فصل او وزن داده شده است، در حالی که میانگین جاستیس به بدترین فصل او گره خورده است.

در حالی که آمارهای ورزشی یک نمایش ریاضیاتی تمیز ارائه می‌دهند، این پارادوکس پیامدهای حقوقی و نهادی جدی در پی داشته است. در پاییز ۱۹۷۳، دانشگاه کالیفرنیا، برکلی (UC Berkeley) با یک شکایت احتمالی بر سر داده‌های پذیرش تحصیلات تکمیلی خود مواجه شد. ارقام تجمیعی یک اختلاف فاحش را نشان می‌دادند: دانشگاه ۴۴.۵ درصد از ۲۶۹۱ متقاضی مرد، اما تنها ۳۰.۴ درصد از ۱۸۳۵ متقاضی زن را پذیرفته بود. نسبت شانس نمونه ۱.۸۳ به شدت حاکی از سوگیری سیستماتیک علیه زنان بود.[1]

با این حال، هنگامی که آمارشناسان پیتر بیکل (Peter Bickel)، یوجین هامل (Eugene Hammel) و جی.دبلیو. اوکانل (J.W. O'Connell) داده‌ها را بر اساس دپارتمان تفکیک کردند، این سوگیری ناپدید شد. همان‌طور که محققان در نشریه سال ۱۹۷۵ خود اشاره کردند: «بررسی داده‌های تفکیک‌شده نشان می‌دهد که واحدهای تصمیم‌گیری معدودی انحرافات معنادار آماری از فراوانی‌های مورد انتظار پذیرش زنان دارند، و تقریباً به همان اندازه که برخی واحدها به نفع مردان عمل می‌کنند، واحدهای دیگری به نفع زنان تمایل دارند.»[1]

متغیر مخدوش‌کننده در اینجا، میزان رقابتی بودن خود دپارتمان‌ها بود. زنان به طور نامتناسبی برای برنامه‌های بسیار رقابتی با نرخ پذیرش پایین، مانند ادبیات انگلیسی، درخواست داده بودند، در حالی که مردان برای برنامه‌های کمتر رقابتی با نرخ پذیرش بالا، مانند مهندسی مکانیک، درخواست داده بودند. داده‌های تجمیعی زنان را به خاطر انتخاب رشته‌شان جریمه می‌کرد، نه جنسیتشان؛ و این نشان می‌دهد که چگونه درصدهای خام جمعیتی می‌توانند شواهدی از تبعیض بسازند در حالی که اصلاً چنین چیزی وجود ندارد.[1]

در پزشکی، نادیده گرفتن پارادوکس سیمپسون می‌تواند به تصمیمات درمانی مرگباری منجر شود. یک مطالعه برجسته در سال ۱۹۸۶ که در نشریه BMJ منتشر شد، دو روش درمان سنگ کلیه را مقایسه کرد: جراحی باز سنتی و یک روش جدیدتر و کمتر تهاجمی به نام نفرولیتوتومی از راه پوست. داده‌های تجمیعی نشان داد که روش جدیدتر موفق‌تر بوده و ۸۳ درصد از بیماران را در مقایسه با ۷۸ درصد برای جراحی باز درمان کرده است.[2]

اما زمانی که محققان بیماران را بر اساس اندازه سنگ کلیه‌شان دسته‌بندی کردند، جراحی باز هم برای سنگ‌های کوچک و هم برای سنگ‌های بزرگ برتر بود. این خطای دید ناشی از نحوه تخصیص درمان‌ها توسط پزشکان بود. آن‌ها به طور معمول جراحی باز بسیار مؤثر را برای موارد شدید با سنگ‌های بزرگ تجویز می‌کردند، که طبیعتاً نرخ موفقیت پایه پایین‌تری دارند. روش جدیدتر برای موارد خفیف با سنگ‌های کوچک که درمانشان آسان‌تر است، اختصاص یافته بود.[2]

نرخ موفقیت تجمیعی روش جدید به دلیل خفیف بودن مواردی که درمان می‌کرد متورم شده بود، نه به خاطر اثربخشی خود مداخله. اگر یک مدیر بیمارستان تنها به اعداد کلی نگاه می‌کرد، درمان ضعیف‌تر را برای همه بیماران اجباری می‌کرد و بر اساس داده‌هایی که از نظر ریاضیاتی درست اما از نظر بافتی کور بودند، نتایج بیماران را به طور فعال بدتر می‌کرد.[2]

با ورود مجموعه داده‌های عظیم به سیستم‌های تصمیم‌گیری خودکار، خطر پارادوکس سیمپسون نیز به همان نسبت افزایش می‌یابد. الگوریتم‌های یادگیری ماشین که بر روی داده‌های مشاهده‌ای تجمیع‌شده آموزش دیده‌اند، این روندهای معکوس را از نظر ریاضیاتی کدگذاری می‌کنند، مگر اینکه مهندسان صراحتاً آن‌ها را برای تشخیص متغیرهای مخدوش‌کننده برنامه‌ریزی کنند. الگوریتمی که داده‌های سنگ کلیه سال ۱۹۸۶ را بدون تفکیک ارزیابی کند، به طور خودکار درمان ضعیف‌تر را توصیه کرده و یک خطای آماری را به یک شکست سیستماتیک تبدیل می‌کند.

تشخیص این پارادوکس نیازمند فراتر رفتن از تجمیع خام و اعمال مدل‌های استنتاج علی بر داده‌های مشاهده‌ای است. آمارشناسان باید پیش از محاسبه میانگین‌ها، مخدوش‌کننده‌های احتمالی را شناسایی کنند تا اطمینان حاصل شود که زیرگروه‌ها بر مبنایی برابر مقایسه می‌شوند. تا زمانی که توزیع پنهان داده‌ها نقشه‌برداری نشود، یک درصد تجمیعی تنها توصیفی از نمونه باقی می‌ماند، نه معیاری از حقیقت.[3]