مکانیسم پارادوکس سیمپسون: چگونه داده‌های تجمیع‌شده می‌توانند روندهای واقعی را معکوس کنند

در عصری که توسط داده‌های بزرگ هدایت می‌شود، یک فرض رایج این است که بزرگترین و تجمیع‌شده‌ترین مجموعه‌های داده، دقیق‌ترین تصویر واقعیت را ارائه می‌دهند. با این حال، یک پدیده ریاضی شناخته شده به عنوان پارادوکس سیمپسون ثابت می‌کند که ترکیب داده‌ها گاهی اوقات می‌تواند نتیجه‌ای تولید کند که دقیقاً عکس حقیقت است.[1][5]

پارادوکس سیمپسون زمانی رخ می‌دهد که یک روند واضح در گروه‌های مختلف داده ظاهر می‌شود، اما هنگامی که آن گروه‌ها در یک مجموعه واحد ترکیب می‌شوند، کاملاً ناپدید می‌شود یا جهت آن معکوس می‌گردد. این یک خطای محاسباتی یا ترفند آماری نیست، بلکه یک ویژگی ریاضی واقعی از میانگین‌های وزن‌دهی‌شده است که می‌تواند محققان، سیاست‌گذاران و عموم مردم را به شدت گمراه کند.[1][2]

این پدیده اولین بار در یک مقاله فنی توسط ادوارد اچ. سیمپسون (Edward H. Simpson) در سال ۱۹۵۱ توصیف شد، اگرچه آماردانانی مانند کارل پیرسون (Karl Pearson) و اودنی یول (Udny Yule) دهه‌ها قبل اثرات مشابهی را مشاهده کرده بودند. امروزه، این مفهوم به عنوان یکی از مهم‌ترین مفاهیم در علم داده مطرح است و محدودیت‌های شدید داده‌های مشاهده‌ای را هنگامی که متغیرهای مخدوش‌کننده نادیده گرفته می‌شوند، نشان می‌دهد.[1][3]

مکانیسم این پارادوکس متکی بر ماهیت غیرشهودی میانگین‌های وزن‌دهی‌شده است. هنگامی که دو گروه به زیرمجموعه‌هایی با اندازه‌های بسیار متفاوت تقسیم می‌شوند، میانگین کلی به شدت تحت تأثیر زیرمجموعه بزرگتر قرار می‌گیرد. اگر یک متغیر پنهان هم بر توزیع گروه‌ها و هم بر نتیجه اندازه‌گیری شده تأثیر بگذارد، داده‌های تجمیع‌شده به جای رابطه واقعی، متغیر پنهان را منعکس خواهند کرد.[1][4]

مشهورترین نمونه واقعی پارادوکس سیمپسون در پاییز ۱۹۷۳ در دانشگاه کالیفرنیا، برکلی رخ داد. این دانشگاه داده‌های پذیرش تحصیلات تکمیلی خود را منتشر کرد که بلافاصله نگرانی‌هایی را در مورد تبعیض جنسیتی سیستماتیک و تهدید به شکایت قضایی برانگیخت.[1]

اعداد خام و تجمیع‌شده بسیار اتهام‌آمیز به نظر می‌رسیدند. دانشکده تحصیلات تکمیلی ۴۴ درصد از متقاضیان مرد را پذیرفته بود، اما تنها ۳۵ درصد از متقاضیان زن را. از آنجایی که حجم نمونه بسیار زیاد بود – شامل نزدیک به ۱۳۰۰۰ متقاضی – این تفاوت از نظر آماری معنادار بود و به نظر می‌رسید که مدرکی قطعی برای سوگیری باشد.[2]

با این حال، هنگامی که آماردانان پیتر بیکل (Peter Bickel) و همکارانش داده‌ها را دپارتمان به دپارتمان بررسی کردند، روایت معکوس شد. آنها دریافتند که در اکثر دپارتمان‌های فردی، زنان در واقع با نرخ کمی بالاتر از مردان پذیرفته شده‌اند. سوگیری علیه زنان زمانی که داده‌ها به درستی طبقه‌بندی شدند، کاملاً ناپدید شد.[1][2]

این پارادوکس ناشی از یک متغیر توضیحی پنهان بود: رقابتی بودن دپارتمان‌ها. زنان به طور نامتناسبی برای دپارتمان‌های علوم انسانی و علوم اجتماعی درخواست داده بودند که ظرفیت بسیار کمی داشتند و نرخ پذیرش کلی پایینی داشتند. مردان به طور نامتناسبی برای دپارتمان‌های علوم و مهندسی درخواست داده بودند که درصد بسیار بیشتری از متقاضیان واجد شرایط را می‌پذیرفتند.[2]

از آنجایی که حجم بیشتری از متقاضیان زن در دسته‌های با پذیرش پایین متمرکز شده بودند، میانگین کلی آنها به سمت پایین کشیده شد و توهم تبعیض سیستماتیک را ایجاد کرد، در حالی که چنین چیزی وجود نداشت.[4]

پیامدهای پارادوکس سیمپسون بسیار فراتر از علوم اجتماعی است و خطر جدی در تحقیقات پزشکی و سلامت عمومی ایجاد می‌کند. یک مطالعه کلاسیک در سال ۱۹۸۶ دو درمان برای سنگ کلیه را مقایسه کرد: جراحی باز (درمان الف) و یک روش کمتر تهاجمی جدیدتر به نام پرکوتانئوس (درمان ب).[1][3]

هنگامی که محققان به داده‌های تجمیع‌شده برای همه بیماران نگاه کردند، درمان ب گزینه برتر به نظر می‌رسید. این درمان دارای نرخ موفقیت کلی ۸۳ درصد بود، در مقایسه با تنها ۷۸ درصد برای جراحی باز سنتی.[1]

اما هنگامی که بیماران بر اساس اندازه سنگ کلیه‌شان تقسیم شدند، داده‌ها معکوس شدند. برای سنگ‌های کوچک، درمان الف مؤثرتر بود (۹۳ درصد در مقابل ۸۷ درصد). برای سنگ‌های بزرگ نیز درمان الف مؤثرتر بود (۷۳ درصد در مقابل ۶۹ درصد). درمان الف در هر سناریوی خاص بهتر بود، با این حال در مجموع بدتر به نظر می‌رسید.[1][3]

متغیر مخدوش‌کننده در مطالعه پزشکی، شدت بیماری بود. پزشکان به طور طبیعی دشوارترین موارد – بیمارانی با سنگ‌های بزرگ و پیچیده – را به جراحی باز تهاجمی‌تر اختصاص می‌دادند. آنها موارد آسان‌تر را به درمان ب که کمتر تهاجمی بود، اختصاص می‌دادند.[1][3]

از آنجایی که درمان ب عمدتاً برای بیمارانی استفاده می‌شد که از قبل احتمال بهبودی بالایی داشتند، نرخ موفقیت کلی آن به طور مصنوعی بالا رفته بود. اگر پزشکی کورکورانه از داده‌های تجمیع‌شده پیروی می‌کرد، درمان کم‌اثرتر را برای هر بیمار تجویز می‌کرد.[1][5]

حل پارادوکس سیمپسون نیازمند چیزی بیش از طبقه‌بندی ریاضی است؛ نیازمند استنتاج علّی است. آماردانان مدرن، از جمله جودیا پرل (Judea Pearl)، استدلال می‌کنند که داده‌ها به تنهایی نمی‌توانند به شما بگویند که آیا باید به اعداد تجمیع‌شده اعتماد کنید یا به اعداد تقسیم‌شده.[3]

برای انتخاب درست، تحلیلگران باید روابط علّی بین متغیرها را ترسیم کنند. اگر متغیر تقسیم‌کننده یک مخدوش‌کننده واقعی باشد – مانند اندازه سنگ که هم بر انتخاب درمان و هم بر نتیجه تأثیر می‌گذارد – داده‌های تقسیم‌شده صحیح هستند. اما اگر متغیر تقسیم‌کننده صرفاً یک اثر پایین‌دستی از درمان باشد، طبقه‌بندی داده‌ها در واقع می‌تواند خطا ایجاد کند.[1][3]

این پارادوکس اغلب در تجارت و اقتصاد ظاهر می‌شود. ممکن است میانگین کلی دستمزد یک شرکت در طول یک دوره پنج ساله کاهش یابد، حتی اگر هر کارمند یک افزایش حقوق دریافت کرده باشد. این اتفاق زمانی می‌افتد که شرکت تعداد زیادی کارمند سطح پایین استخدام کند و وزن‌دهی داخلی نیروی کار را تغییر دهد و میانگین تجمیع‌شده را به پایین بکشد.[4][5]

در نهایت، پارادوکس سیمپسون به عنوان یک هشدار دائمی در برابر پذیرش معیارهای کلی به صورت ظاهری عمل می‌کند. این پدیده از محققان، روزنامه‌نگاران و سیاست‌گذاران می‌خواهد که فراتر از اعداد سطحی نگاه کنند و متغیرهای پنهانی را که واقعیت زیرین را شکل می‌دهند، به طور دقیق زیر سوال ببرند.[2][5]