چگونه ناترازی نقطه آغاز اثر مداخله را میان آنکوا و تفاضل در تفاضل معکوس می‌کند

در تحلیل داده‌های مشاهده‌ای، پژوهشگران معمولاً فرض می‌کنند که به‌کارگیری دو مدل آماری از نظر ریاضیاتی معتبر روی یک مجموعه داده یکسان، قاعدتاً به نتایجی مشابه منجر می‌شود. منطق شهودی حکم می‌کند که اگر ارقام یکسان باشند، واقعیتی که بازنمایی می‌کنند باید عینی و نامتغیر بماند.

با این حال، متون آماری حامل یک آزمون ۶۰ ساله پایدار است که نشان می‌دهد این فرض بنیادین کاملاً خطا است. پدیده‌ای که با عنوان «پارادوکس لرد» شناخته می‌شود، آشکار می‌سازد که چگونه ناترازی در خط مبنا میان گروه‌های نامتقارن و غیرتصادفی می‌تواند تحت دو فرمول متفاوت، اندازه اثر متغیر را کاملاً برعکس جلوه دهد.

جودیا پرل، پیشگام حوزه استنتاج علی، در بازنگری سال ۲۰۱۶ خود درباره این پدیده می‌نویسد: «این پارادوکس نشان می‌دهد که می‌توانید دو پرسش آماری کاملاً معقول را از داده‌هایی یکسان بپرسید، اما دو پاسخ کاملاً متناقض دریافت کنید.»[2]

این دوگانگی دقیقاً زمانی بروز می‌کند که پژوهشگر در صدد اندازه‌گیری اثر یک مداخله، مانند رژیم غذایی تازه، تغییر یک سیاست‌گذاری یا یک برنامه آموزشی بر گروه‌هایی برمی‌آید که از همان نقطه شروع و پیش از مداخله، با یکدیگر تفاوت ساختاری داشته‌اند.[4]

بدون کنترل گروه از طریق کارآزمایی تصادفی‌سازی‌شده، انتخاب میان سنجش «تغییرات خام» و «تعدیل تفاوت‌های خط مبنا» دیگر صرفاً یک ترجیح روش‌شناختی نیست، بلکه تصمیمی ساختاری است که جهت پیامد نهایی را از اساس تعیین می‌کند.[6]

معمای سالن غذاخوری

این مسئله نخستین بار در سال ۱۹۶۷ توسط فردریک ام. لرد، روان‌سنج فعال در مؤسسه خدمات سنجش آموزشی (ETS) مطرح شد. او در مقاله‌ای کوتاه و دوصفحه‌ای، سناریویی فرضی را ترسیم کرد که تا به امروز مایه شگفتی دانشجویان تحصیلات تکمیلی است.

لرد دانشگاهی را توصیف کرد که قصد داشت ارزیابی کند آیا تغذیه در یک سالن غذاخوری مشخص روی وزن دانشجویان اثرگذار است یا خیر. دانشگاه ۵۰۰ دانشجوی پسر و ۵۰۰ دانشجوی دختر را در ابتدای سال تحصیلی در ماه سپتامبر و مجدداً در ماه ژوئن وزن‌کشی کرد.

داده‌های خام حاکی از یک ناترازی بنیادین در خط مبنا بود: میانگین وزن دانشجویان پسر در سپتامبر ۱۵ پوند بیش از دانشجویان دختر بود. اما در پایان بررسی و در ژوئن، میانگین وزنی هیچ‌یک از دو گروه دختران یا پسران نه کاهش یافته و نه اضافه شده بود.

دانشگاه برای سنجش اثر رژیم غذایی دو آماردان را به کار گرفت. نخستین آماردان از رویکرد تفاضل نمرات استفاده کرد؛ متدی که اقتصاددانان امروزی معمولاً آن را با نام برآوردگر تفاضل در تفاضل (Difference-in-Differences) می‌شناسند.[1]

این تحلیل‌گر تغییر وزن تک‌تک دانشجویان میان سپتامبر و ژوئن را اندازه گرفت. از آنجا که میانگین تغییرات برای هر دو گروه دختران و پسران دقیقاً برابر با صفر پوند بود، او نتیجه گرفت که برنامه غذایی سالن هیچ اثر متمایزی روی وزن هیچ‌یک از دو جنسیت نداشته است.

تناقض کوواریانس

سپس دانشگاه داده‌های یکسان را در اختیار آماردان دوم قرار داد. این تحلیل‌گر روش تحلیل کوواریانس (ANCOVA) را برگزید؛ روشی متعارف که هدف آن کنترل و استانداردسازی تفاوت‌های اولیه و از پیش‌موجود میان گروه‌ها است.[1]

آماردان دوم وزن‌های ماه ژوئن را در برابر وزن‌های سپتامبر رسم کرد و دو خط رگرسیون مجزا، یکی برای مردان و دیگری برای زنان به دست آورد. از آنجا که وزن به شکلی طبیعی نوسان می‌کند، هر دو گروه پدیده «بازگشت به میانگین» را نشان دادند.[3]

پسرانی که در سپتامبر سنگین‌ترین وزن را داشتند، تا ژوئن اندکی وزن از دست داده بودند و کسانی که سبک‌تر بودند مقداری وزن اضافه کردند. الگویی مشابه در دختران نیز دیده شد که شیب رگرسیونی نزدیک به ۰.۸ را برای هر دو گروه به وجود آورد.[1]

اما از آنجا که مردان کار را با خط مبنای ۱۵ پوند بالاتر شروع کرده بودند، خط رگرسیون آن‌ها به وضوح در سطحی بالاتر از خط رگرسیون زنان قرار گرفت. آماردان دوم بر این پایه اعلام کرد: «هنگامی که وزن اولیه را کنترل می‌کنیم، مردان به شکل معناداری بیش از زنان وزن اضافه کرده‌اند.»

دانشگاه با دو گزاره کاملاً دقیق ریاضیاتی مواجه شد که یکدیگر را ابطال می‌کردند: رویکرد تفاضل تغییرات ثابت می‌کرد رژیم غذایی هیچ اثری نداشته است، در حالی که تحلیل کوواریانس نشان می‌داد رژیم غذایی موجب ۳.۲ پوند افزایش وزن نسبی در مردان شده است.[1]

چرایی انحراف محاسبات

دهه‌ها آماردانان به بحث نشستند که کدام‌یک از تحلیل‌گران مرتکب خطای محاسباتی شده است. پاسخی که هاوارد واینر در مرور سال ۱۹۹۱ خود فرمول‌بندی کرد غافلگیرکننده بود: هیچ‌کدام دچار خطا نشده بودند و هر دو معادله بی‌نقص حل شده بودند.[1]

ریشه این واگرایی منحصراً در نوع برخورد این دو مدل با ناترازی اولیه نهفته است. رویکرد تفاضل نمرات به شکل تلویحی فرض می‌کند که اگر مداخله‌ای رخ نمی‌داد، شکاف وزنی میان دو گروه در طول زمان دقیقاً همان ۱۵ پوند باقی می‌ماند.[5]

در مقابل، تحلیل کوواریانس فرضی متضاد دارد. این مدل فرض می‌کند اگر یک مرد و یک زن فرضی هر دو وزن پایه‌ای یکسان (مثلاً ۱۵۰ پوند) داشته باشند، مستقل از جنسیت‌شان باید در انتهای مطالعه به وزنی کاملاً یکسان برسند.[5]

هنگامی که انتساب گروه‌ها تصادفی باشد، نظیر آنچه در کارآزمایی‌های بالینی دیده می‌شود، اختلاف‌های خط مبنا به صفر میل می‌کند. در چنین شرایطی، آنکوا و تفاضل در تفاضل به مقداری کاملاً یکسان همگرا می‌شوند و جای نگرانی باقی نمی‌گذارند.[7]

اما در مطالعات مشاهده‌ای، جایی که افراد بر اساس انتخاب شخصی یا ویژگی‌های تغییرناپذیر به گروه‌ها تعلق دارند، شکاف نقطه آغاز به‌ندرت صفر است. این عدم تعادل، دو الگوی ریاضی را ناگزیر به پاسخ دادن به دو پرسش اساساً متفاوت سوق می‌دهد.[7]

گره‌گشایی از منظر علیت

این بن‌بست برای مدتی طولانی در حد یک شگفتی آماری باقی ماند تا آنکه پارادایم استنتاج علی نوین ظهور کرد. در سال ۲۰۱۶، جودیا پرل نشان داد که این تناقض با اتکا به خود داده‌ها هرگز حل‌شدنی نیست.[2]

پرل تشریح کرد: «داده‌ها نمی‌توانند بگویند کدام فرض صحیح است. پیش از آنکه ریاضیات بتواند پاسخی معنادار به شما بدهد، ابتدا باید مدلی علیتی از جهان واقعی پی‌ریزی کرده باشید.»[2]

او با استفاده از نمودارهای غیرمدور جهت‌دار (DAG) روابط علی را مدل‌سازی کرد. اگر متغیر مبنا نماینده عاملی مداخله‌گر و پنهان باشد که بر تخصیص گروه و پیامد نهایی اثر می‌گذارد، مدل آنکوا شدیداً دچار سوگیری می‌شود.[2]

برعکس، اگر متغیر گروه، خود علت پیدایش تفاوت در خط مبنا باشد، تعدیل بر اساس خط مبنا توسط آنکوا، بخشی از اثر علی واقعی را مسدود می‌کند. در این حالت، روش تفاضل نمرات از نظر ریاضی ابزار مناسب‌تری است.[6]

در سناریوی اولیه سالن غذاخوری، جنسیت هم وزن سپتامبر و هم وزن ژوئن را تعیین می‌کند. چون جنسیت نمی‌تواند معلول وزن ماه سپتامبر باشد، حساب احتمالات علی پرل اثبات می‌کند که در این مورد خاص، برآورد آماردان اول حقیقت را منعکس می‌کرده است.[2]

پیامدها در پژوهش‌های معاصر

اگرچه سناریوی لرد فرضی بود، دام محاسباتی پشت آن پیوسته دامنگیر پژوهش‌های معاصر می‌شود. متخصصان اپیدمیولوژی و اقتصاددانان روزانه با گروه‌های غیرتصادفی دارای ناترازی شدید خط مبنا سر و کار دارند.[7]

مروری در سال ۲۰۱۸ در نشریه جاما نشان داد که پژوهشگران ارزیابی‌کننده سیاست‌های بهداشت و سلامت، اغلب بر پایه عادت‌های رشته‌ای و نه استدلال علی، میان آنکوا و روش تفاضل در تفاضل دست به انتخاب می‌زنند.[7]

به عنوان نمونه، هنگام مقایسه گسترش بیمه مدیکید میان دو ایالت، وضعیت سلامت پایه در جوامع هرگز یکدست نیست. اتخاذ تصمیم مبنی بر تعدیل بر پایه این تفاوت یا بسنده کردن به اندازه تغییرات، می‌تواند موفقیت برنامه را کاملاً معکوس بازنمایی کند.[7]

درس ماندگار پارادوکس لرد این است که معادلات آماری هیچ شناختی از بستر پدیده‌ها ندارند. بدون داشتن یک مدل علی شفاف که منشأ شکل‌گیری ناترازی آغازین را نشان دهد، حتی پیشرفته‌ترین ریاضیات نیز تنها توهماتی بی‌عیب و نقص از نظر محاسباتی پدید می‌آورند.[4]