پرونده شواهد: دقت و محدودیت‌های تطبیق نمره گرایش در تحقیقات مشاهده‌ای

«اگر ویژگی‌های پایه را به اندازه کافی اندازه‌گیری کنید، می‌توانید آن‌ها را در یک نمره واحد فشرده کرده و یک کارآزمایی تصادفی‌سازی‌شده و کنترل‌شده را بی‌نقص شبیه‌سازی کنید.» این ادعا که از زمان معرفی توسط آمارگران، پل روزنبام (Paul Rosenbaum) و دونالد روبین (Donald Rubin) در سال ۱۹۸۳، به پایه و اساس تحقیقات مشاهده‌ای تبدیل شد، بیان می‌کند که «تعدیل بر اساس نمره گرایش اسکالر برای رفع سوگیری ناشی از تمام متغیرهای کمکی مشاهده‌شده کافی است» [۱].

پژوهشگران بر این باور بودند که با محاسبه احتمال شرطی دریافت درمان توسط یک سوژه بر اساس ویژگی‌های پس‌زمینه او، می‌توانند سوژه‌های درمان‌شده و درمان‌نشده را جفت کرده و سوگیری انتخاب را به طور کامل حذف کنند [۱].[1]

برای ۳۶ سال، این روش بر آمار کاربردی تسلط داشت. تا سال ۲۰۱۹، تطبیق نمره گرایش (PSM) در بیش از ۴۷,۳۰۰ مقاله علمی در حوزه‌های اقتصاد، اپیدمیولوژی، پزشکی و علوم سیاسی استفاده یا به آن ارجاع داده شده بود [۴].

همان‌طور که پیتر آستین (Peter Austin) در مرور متدولوژیک بسیار پرارجاع خود در سال ۲۰۱۱ توضیح داد، نمره گرایش به عنوان یک مکانیسم ایجاد تعادل عمل می‌کند: با شرطی کردن روی آن مقدار اسکالر واحد، فرض بر این است که توزیع متغیرهای کمکی پایه مشاهده‌شده بین گروه‌های درمان‌شده و درمان‌نشده مشابه است [۳]. این امر به مطالعات مشاهده‌ای اجازه می‌داد تا شرایط یک کارآزمایی تصادفی را شبیه‌سازی کنند و در مواقعی که انجام آزمایش‌های واقعی غیرممکن یا غیراخلاقی بود، تصمیمات کلان پزشکی و سیاستی را هدایت کنند [۲، ۳].[2][3][4]

اما اجماع ریاضیاتی درگیر یک نقطه کور عظیم بود. در سال ۲۰۱۹، روش‌شناسان علوم سیاسی، گری کینگ (Gary King) و ریچارد نیلسن (Richard Nielsen)، ردیه‌ای تاریخ‌ساز در نشریه Political Analysis منتشر کردند که نشان می‌داد این روش هنگام اعمال بر روی داده‌های دنیای واقعی، دارای ایرادی بنیادین است.

آن‌ها از طریق اثبات‌های دقیق ریاضی و مجموعه داده‌های شبیه‌سازی‌شده نشان دادند که PSM «اغلب دقیقاً برعکس هدف مورد نظر خود عمل می‌کند—و در نتیجه باعث افزایش عدم تعادل، ناکارآمدی، وابستگی به مدل و سوگیری می‌شود» [۴]. همان ابزاری که برای قابل‌اعتمادتر کردن داده‌های مشاهده‌ای طراحی شده بود، به طور فعال در حال تحریف نتایج هزاران مطالعه بود [۴، ۶].[4][6]

این شکست از چیزی نشأت می‌گیرد که کینگ و نیلسن آن را «پارادوکس PSM» نامیدند. زمانی که پژوهشگران از PSM استفاده می‌کنند، معمولاً مجموعه داده‌ها را هرس کرده و سوژه‌های کنترلی را که از نظر نمره گرایش تطابق نزدیکی با سوژه‌های درمان‌شده ندارند، کنار می‌گذارند [۴]. در ابتدا، این هرس کردن به حذف شدیدترین داده‌های پرت کمک می‌کند.

اما فراتر از یک آستانه مشخص، هرس کردن بدترین تطابق‌ها در واقع فاصله بین جفت‌های باقی‌مانده را در سراسر متغیرهای کمکی اولیه افزایش می‌دهد [۴، ۶]. به جای اینکه مقایسه دقیق‌تر شود، الگوریتم شروع به تطبیق سوژه‌هایی می‌کند که در واقعیت شباهت کمتری به یکدیگر دارند [۴].[4][6]

این پارادوکس به این دلیل رخ می‌دهد که PSM تلاش می‌کند یک آزمایش کاملاً تصادفی را تقریب بزند، نه یک آزمایش تصادفی کاملاً بلوک‌بندی‌شده را [۴]. در یک کارآزمایی کاملاً تصادفی با اندازه نمونه محدود، شانس تصادفی تضمین می‌کند که برخی از متغیرهای کمکی نامتعادل خواهند بود—درست همان‌طور که ۱۰ بار پرتاب سکه به ندرت دقیقاً پنج شیر به همراه دارد.

با فشرده‌سازی تمام متغیرها در یک بعد واحد، PSM از نظر ریاضی نسبت به آن عدم تعادل پنهان کور می‌شود و عملاً داده‌ها را به روش‌هایی بر هم می‌زند که دقیقاً همان سوگیری‌ای را که قرار بود از بین ببرد، دوباره وارد می‌کند [۴، ۶].[4][6]

دو بیمار می‌توانند به راحتی از طریق مسیرهای بالینی کاملاً متفاوت به نمره گرایش دقیقاً یکسان ۴۵ درصدی برسند. یکی ممکن است به دلیل سن بالا، فشار خون بالا و سابقه سیگار کشیدن نمره بالایی داشته باشد، در حالی که دیگری به دلیل درآمد پایین، موقعیت جغرافیایی و یک نشانگر ژنتیکی خاص به ۴۵ درصد برسد.

تطبیق آن‌ها صرفاً بر اساس نمره ۴۵ درصدی، عدم تعادل عظیم و چندبعدی در پروفایل‌های بالینی واقعی آن‌ها را نادیده می‌گیرد و سوژه‌هایی را جفت می‌کند که اساساً نباید در یک کارآزمایی پزشکی با هم مقایسه شوند [۴، ۶].[4][6]

علاوه بر این، رویه استاندارد به حداکثر رساندن قدرت پیش‌بینی مدل گرایش با گنجاندن تمام متغیرهای پیش از درمانِ در دسترس، خطرات ساختاری شدیدی را به همراه دارد.

در سال ۲۰۱۰، دانشمند علوم کامپیوتر جودیا پرل (Judea Pearl) نشان داد که شرطی کردن روی متغیرهای خاص—به‌ویژه متغیرهای ابزاری که بر انتخاب درمان تأثیر می‌گذارند اما هیچ تأثیر مستقیمی بر نتیجه ندارند—«تمایل دارد سوگیری مخدوش‌کننده را در تحلیل اثرات علی تشدید کند» [۵]. ریختن تمام متغیرها در مدل فقط نویز اضافه نمی‌کند؛ بلکه به طور فعال مخدوش‌کننده‌های مشاهده‌نشده را به سلاحی مخرب تبدیل می‌کند [۵، ۶].[5][6]

مدل‌های علی ساختاری پرل ثابت کردند که افزودن این متغیرهای تشدیدکننده سوگیری به مدل نمره گرایش می‌تواند سوگیری جدیدی را در جایی که قبلاً وجود نداشته است، ایجاد کند [۵].

این واقعیت ریاضی مستقیماً با توصیه‌های رایج در تحقیقات کاربردی در تضاد است، که اغلب پژوهشگران را تشویق می‌کند تا تمام متغیرهای کمکی موجود را در رگرسیون لجستیکِ مورد استفاده برای تولید نمره بگنجانند تا اطمینان حاصل شود هیچ چیزی از قلم نیفتاده است [۲، ۵]. پژوهشگران با تغذیه کورکورانه الگوریتم با داده‌های بیشتر، ناخواسته در حال تشدید همان اثرات انتخابی بودند که سعی در کنترل آن‌ها داشتند [۵، ۶].[2][5][6]

شواهد به سمت روش‌های تطبیق جایگزینی اشاره دارند که به کاهش ابعاد متکی نیستند. تکنیک‌هایی مانند تطبیق فاصله ماهالانوبیس (MDM) و تطبیق دقیق درشت‌نمایی‌شده (CEM) آزمایش‌های کاملاً بلوک‌بندی‌شده را تقریب می‌زنند و تضمین می‌کنند که جفت‌های تطبیق‌یافته در تمام ابعادِ اندازه‌گیری‌شده واقعاً مشابه هستند [۴].

برخلاف PSM، این روش‌ها با هرس شدن تطابق‌های دورتر، عدم تعادل را به صورت یکنواخت کاهش می‌دهند [۴، ۶]. اگر یک پژوهشگر بدترین تطابق را با استفاده از MDM حذف کند، از نظر ریاضی تضمین می‌شود که مجموعه داده‌های باقی‌مانده متعادل‌تر از قبل خواهد بود [۴].[4][6]

اتکا به PSM تأخیر خطرناکی را بین نظریه آماری مجانبی و تحقیقات کاربردی برجسته می‌کند. در حالی که اثبات‌های سال ۱۹۸۳ روزنبام و روبین در نمونه‌های بی‌نهایت که در آن‌ها تطبیق تصادفی بی‌ضرر است صادق است، اعمال آن‌ها بر روی مجموعه داده‌های محدود دقیقاً همان جریمه تطبیق تصادفی را فعال می‌کند که کینگ و نیلسن آن را افشا کردند [۱، ۴].

شواهد نشان می‌دهد که پژوهشگران باید توهم نمره واحد را کنار بگذارند و متغیرهای کمکی واقعی را مستقیماً متعادل کنند [۶]. ادامه استفاده از تطبیق نمره گرایش در تحقیقات مشاهده‌ای دیگر یک انتخاب متدولوژیک قابل دفاع نیست [۴، ۶].[1][4][6]