چگونه فرض SUTVA از نابودی استنتاج علی توسط تداخل شبکه‌ای در چارچوب پیامدهای بالقوه جلوگیری می‌کند

مدیران محصول و تحلیلگران داده تازه‌کار معمولاً ادعا می‌کنند که مقایسه مستقیم یک گروه تیمار (Treated) با یک گروه کنترل (Control)، تأثیر واقعی یک ویژگی جدید را می‌سنجد. با این حال، پایه و اساس ریاضی استنتاج علی ثابت می‌کند که اگر تیمار یک کاربر رفتار کاربر دیگری را تغییر دهد، این رویکرد استاندارد تست A/B کاملاً فرو می‌پاشد. وقتی یک اپلیکیشن تاکسی اینترنتی الگوریتم جدیدی را روی نیمی از رانندگان خود آزمایش می‌کند، رانندگان گروه تیمار سفرهایی را از چنگ گروه کنترل درمی‌آورند و خط پایه (Baseline) را نابود می‌کنند. شواهد نشان می‌دهد که بدون ایزوله‌سازی دقیق، تفاوت بین این دو گروه صرفاً هم‌خواری شبکه‌ای (Network Cannibalization) را اندازه می‌گیرد، نه اثر علی را.

این شکست از چیزی نشأت می‌گیرد که پل هالند (Paul Holland)، آماردان، در سال ۱۹۸۶ رسماً آن را «مسئله بنیادین استنتاج علی» نامید. همان‌طور که در فصلی از کتاب درسی IntechOpen در سال ۲۰۲۲ آمده است: «مسئله بنیادین استنتاج علی این است که مشاهده هم‌زمان هر دو پیامد بالقوه برای یک فرد غیرممکن است.» یک بیمار یا دارو را دریافت می‌کند یا نمی‌کند؛ یک کاربر یا رابط کاربری جدید را می‌بیند یا قدیمی را. ما هرگز نمی‌توانیم واکنش دقیق بیولوژیکی یا رفتاری آن‌ها را به سناریوی مخالف در همان لحظه اندازه بگیریم.[3]

برای عبور از این عدم امکان، آماردانان به چارچوب «پیامدهای بالقوه» (Potential Outcomes) تکیه می‌کنند که توسط دونالد روبین (Donald Rubin) در سال ۱۹۷۴ فرمول‌بندی شد. این چارچوب فرض می‌کند که هر واحد دو حالت نظری دارد: Y(1) در صورت قرار گرفتن در معرض تیمار، و Y(0) در غیر این صورت. اثر علی واقعی، صرفاً تفاوت بین این دو است. از آنجا که ما تنها می‌توانیم یک حالت را برای هر واحد مشاهده کنیم، داده‌های خلاف‌واقع (Counterfactual) گمشده را با میانگین‌گیری پیامدها در یک گروه کنترل تصادفی بزرگ تخمین می‌زنیم، با این فرض که گروه‌ها قبل از مداخله از نظر آماری کاملاً یکسان بوده‌اند.[1]

اما این ریاضیات میانگین‌گیری تنها در صورتی کار می‌کند که یک شرط حیاتی و اغلب نادیده‌گرفته‌شده برقرار باشد: «فرض ثبات ارزش تیمار واحد» یا SUTVA. این فرض که در سال ۱۹۸۰ توسط روبین نام‌گذاری شد، ستون باربر کل این چارچوب است. وبلاگ Social Science Statistics در سال ۲۰۰۶ نوشت که «SUTVA فرضی است که اغلب به صورت ضمنی در نظر گرفته می‌شود»، با این حال نقض آن سالانه میلیون‌ها دلار در تحقیقات شرکتی و پزشکی را با آلوده کردن گروه کنترل، در سکوت بی‌اعتبار می‌کند.[2]

فرض SUTVA نیازمند دو تضمین ریاضی مجزا است. اولین مورد «عدم تداخل» است. طبق برنامه درسی STA 640 دانشگاه دوک، این بدان معناست که «پیامدهای بالقوه هر واحد با تیمارهای اختصاص‌یافته به سایر واحدها تغییر نمی‌کند.» اگر تزریق واکسن به شخص الف، احتمال ابتلای شخص ب به ویروس را کاهش دهد، تیمار شخص الف پیامد بالقوه شخص ب را تغییر داده است. واحدها در حال تداخل با یکدیگر هستند و نرخ عفونت گروه کنترل دیگر نشان‌دهنده خط پایه واقعی بدون تیمار نیست.

در اپیدمیولوژی، این تداخل «ایمنی گله‌ای» نامیده می‌شود. در بخش فناوری، به آن «اثر شبکه‌ای» می‌گویند. اگر یک پلتفرم رسانه اجتماعی ویژگی جدید اشتراک‌گذاری را روی ۱۰,۰۰۰ کاربر آزمایش کند، آن کاربران ناگزیر محتوا را برای کاربران گروه کنترل ارسال خواهند کرد. گروه کنترل دیگر یک خط پایه خالص نیست؛ آن‌ها به طور غیرمستقیم توسط آزمایش تیمار شده‌اند. داده‌های به‌دست‌آمده به طور سیستماتیک اندازه اثر واقعی ویژگی را کمتر یا بیشتر از حد واقعی تخمین می‌زنند و مقدار p (p-value) را بی‌معنی می‌کنند.[1]

دومین تضمین مورد نیاز SUTVA این است که هیچ تنوع پنهانی در تیمار وجود نداشته باشد. اگر مطالعه‌ای تأثیر «جراحی» را بر درد مفاصل ارزیابی کند، اما برخی از بیماران یک روش کم‌تهاجمی دریافت کنند در حالی که دیگران جراحی باز شوند، تیمار یکنواخت نیست. فرض SUTVA ایجاب می‌کند که تیمار اعمال‌شده بر یک واحد از نظر ریاضی با تیمار اعمال‌شده بر واحد دیگر کاملاً یکسان باشد، تا اطمینان حاصل شود که Y(1) در کل مجموعه داده دقیقاً به یک معناست.[3]

وقتی محققان این شرط دوم را نادیده می‌گیرند، خطای اندازه‌گیری شدیدی را وارد می‌کنند. بررسی سال ۲۰۲۲ چارچوب‌های استنتاج علی منتشر شده در arXiv تأکید می‌کند که تعریف بیش از حد کلی تیمار، مکانیسم واقعی اثر را پنهان می‌کند. اگر دوز، روش تحویل یا زمان‌بندی متفاوت باشد، متغیر دیگر نشان‌دهنده یک پیامد واحد و پایدار نیست و میانگین اثر تیمار به یک معیار ترکیبی از مداخلات کاملاً متفاوت تبدیل می‌شود.[1]

صنعت فناوری در دهه گذشته زمان زیادی را صرف مهندسی راه‌حل‌هایی برای نقض SUTVA، به‌ویژه مشکل تداخل کرده است. از آنجا که تست‌های استاندارد A/B در بازارهای دوطرفه مانند اوبر (Uber) یا ایربی‌ان‌بی (Airbnb) با شکست مواجه می‌شوند، دانشمندان داده از «تصادفی‌سازی خوشه‌ای» (Cluster Randomization) استفاده می‌کنند. آن‌ها به جای تصادفی‌سازی کاربران فردی، کل شهرها یا بلوک‌های زمانی را تصادفی می‌کنند. با تیمار کردن کل شیکاگو و نگه داشتن کل بوستون به عنوان کنترل، آن‌ها تداخل را درون خوشه تیمارشده ایزوله کرده و یکپارچگی مقایسه را حفظ می‌کنند.[1]

رویکرد مدرن دیگر، طراحی آزمایش دوگانه (Bipartite) است که سمتی از بازار که تیمار می‌شود را از سمتی که اندازه‌گیری می‌شود جدا می‌کند. اگر آزمایشی نحوه مشاهده نتایج جستجو توسط خریداران را تغییر دهد، محققان تأثیر آن را بر فروشندگان اندازه‌گیری می‌کنند تا اطمینان حاصل کنند که تداخل خریداران با یکدیگر، معیارهای پیامد فروشندگان را آلوده نمی‌کند. این جداسازی ساختاری، SUTVA را به طور مصنوعی در محیط‌هایی که در غیر این صورت به طور طبیعی با شکست مواجه می‌شد، اعمال می‌کند.[1]

با وجود این راه‌حل‌ها، SUTVA همچنان یک فرض غیرقابل‌آزمون است. هیچ آزمون آماری نمی‌تواند پس از پایان آزمایش به طور قطعی ثابت کند که تداخل صفر بوده است. محققان باید برای توجیه این فرض پیش از شروع آزمایش، به دانش دامنه و مدل‌های علی ساختاری تکیه کنند. اگر مکانیسم فیزیکی یا اجتماعی اجازه سرریز (Spillover) را بدهد، ریاضیات چارچوب پیامدهای بالقوه نمی‌تواند به طور جادویی آن را از مجموعه داده پاک کند.[2]

مرزهای استنتاج علی اکنون بر محدود کردن خطا در زمانی که مشخص است SUTVA نقض شده، متمرکز است. آماردانان به جای کنار گذاشتن کامل چارچوب پیامدهای بالقوه، در حال توسعه مدل‌هایی هستند که اندازه دقیق سرریز شبکه‌ای را کمّی می‌کنند. با اندازه‌گیری میزان تداخل، محققان می‌توانند طیفی از اثرات علی محتمل را محاسبه کنند و در ازای صداقت ریاضی درباره محدودیت‌های داده‌هایشان، حاشیه خطای وسیع‌تری را بپذیرند.[1][4]