چرا جایگزینی با میانگین، واریانس داده‌ها را مخدوش می‌کند و چگونه معادلات زنجیره‌ای آن را حفظ می‌کنند؟

محدودیت الزام‌آور هر الگوریتم داده‌های گمشده، مکانیسم خودِ گمشده بودن است: مقدار مشاهده نشده نباید دلیل گمشده بودن داده باشد. آمارشناسان این شرط را «گمشده به صورت تصادفی» (MAR) می‌نامند. اگر یک بیمار در یک کارآزمایی بالینی نظرسنجی افسردگی را دقیقاً به این دلیل که افسردگی‌اش برای بلند شدن از رختخواب بسیار شدید است، کنار بگذارد، داده‌ها «گمشده نه به صورت تصادفی» (MNAR) هستند و هیچ الگوریتمی نمی‌تواند با اطمینان جای خالی را استنتاج کند. اما هنگامی که شرط MAR برقرار است—مثلاً یک حسگر به سادگی یک بسته داده را از دست می‌دهد، یا یک شرکت‌کننده به طور تصادفی از یک صفحه صرف نظر می‌کند—محققان با یک انتخاب ریاضی برای پر کردن شکاف‌ها روبرو هستند.[1][5]

از لحاظ تاریخی، پاسخ پیش‌فرض به یک خانه خالی، جایگزینی با میانگین بود: محاسبه میانگین داده‌های موجود برای آن متغیر و قرار دادن آن در جای خالی. نرم‌افزار Statistica اشاره می‌کند که اگرچه این رویکرد اندازه کلی نمونه را برای الگوریتم حفظ می‌کند، اما اساساً هندسه مجموعه داده را تغییر می‌دهد. از آنجا که مقادیر جایگزین شده دقیقاً روی میانگین قرار می‌گیرند، انحراف صفر از مرکز را به همراه دارند.

جریمه ریاضی جایگزینی با میانگین، اطمینان مصنوعی است. مشارکت‌کنندگان در Cross Validated خاطرنشان می‌کنند که این کار به طور مصنوعی واریانس متغیر را کاهش می‌دهد، تمام همبستگی‌ها را به سمت صفر می‌کشد و نویز طبیعی را که نشان‌دهنده عدم قطعیت دنیای واقعی است، از بین می‌برد. اگر ۲۰٪ (بیست درصد) از مقادیر یک مجموعه داده گمشده باشد، قرار دادن میانگین واریانس را دقیقاً ۲۰٪ کاهش می‌دهد و عملاً نرخ‌های مثبت کاذب متورم را در رگرسیون‌های بعدی تضمین می‌کند.[6]

انتساب چندگانه با معادلات زنجیره‌ای (MICE) این مشکل را با در نظر گرفتن گمشده بودن نه به عنوان یک جای خالی که باید با یک حدس واحد پر شود، بلکه به عنوان یک توزیع احتمالات حل می‌کند. همانطور که در مقاله‌ای در سال ۲۰۱۱ (سال دو هزار و یازده) در Journal of Statistical Software به تفصیل آمده است، الگوریتم MICE یک مدل پیش‌بینی مجزا برای هر متغیر ناقص مشخص می‌کند. به جای فرض یک مقدار واقعی واحد، عدم قطعیت ذاتی رکورد گمشده را تصدیق می‌کند.[2]

این الگوریتم از طریق یک فرآیند چرخه‌ای عمل می‌کند. International Journal of Methods in Psychiatric Research توضیح می‌دهد که MICE به صورت چرخشی در متغیرها حرکت می‌کند و از داده‌های مشاهده شده از بقیه مجموعه داده برای پیش‌بینی داده‌های گمشده برای یک ستون خاص در هر زمان استفاده می‌کند. این روش از یک توزیع پیش‌بینی‌کننده نمونه‌برداری می‌کند تا یک مقدار محتمل تولید کند و دقیقاً همان مقدار نویز آماری مورد نیاز برای حفظ واریانس اصلی را تزریق می‌کند.[1]

این فرآیند به جای تولید یک مجموعه داده وصله‌شده، چندین مجموعه داده تولید می‌کند. دانشکده بهداشت عمومی میل‌من دانشگاه کلمبیا (Columbia University Mailman School of Public Health) اشاره می‌کند که «انتساب چندگانه شامل پر کردن مقادیر گمشده به دفعات متعدد و ایجاد چندین مجموعه داده 'کامل' است.» معمولاً، محققان بین ۵ تا ۲۰ مجموعه داده متمایز تولید می‌کنند که هر کدام حاوی مقادیر انتسابی کمی متفاوت هستند که عدم قطعیت پیش‌بینی را منعکس می‌کند.[5]

هنگامی که مجموعه‌های داده تولید شدند، محقق تحلیل آماری مورد نظر خود—یک رگرسیون، یک ANOVA، یا یک مدل بقا—را به طور مستقل بر روی تک تک آنها اجرا می‌کند. سپس نتایج با استفاده از مجموعه‌ای از فرمول‌ها که به «قوانین روبین» (Rubin's Rules) معروف هستند، ادغام می‌شوند. این مرحله ادغام، خطای استاندارد را با ترکیب واریانس درون هر مجموعه داده با واریانس بین مجموعه‌های داده محاسبه می‌کند و به طور صریح عدم قطعیت ناشی از داده‌های گمشده را کمی‌سازی می‌کند.[3][5]

بسته نرم‌افزاری `mice` در شبکه جامع آرشیو R (CRAN) به ابزار محاسباتی استاندارد برای اجرای این گردش کار تبدیل شده است. این بسته به دانشمندان داده اجازه می‌دهد تا مدل‌های پیش‌بینی خاصی را به انواع داده‌های خاص نگاشت کنند: رگرسیون لجستیک برای متغیرهای باینری، تطبیق میانگین پیش‌بینی‌کننده برای متغیرهای پیوسته، و مدل‌های شانس متناسب برای دسته‌بندی‌های مرتب شده.[2][4]

این تکنیک بدون محدودیت‌های سختگیرانه نیست. راهنمای Bookdown در مورد تحلیل کاربردی داده‌های گمشده هشدار می‌دهد که MICE از نظر محاسباتی فشرده است و به تعریف مدل انتساب بسیار حساس است. اگر مدل پیش‌بینی‌کننده‌ای که برای تولید انتساب‌ها استفاده می‌شود، یک اثر تعاملی حیاتی را که در دنیای واقعی وجود دارد، حذف کند، برآوردهای ادغام شده نهایی می‌توانند سوگیرانه‌تر از حالتی باشند که محقق به سادگی ردیف‌های ناقص را به طور کامل حذف کرده بود.[3]

مرز بعدی در تحلیل داده‌های گمشده بر روی نقطه‌ای متمرکز است که در آن محدودیت الزام‌آور شکست می‌خورد. هنگامی که داده‌ها MNAR هستند، محققان نمی‌توانند تنها به معادلات زنجیره‌ای تکیه کنند. در عوض، آنها در حال توسعه تحلیل‌های حساسیت هستند تا آزمایش کنند که نتایج MICE چقدر قوی باقی می‌مانند، زمانی که فرض MAR به طور سیستماتیک نقض می‌شود، و نقطه دقیقی را ترسیم می‌کنند که در آن استنتاج آماری جای خود را به عدم قطعیت غیرقابل حل می‌دهد.[1][7]