مکانیک رگرسیون چندسطحی و پساطبقه‌بندی: چگونه نظرسنج‌ها بدون نمونه‌های نماینده، انتخابات را پیش‌بینی می‌کنند

نظرسنجی احتمالی سنتی با یک بحران وجودی روبرو است. از آنجایی که نرخ پاسخگویی برای شماره‌گیری تصادفی تلفنی به زیر ۱٪ سقوط کرده است، اساس ریاضی تحقیقات نظرسنجی – این ایده که هر شهروندی شانس برابری برای تماس دارد – عملاً فروپاشیده است.

با این حال، با وجود اتکا به پنل‌های اینترنتی داوطلبانه و بسیار غیرنماینده، نظرسنج‌های مدرن به نحوی در حال تولید پیش‌بینی‌های بسیار دقیق و جزئی برای انتخابات ملی و سیاست‌های زیرملی هستند. این تضاد بین کاهش کیفیت داده‌ها و بهبود دقت پیش‌بینی، یکی از مهم‌ترین پارادوکس‌های آمار مدرن را نشان می‌دهد.[6]

راه حل این پارادوکس در یک تغییر اساسی در نحوه پردازش داده‌های نظرسنجی نهفته است. صنعت نظرسنجی بی‌سروصدا از پارادایم «جمع‌آوری داده» به پارادایم «مدل‌سازی داده» منتقل شده است. موتور محرک این تحول، یک تکنیک آماری به نام رگرسیون چندسطحی و پساطبقه‌بندی (MRP) است که به محققان اجازه می‌دهد یک نمونه سوگیرانه از کاربران اینترنت را گرفته و آن را به صورت ریاضی بر روی ساختار جمعیتی واقعی یک کشور فرافکنی کنند.[1][2]

MRP فرض نمونه نماینده بودن را کنار می‌گذارد و در عوض، تحلیل نظرسنجی را به عنوان یک مشکل «داده‌های گمشده» در نظر می‌گیرد. به جای صرفاً شمارش پاسخ‌های خام یک نظرسنجی و اختصاص وزن‌های ثابت، MRP از داده‌های نظرسنجی برای آموزش یک مدل یادگیری ماشینی پیش‌بینی‌کننده استفاده می‌کند. هدف اندازه‌گیری خود نمونه نیست، بلکه کشف روابط ریاضی زمینه‌ای بین ویژگی‌های جمعیتی و افکار عمومی است.[2]

مرحله اول این فرآیند، رگرسیون چندسطحی است. الگوریتم جمعیت هدف را به هزاران «سلول» ریزجمعیتی بسیار خاص تقسیم می‌کند؛ به عنوان مثال، زنان اسپانیایی‌تبار ۱۸ تا ۲۴ ساله دارای مدرک دانشگاهی که در یک حوزه کنگره‌ای خاص زندگی می‌کنند. از آنجایی که اکثر نظرسنجی‌های داوطلبانه حتی یک پاسخ‌دهنده مطابق با این مشخصات دقیق نخواهند داشت، یک نظرسنجی سنتی در جدول متقاطع خود یک نقطه خالی خواهد داشت.[1][2]

برای پر کردن این نقاط خالی، مدل از «استخرسازی جزئی» بیزی استفاده می‌کند. اگر الگوریتم نیاز به پیش‌بینی نظر یک سلول خاص داشته باشد اما داده مستقیمی در اختیار نداشته باشد، قدرت آماری را از گروه‌های مجاور قرض می‌گیرد. این مدل به نظرات پایه تمام زنان اسپانیایی‌تبار، تمام جوانان، و تمام ساکنان آن حوزه نگاه می‌کند و آن روندهای گسترده‌تر را در هم می‌آمیزد تا یک حدس بسیار آگاهانه و از نظر ریاضی محدود شده برای سلول خالی سنتز کند.[1][2]

مرحله دوم، پساطبقه‌بندی (Poststratification)، این پیش‌بینی‌های الگوریتمی را به واقعیت جمعیتی متصل می‌کند. هنگامی که مدل رگرسیون نظر احتمالی هر سلول کوچک را تخمین زد، این تخمین‌ها در تعداد واقعی افراد آن سلول ضرب می‌شوند، که این تعداد توسط یک سرشماری ملی با کیفیت بالا یا نظرسنجی جامعه ثبت شده است.[1][2]

با وزن‌دهی نظرات سنتز شده در برابر شمارش جمعیت واقعی، MRP عملاً یک نمونه اینترنتی سوگیرانه و غیرنماینده را بر روی داربست جمعیتی واقعی کشور فرافکنی می‌کند. این امر به محققان اجازه می‌دهد تا تخمین‌های قابل اعتمادی برای مناطق جغرافیایی کوچک یا گروه‌های اقلیت خاص تولید کنند که اندازه‌گیری آن‌ها با استفاده از تکنیک‌های وزن‌دهی نظرسنجی سنتی از نظر ریاضی غیرممکن بود.[4][5]

شواهد تجربی نشان می‌دهد که MRP به طور قابل توجهی بهتر از روش‌های وزن‌دهی سنتی عمل می‌کند، به ویژه برای زیرگروه‌های کوچک. در یک آزمایش جامع که MRP را با «Raking» (روش استاندارد صنعت برای تنظیم وزن‌های نظرسنجی برای مطابقت با حاشیه‌های جمعیت) مقایسه کرد، محققان دریافتند که در حالی که هر دو روش دقت مشابهی در سطح ملی داشتند، MRP در حاشیه‌ها برتری داشت.[3]

به عنوان مثال، هنگام تخمین رفتار رأی‌دهی بزرگسالان اسپانیایی‌تبار، مدل MRP به طور اضافی ۱۲ واحد درصد سوگیری را در مقایسه با روش سنتی Raking حذف کرد. از آنجایی که Raking متکی بر اختصاص یک وزن ثابت و واحد به هر پاسخ‌دهنده است، در اصلاح عدم تعادل‌های شدید در زیرجمعیت‌های کوچک بدون افزایش مصنوعی حاشیه خطا، دچار مشکل می‌شود. رگرسیون سلول به سلول MRP با مدل‌سازی مستقیم نتیجه، این محدودیت را به طور کامل دور می‌زند.[3]

مقیاس مدل‌های مدرن MRP نیازمند ورودی‌های داده‌ای عظیمی است که اساساً اقتصاد نظرسنجی را تغییر می‌دهد. در حالی که یک نظرسنجی تلفنی ملی سنتی ممکن است از ۱۰۰۰ نفر نظرسنجی کند، مدل‌های تجاری MRP اغلب بین ۴۰,۰۰۰ تا ۱۰۰,۰۰۰ پاسخ داوطلبانه را جذب می‌کنند. این حجم عظیم نه برای دقت ملی، بلکه برای فراهم کردن نقاط داده متنوع کافی برای مدل رگرسیون ضروری است تا بتواند تعاملات پیچیده بین ویژگی‌های جمعیتی مختلف را به دقت ترسیم کند.[6]

با وجود ظرافت ریاضی، شواهد پشتیبان MRP با محدودیت‌های سختی همراه است. دقت این تکنیک کاملاً به متغیرهای انتخاب شده توسط مدل‌ساز بستگی دارد. اگر یک متغیر پنهان – مانند «اعتماد نهادی» یا «مشارکت سیاسی» – هم احتمال شرکت یک فرد در نظرسنجی آنلاین و هم احتمال رأی دادن او به روشی خاص را هدایت کند، و آن متغیر از مدل رگرسیون حذف شود، تخمین‌های حاصله با اطمینان اشتباه خواهند بود.[3][6]

علاوه بر این، MRP بر این فرض اصلی متکی است که روابط مشاهده شده در نمونه در کل جمعیت نیز صادق است. اگر تعداد انگشت‌شماری از زنان اسپانیایی‌تبار ۱۸ تا ۲۴ ساله که داوطلب شرکت در پنل اینترنتی می‌شوند، از نظر رفتار سیاسی اساساً با کسانی که شرکت نمی‌کنند متفاوت باشند، استخرسازی جزئی بیزی آن سوگیری مشاهده نشده را در کل جدول پساطبقه‌بندی منتشر خواهد کرد.[3][6]

در نهایت، MRP نشان‌دهنده یک تکامل عمیق در علم آمار است. با سنتز یادگیری ماشینی با واقعیت جمعیتی، این روش تحقیقات افکار عمومی را از فروپاشی نظرسنجی تلفنی نجات داده است و ثابت می‌کند که با قدرت محاسباتی کافی و مدل‌سازی دقیق، حتی داده‌های دارای نقص عمیق نیز می‌توانند تصویری بسیار دقیق از بدنه رأی‌دهندگان ارائه دهند.[1][2][6]