چگونه پارامتر پراکندگی در رگرسیون دوجمله‌ای منفی، بیش‌پراکندگی داده‌های شمارشی را مهار می‌کند

لحظه‌ای که یک مدل آماری ماتریس واریانس را برای مجموعه‌ای از داده‌های شمارشی محاسبه می‌کند، همان لحظه‌ای است که اعتبار آن رقم می‌خورد. اگر مدل فرض کند که میانگین تعداد رویدادها با پراکندگی آن‌ها برابر است، در واقع یک سقف ریاضی غیرقابل‌انعطاف را بنا کرده است. وقتی داده‌های دنیای واقعی از این سقف عبور می‌کنند، مدل با کوچک کردن مصنوعی خطاهای استاندارد خود واکنش نشان می‌دهد و از دل آشفتگی‌های اندازه‌گیری‌نشده، قطعیتی دروغین می‌سازد.[1][2]

داده‌های شمارشی — مانند تعداد مراجعات به بیمارستان، کلیک‌های وب‌سایت یا تصادفات رانندگی — پایه و اساس پژوهش‌های تجربی هستند. ابزار پیش‌فرض برای تحلیل این اعداد صحیح، رگرسیون پواسون است. توزیع پواسون بر اساس یک قانون دقیق و ظریف عمل می‌کند: میانگین داده‌ها باید دقیقاً با واریانس آن‌ها برابر باشد. اگر یک بیمارستان به‌طور میانگین روزانه ۴.۰ پذیرش داشته باشد، واریانس این پذیرش‌ها نیز باید دقیقاً ۴.۰ باشد.[1][4]

داده‌های تجربی به‌ندرت از این قانون پیروی می‌کنند. در یک تحلیل در سال ۲۰۲۴ پیرامون بهره‌وری از خدمات درمانی، پژوهشگران دریافتند که در حالی که میانگین تعداد ویزیت‌های سالانه پزشک برای یک گروه خاص ۳.۲ بود، واریانس آن به ۱۴.۵ می‌رسید. این پدیده، جایی که واریانس به‌طور قابل‌توجهی از میانگین فراتر می‌رود، با عنوان بیش‌پراکندگی شناخته می‌شود. این وضعیت ناشی از ناهمگنی‌های مشاهده‌نشده است؛ متغیرهای پنهانی مانند استعداد ژنتیکی یا شیوع‌های محلی که باعث می‌شوند رویدادها به‌جای توزیع یکنواخت، به‌صورت خوشه‌ای رخ دهند.[2][3]

تحمیل مدل پواسون بر داده‌های دارای بیش‌پراکندگی، ضرایب برآوردشده را تغییر نمی‌دهد، اما خطاهای استاندارد را به‌شدت مخدوش می‌کند. از آنجا که مدل از پذیرش واریانس اضافی امتناع می‌ورزد، خطاهای استانداردی را محاسبه می‌کند که بسیار کوچک‌تر از حد واقعی هستند. گروه مشاوره آماری دانشگاه UCLA در مستندات فنی خود یادآور می‌شود: «زمانی که واریانس بزرگ‌تر از میانگین باشد، گفته می‌شود که داده‌ها دارای بیش‌پراکندگی هستند. در چنین مواردی، مدل دوجمله‌ای منفی اغلب انتخاب مناسب‌تری است.»[4]

پیامد نادیده گرفتن بیش‌پراکندگی، افزایش شدید خطاهای نوع اول یا همان مثبت‌های کاذب است. یک پژوهشگر ممکن است بازه اطمینان ۹۵ درصدی را محاسبه کند که شامل صفر نمی‌شود، یک داروی جدید را بسیار مؤثر اعلام کند و یافته‌های خود را منتشر سازد. اما در واقعیت، بازه اطمینان حقیقی بسیار گسترده‌تر است و اثر دارو از نظر آماری با صفر تفاوتی ندارد. مدل پواسون به‌سادگی این عدم قطعیت را پنهان کرده بود.[1][5]

رگرسیون دوجمله‌ای منفی این مشکل را با معرفی یک اهرم ریاضی قدرتمند حل می‌کند: پارامتر پراکندگی، که معمولاً با آلفا (α) یا k نشان داده می‌شود. این پارامتر، تابع واریانس را به‌طور بنیادین تغییر می‌دهد. به‌جای محدودیت پواسون که در آن واریانس = میانگین است، مدل دوجمله‌ای منفی تعریف می‌کند که واریانس = میانگین + α * (میانگین²).[1][4][6]

این رابطه درجه دوم به واریانس اجازه می‌دهد تا بسیار سریع‌تر از میانگین رشد کند. اگر α برابر با ۰ باشد، جمله دوم حذف شده و مدل به همان توزیع استاندارد پواسون بازمی‌گردد. اما با افزایش α، مدل بسط می‌یابد تا مقادیر افراطی و دم‌های سنگین که از ویژگی‌های بارز داده‌های شمارشی خوشه‌ای هستند را در خود جای دهد.[4][6]

تأثیر این پارامتر بر استنتاج آماری عمیق است. در یک محاسبه مجدد و تطبیقیِ خطاهای استاندارد با استفاده از یک مجموعه داده شبیه‌سازی‌شده شامل ۵۰۰۰ پرونده بیمار، خطای استاندارد پایه پواسون برای یک ضریب کلیدی جمعیت‌شناختی ۰.۰۴۲ بود. وقتی همان داده‌ها از طریق یک مدل دوجمله‌ای منفی با پارامتر پراکندگی برآوردشده ۱.۸ پردازش شدند، خطای استاندارد به ۰.۱۱۵ افزایش یافت.[3]

این افزایش ۲.۷ برابری در خطای استاندارد یک جریمه نیست؛ بلکه یک اصلاح است. این رقم نشان‌دهنده میزان دقیق عدم قطعیتی است که مدل پواسون به‌طور غیرمجاز دور انداخته بود. با گسترش بازه اطمینان به میزان نزدیک به ۳۰۰ درصد، پارامتر پراکندگی مانع از آن شد که یک متغیرِ فاقدِ معناداریِ آماری، به‌اشتباه به‌عنوان عامل اصلی پذیرش بیمارستان معرفی شود.[3][5]

برآورد پارامتر پراکندگی نیازمند پردازش‌های محاسباتی سنگین است. نرم‌افزارهای آماری مدرن از روش برآورد بیشینه درست‌نمایی (MLE) استفاده می‌کنند تا مقدار α را به‌گونه‌ای بیابند که داده‌های مشاهده‌شده بیشترین احتمال وقوع را داشته باشند. الگوریتم به‌طور مکرر مقادیر مختلف α را آزمایش کرده و در هر مرحله لگاریتم درست‌نمایی را محاسبه می‌کند تا در نهایت روی قله تابع درست‌نمایی همگرا شود.[1][6]

این فرآیند تکرارشونده به حجم نمونه بزرگ‌تری نیاز دارد. در حالی که یک مدل پواسون اغلب می‌تواند با کمتر از ۱۰۰ مشاهده روی یک برآورد پایدار همگرا شود، برآورد یک پارامتر پراکندگی قابل‌اعتماد معمولاً به چند صد نقطه داده نیاز دارد. اگر نمونه بیش از حد کوچک باشد، الگوریتم MLE ممکن است در همگرایی شکست بخورد، یا ممکن است برآوردی از α ارائه دهد که خود دارای بازه‌های اطمینان بسیار وسیعی باشد.[2][6]

پارامتر پراکندگی در مدیریت ناهمگنی‌های مشاهده‌نشده بسیار مؤثر است، اما درمان قطعی برای تمام ناهنجاری‌های داده‌های شمارشی نیست. به‌طور خاص، این پارامتر نمی‌تواند تورم صفر را به‌طور کامل اصلاح کند — مجموعه داده‌هایی که در آن‌ها تعداد صفرهای شمارش‌شده بسیار بیشتر از آن چیزی است که حتی یک توزیع دوجمله‌ای منفی پیش‌بینی می‌کند، مانند تعداد سیگارهای کشیده‌شده توسط جمعیتی که ۸۰ درصد آن‌ها غیرسیگاری هستند.[1][4]

هنگام مواجهه با صفرهای اضافی، آمارشناسان باید از یک مدل استاندارد دوجمله‌ای منفی به یک مدل دوجمله‌ای منفی متورم از صفر (ZINB) ارتقا یابند. مدل ZINB دو معادله را به‌طور همزمان اجرا می‌کند: یک رگرسیون لجستیک برای پیش‌بینی اینکه آیا یک مشاهده یک صفر ساختاری است یا خیر، و یک رگرسیون دوجمله‌ای منفی برای مدل‌سازی شمارش‌ها برای بقیه جمعیت.[1][2]

انتخاب بین این مدل‌ها توسط آزمون‌های فرض رسمی دیکته می‌شود. آزمون نسبت درست‌نمایی، لگاریتم درست‌نمایی مدل محدودشده پواسون را با مدل نامحدود دوجمله‌ای منفی مقایسه می‌کند. از آنجا که مدل پواسون در درون مدل دوجمله‌ای منفی آشیانه دارد (نشان‌دهنده حالت خاصی که در آن α = ۰ است)، یک آماره آزمونِ از نظر آماری معنادار، اثبات ریاضیاتی محکمی ارائه می‌دهد که وجود پارامتر پراکندگی ضروری است.[4][5]

انتخاب توزیع صحیح برای داده‌های شمارشی یک ترجیح سلیقه‌ای نیست؛ بلکه یک تصمیم ساختاری درباره میزان عدم قطعیتی است که پژوهشگر حاضر است بپذیرد. رگرسیون دوجمله‌ای منفی با کمّی‌سازی صریح پراکندگی داده‌ها از طریق پارامتر پراکندگی، تضمین می‌کند که معناداری آماری از طریق شواهد به دست می‌آید، نه اینکه توسط یک فرض محدودکننده ساخته شود.[3][4]