چگونه درست‌نمایی جریمه‌دار فرث نسبت‌های شانس بینهایت را در رگرسیون لجستیک مهار میکند
هنگامی که یک متغیر پیش‌بین پیامد دودویی را بدون خطا طبقه‌بندی میکند، رگرسیون لجستیک استاندارد واگرا شده و ضرایب بینهایت تولید میکند. بهره‌گیری از تابع درست‌نمایی جریمه‌دار این برآوردها را پایدار ساخته و امکان محاسبه نسبت‌های شانس متناهی را حتی در شرایط تفکیک کامل فراهم می‌آورد.
به قلم آرش رضایی
این خبر را به اشتراک بگذارید
به‌طور خلاصه
- تفکیک کامل با سوق دادن ضرایب به سمت بینهایت موجب شکست مدلهای رگرسیون لجستیک استاندارد میشود.
- درست‌نمایی جریمه‌دار فرث وزنی ریاضی را بر تابع اعمال میکند که به عنوان لنگر عمل کرده و نسبت‌های شانس متناهی می‌سازد.
- اگرچه این روش برآوردهای دقیقی از اندازه اثر به دست میدهد، می‌تواند در احتمالات پیشبینیشده رخدادهای نادر اریبی اندکی پدید آورد.
در سال ۲۰۰۲، دو آماردان به نام‌های گئورگ هاینزه و مایکل شِمپر مقاله‌ای منتشر کردند که شیوه مواجهه پژوهشگران حوزه پزشکی با رخدادهای نادر را دگرگون کرد. آن‌ها یک جریمه ریاضی نظری را به رگرسیون لجستیک اعمال نمودند و نقصی محاسباتی را برطرف ساختند که دهه‌ها گریبان‌گیر مطالعات با حجم نمونه اندک بود.[2]
پیش از این ابداع، پژوهشگرانی که کارآزمایی‌های بالینی را تحلیل می‌کردند پیوسته به سدی ریاضی برمی‌خوردند که تفکیک کامل خوانده میشود؛ پدیده‌ای که وقتی رخ میدهد که یک متغیر ویژه، مانند یک نشانگر ژنتیکی، زنده ماندن یا مرگ بیمار را بدون کمترین خطا پیشبینی کند.[9]
اگرچه پیشبینی بی‌نقص در محیط بالینی ایده‌آل به نظر می‌رسد، الگوریتم‌های آماری استاندارد را که برای سنجش اندازه اثر به کار می‌روند در عمل از کار می‌اندازد؛ زیرا مدل رگرسیون لجستیک استاندارد سعی در محاسبه نسبت شانس برای متغیر پیش‌بین دارد اما در این نقطه سازوکار محاسباتی فرو می‌ریزد.[8]
مدلهای مرسوم به برآورد بیشینهدرستنمایی متکی هستند تا ضرایبی را پیدا کنند که داده‌های مشاهده‌شده را به محتمل‌ترین شکل ممکن توضیح دهند. وقتی متغیری پیامدهای دودویی را کاملاً از هم تفکیک میکند، الگوریتم بهینه‌سازی در تلاش برای ترسیم یک منحنی احتمال کاملاً عمودی، ضریب را به سوی بینهایت سوق میدهد.[8]
با نزدیک شدن ضریب به بینهایت، خطای استاندارد نیز سر به فلک می‌کشد و خروجی آماری را بی‌اثر می‌سازد. نرم‌افزار معمولاً محاسبات را متوقف کرده، خطای عدم همگرایی میدهد و پژوهشگر را بدون هیچ نسبت شانس قابل‌اندازه‌گیری به حال خود رها میکند.[6]
فروپاشی برآورد بیشینهدرستنمایی
ریشه این ناکامی محاسباتی در هندسه تابع درست‌نمایی نهفته است. در یک مجموعه داده معمولی که پیامدها هم‌پوشانی دارند، تابع درست‌نمایی دارای قله‌ای مشخص است که به الگوریتم اجازه میدهد مقدار بهینه ضریب را بیابد.[1]
اما در شرایط تفکیک کامل، این قله هندسی یکباره ناپدید میشود. تابع درست‌نمایی به یک فلات مسطح و بی‌پایان تبدیل می‌گردد؛ به این معنی که با بزرگ‌تر شدن ضریب، احتمال رخداد داده‌های مشاهده‌شده همچنان اندکی افزایش می‌یابد.[8]
الگوریتم نیوتن-رافسون که بیشتر نرم‌افزارهای آماری برای پیمایش این گستره ریاضی به کار می‌برند، در این فلات مسطح به دام می‌افتد؛ گام‌های بزرگ‌تری به سمت بینهایت برمی‌دارد و در جستجوی قله‌ای می‌گردد که اساساً وجود خارجی ندارد.[6]
آلبرت و اندرسون در سال ۱۹۸۴ این مسئله را فرمول‌بندی کردند و آن را به دو دسته تفکیک کامل و شبه‌تفکیک کامل تقسیم نمودند. آن‌ها اثبات ریاضی ارائه دادند که تحت این شرایط ویژه، برآوردهای متناهی بیشینهدرستنمایی وجود ندارند.[8]
از نظر تاریخی، توصیه استاندارد به پژوهشگرانی که با تفکیک روبه‌رو می‌شدند حذف کامل متغیر مشکل‌ساز از مدل بود. این رویکرد دانشمندان را ناچار می‌کرد نیرومندترین نشانگرهای بالینی خود را تنها به این دلیل که نرم‌افزار قادر به پردازش همبستگی کامل نبود کنار بگذارند.[9]
معرفی جریمه پیشین جفریز
شالوده نظری راه‌حل نوین در سال ۱۹۹۳ فراهم شد، زمانی که دیوید فرث، آماردان برجسته، مقاله‌ای اثرگذار در مجله بایومتریکا به چاپ رساند. فرث به دنبال حل مسئله تفکیک نبود، بلکه می‌کوشید اریبی مجانبی مرتبه اول را در برآوردهای بیشینهدرستنمایی کاهش دهد.[1]
فرث پیشنهاد کرد که تابع درست‌نمایی استاندارد با ضرب شدن در یک جریمه ریاضی ویژه تعدیل شود. او از توزیع پیشین ناوردای جفریز که مفهومی برآمده از آمار بیزی است استفاده کرد تا منحنی درست‌نمایی را مهار کند.[1]
فرث در مقاله سال ۱۹۹۳ خود به ظرافت این روش اشاره کرد و نشان داد این سازوکار، اریبی موجود در محاسبات استاندارد بیشینهدرستنمایی را به‌طور ساختاریافته حذف میکند؛ زیرا این جمله جریمه همگام با ماتریس اطلاعات مدل تغییر مقیاس میدهد.[1]
با بهره‌گیری از دترمینان ماتریس اطلاعات فیشر، جریمه فرث تابع درست‌نمایی را دقیقاً در همان نقطه‌ای که خطاهای استاندارد سر به فلک می‌کشند جریمه میکند. این روند در فلات پیش‌تر مسطح درست‌نمایی، یک قله ساختگی و مصنوعی پدید می‌آورد.[1]
اگرچه فرث نشان داد این جریمه اریبی را در مدلهای خطی تعمیم‌یافته گوناگون کاهش میدهد، کاربرد مشخص آن در حل نسبت‌های شانس بینهایت در رگرسیون لجستیک برای ۹ سال دیگر عمدتاً در حد نظریه باقی ماند.[2]
مهار نسبت شانس بینهایت
مقاله سال ۲۰۰۲ هاینزه و شِمپر فاصله میان کاهش اریبی نظری و کاربرد عملی را از میان برداشت. آن‌ها دستاورد خود را «راه‌حلی برای مسئله تفکیک در رگرسیون لجستیک» نامیدند و اثبات کردند که این جریمه برآوردهای متناهی ضرایب را تضمین میکند.[2]
این جریمه همانند یک لنگر ریاضی عمل میکند، ضریب را از سقوط در بینهایت بازمی‌دارد و به الگوریتم اجازه میدهد روی یک عدد مشخص و قابل‌محاسبه همگرا شود. این پیشرفت سرانجام نسبت شانس متناهی را برای متغیرهایی با قدرت پیشبینی کامل ممکن ساخت.[2]
رویکرد درست‌نمایی جریمه‌دار علاوه بر پایدارسازی ضرایب، خطاهای استاندارد متناهی نیز تولید میکند. این امر به آماردانان اجازه میدهد فاصله‌های اطمینان و مقادیر پی معتبر را محاسبه کنند و تمامی ابزارهای استنباط آماری را به مدلی که دچار تفکیک شده بازگردانند.[5]
دانشگاه علوم پزشکی وین به پایگاه اصلی این روش‌شناسی تبدیل شد و پژوهشگران آن الگوریتم‌های لازم برای پیاده‌سازی تصحیح فرث را در جریان‌های کاری آماری توسعه دادند؛ رویکردی که سپس به مدلهای رگرسیون پواسون و کاکس نیز گسترش یافت.[5]
برای محاسبه فواصل اطمینان تحت جریمه فرث، پژوهشگران به جای فواصل والد معمول، به روش‌های درست‌نمایی نیم‌رخ جریمه‌دار اتکا می‌کنند؛ روشی که ویژگی نامتقارن منحنی احتمال جریمه‌شده را به درستی لحاظ میکند.[5]
استانداردسازی در نرم‌افزارهای آماری
این گشایش نظری به سرعت موجی از توسعه نرم‌افزاری به راه انداخت و راه‌حل را در اختیار پژوهشگران کاربردی گذاشت. در محیط نرم‌افزاری آر، بسته logistf روی شبکه جامع آرشیو آر بارگذاری شد تا این محاسبات را به انجام برساند.[4]
بسته logistf به طور پیش‌فرض کاهش اریبی فرث را اعمال میکند و به کاربران آر اجازه میدهد با یک دستور ساده از خطای عدم همگرایی عبور کنند. این بسته به‌طور خودکار فواصل اطمینان مبتنی بر درست‌نمایی نیم‌رخ جریمه‌دار را نیز محاسبه میکند.[4]
غول‌های نرم‌افزاری تجاری نیز همین مسیر را پیش گرفتند و این جریمه را در سیستم‌های سازمانی اصلی خود گنجاندند. موسسه سَس این پدیده را با عنوان «شکست‌های همگرایی در رگرسیون لجستیک» مستند کرد و گزینه FIRTH را به عنوان راه‌حل سازمانی قطعی ارائه نمود.[6]
در سال ۲۰۰۸، جامعه کاربران استیتا به ماژول firthlogit دسترسی پیدا کردند؛ برنامه‌ای ویژه که برای محاسبه کاهش اریبی در رگرسیون لجستیک طراحی شده بود و این روش را به دست اقتصاددانان و پژوهشگران علوم اجتماعی رساند.[7]
هرچند هر سه محیط نرم‌افزاری نسبت‌های شانس بینهایت را مهار می‌کنند، آستانه‌های پیش‌فرض همگرایی آن‌ها اندکی با هم تفاوت دارد. یک مجموعه داده در آر، سَس و استیتا ضرایب متناهی تولید میکند، اما ارقام اعشاری دقیق ممکن است بسته به الگوریتم‌های بهینه‌سازی متفاوت باشد.[4][6][7]
موازنه میان تخمین اثر و دقت پیشبینی
امروزه درست‌نمایی جریمه‌دار فرث استاندارد طلایی و پذیرفته‌شده برای مواجهه با تفکیک کامل در مطالعات مشاهده‌ای است. این روش در همه‌گیرشناسی، ژنتیک و علوم سیاسی هر زمان که رخدادهای نادر موجب تنک بودن دادهها شود به کار گرفته میشود.[9]
با این حال، پژوهشهای روش‌شناختی اخیر نکته ظریفی را درباره چگونگی تأثیر این جریمه بر مدل‌سازی پیشبینانه آشکار کرده‌اند؛ هرچند این شیوه برآوردهای دقیقی از اندازه اثر ارائه میدهد، محاسبات احتمال پایه را دستخوش تغییر میکند.[3]
یک تحلیل منتشرشده در سال ۲۰۲۱ در پلتفرم آرکایو نشان داد که رگرسیون لجستیک فرث هنگام بررسی رخدادهای بسیار نادر، می‌تواند در احتمالات پیشبینیشده اریبی ایجاد کند و این احتمالات را به سوی میانه بکشاند.[3]
این امر یک موازنه‌گری ساختاری پیش روی دانشمندان داده قرار میدهد؛ چنانچه هدف اصلی مدل، برآورد شدت و اندازه همبستگی باشد، جریمه فرث بهترین گزینه برای داده‌های دچار تفکیک است.[3]
اما در نقطه مقابل، اگر مدل درون سامانه‌های یادگیری ماشین برای پیشبینی احتمال دقیق یک رخداد آینده به کار گرفته شود، احتمالات جریمه‌شده ممکن است نیازمند کالیبراسیون ثانویه باشند تا تورم ساختگی ناشی از پیشین جفریز جبران شود.[3]
این تحلیل چگونه انجام شد
- روش
- ترکیبی تطبیقی از جدول‌های زمانی پیاده‌سازی نرم‌افزاری و بررسی مهار همگرایی، برای ردیابی نحوه تبدیل این جریمه ریاضی به کد اجرایی در محیط‌های آماری گوناگون.
- یافته
- انتقال جریمه نظری سال ۱۹۹۳ فرث به پژوهشهای کاربردی نزدیک به یک دهه با تأخیر روبه‌رو شد تا اینکه مقاله سال ۲۰۰۲ هاینزه و شِمپر منتشر گردید؛ رخدادی که زمینه پذیرش سریع و هم‌زمان در نرم‌افزارهای آر، سَس و استیتا را بین سال‌های ۲۰۰۳ تا ۲۰۰۸ رقم زد و راه‌حل استانداردی برای پژوهشگران بالینی ایجاد کرد.
- داده‌هایی که بر پایهٔ آن‌ها کار کردیم
- انتشار و مستندات بسته logistf در زبان آر: CRAN package logistf — The Comprehensive R Archive Network
- مستندات شکست همگرایی در سَس: PROC LOGISTIC FIRTH option — SAS Institute
- گاه‌شمار انتشار ماژول در استیتا: firthlogit module (2008) — IDEAS
- محدودیت‌های این تحلیل
- این تحلیل به تاریخ‌های انتشار عمومی بسته‌های نرم‌افزاری و مستندات آن‌ها متکی است و ممکن است پیاده‌سازی‌های اختصاصی یا اولیه‌ای را که گروه‌های مشاوره آماری پیش‌تر به شکل داخلی به کار می‌بردند شامل نشود.
اصطلاحات کلیدی
- تفکیک کامل (Complete Separation)
- وضعیتی در رگرسیون لجستیک که در آن یک متغیر پیش‌بین تمام پیامدها را به صورت کاملاً بی‌نقص در دسته‌های دودویی طبقه‌بندی میکند.
- برآورد بیشینهدرستنمایی (Maximum Likelihood Estimation)
- روش آماری استانداردی که مقادیری از ضرایب را جستجو میکند که وقوع داده‌های مشاهده‌شده را محتمل‌ترین سازد.
- نسبت شانس (Odds Ratio)
- شاخصی برای سنجش پیوند میان یک متغیر و یک پیامد، که نسبت شانس رخ دادن پیامد را در حضور آن متغیر نشان میدهد.
- توزیع پیشین ناوردای جفریز (Jeffreys Invariant Prior)
- جریمه ریاضی ویژه‌ای که به تابع درست‌نمایی اعمال میشود و فارغ از نحوه بازپارامتری‌سازی مدل، شکل ساختاری آن دست‌نخورده باقی می‌ماند.
- درست‌نمایی جریمه‌دار (Penalized Likelihood)
- رویکرد برآوردی تعدیل‌شده که جمله‌ای تنبیهی را به تابع درست‌نمایی می‌افزاید تا از میل کردن ضرایب به سمت بینهایت جلوگیری کند.
پرسش‌های متداول
چرا تفکیک کامل باعث شکست رگرسیون لجستیک استاندارد میشود؟
رگرسیون لجستیک استاندارد بر بیشینهدرستنمایی متکی است که میکوشد احتمال وقوع دادهها را به بیشترین حد برساند. هنگامی که یک متغیر پیامدها را کاملاً از هم جدا میکند، الگوریتم ضریب را به سمت بینهایت میبرد تا یک منحنی احتمال کاملاً عمودی بسازد که در نتیجه باعث خطای عدم همگرایی مدل میشود.
آیا جریمه فرث در شرایطی که تفکیک وجود ندارد نیز نتایج را تغییر میدهد؟
بله، اما اثر آن در مجموعههای داده بزرگ ناچیز است. این جریمه به طور کلی اریبی نمونههای کوچک را کاهش میدهد و حتی زمانی که مدل استاندارد با موفقیت همگرا میشود، ضرایب را اندکی به سمت صفر تعدیل میکند.
آیا روش فرث برای مدلهای پیشبینانه یادگیری ماشین قابل استفاده است؟
اگرچه این روش ضرایب را پایدار میکند، پژوهشهای جدید نشان دادهاند که جریمه فرث ممکن است احتمالات پیشبینیشده مطلق را در رخدادهای نادر دستخوش اریبی سازد. بنابراین اگر هدف پیشبینی دقیق احتمالات باشد، مدلسازان اغلب باید تصحیح ثانویه انجام دهند.
بررسی عمیق دیدگاه‌ها
روش‌شناسان آمار
بر ظرافت ریاضی توزیع پیشین جفریز و حذف اریبی مجانبی تمرکز دارند.
برای آماردانان نظری، مقاله سال ۱۹۹۳ فرث بیش از آنکه به دلیل کاربرد در کارآزمایی‌های بالینی مطرح باشد، به دلیل رویکرد اصیلش در کاهش اریبی ستوده میشود. با گنجاندن پیشین ناوردای جفریز در تابع درست‌نمایی، این شیوه اریبی O(n^-1) را که در محاسبات معمول بیشینهدرستنمایی وجود دارد حذف میکند. این پاکیزگی ریاضی تضمین میکند که برآوردگر تحت بازپارامتری‌سازی ناوردا بماند؛ ویژگی بنیادینی که استواری نظری مدل را اثبات میکند.
پژوهشگران بالینی
نجات مطالعات پزشکی با حجم نمونه کم و امکان گزارش نسبت‌های شانس متناهی را ستایش می‌کنند.
پژوهشگران کاربردی در اپیدمیولوژی و پزشکی، جریمه فرث را ابزاری حیاتی برای بازیافت داده‌های اندک می‌دانند. پیش از سال ۲۰۰۲، اگر یک نشانگر ژنتیکی یک بیماری را کاملاً پیشبینی می‌کرد، متغیر اغلب به دلیل خطای همگرایی باید از مدل حذف می‌شد. درست‌نمایی جریمه‌دار به این محققان اجازه میدهد قوی‌ترین متغیرهای خود را نگه دارند و در کنار فواصل اطمینان درست‌نمایی نیم‌رخ، نسبت‌های شانس معتبر و متناهی گزارش کنند.
مدلسازان پیش‌بین
بر تضاد میان تخمین دقیق ضریب و خطای احتمالات پیشبینیشده تأکید دارند.
دانشمندان داده در خطوط لوله پیشبینی یادآور می‌شوند که روش فرث درمان بی‌نقص همه دردها نیست. اگرچه این جریمه نسبت‌های شانس بینهایت را مهار میکند، احتمالات پیشبینیشده برای رخدادهای بسیار نادر را به سمت مرکز سوق میدهد. مدلسازان معتقدند اگر هدف خروجی نهایی یک امتیاز احتمال دقیق باشد و نه برآورد اثر، جریمه فرث نیازمند کالیبراسیون ثانویه است تا از بیش‌برآوردی سازمان‌یافته رخدادهای نادر جلوگیری شود.
- روش‌شناسان آمار
- بر ظرافت ریاضی توزیع پیشین جفریز و حذف اریبی مجانبی مرتبه اول در برآوردهای بیشینهدرستنمایی متمرکز هستند.
- پژوهشگران بالینی
- نجات عملی مطالعات پزشکی با نمونههای کوچک را ارج می‌نهند که امکان گزارش نسبت‌های شانس متناهی را به جای دور انداختن متغیرها فراهم میکند.
- توسعه‌دهندگان نرم‌افزار
- همگرایی پایدار الگوریتم و پیاده‌سازی استاندارد روش را در محیط‌های محاسباتی سازمانی مختلف در اولویت قرار می‌دهند.
دیدگاه‌هایی که این گزارش پوشش نداده
- مهندسان یادگیری ماشین
منابع
پوشش منابع
10 منبع
3 دیدگاه شناسایی‌شده
- [1]Biometrikaروش‌شناسان آمار
Bias reduction of maximum likelihood estimates
مطالعه در Biometrika → - [2]PubMedپژوهشگران بالینی
A solution to the problem of separation in logistic regression
مطالعه در PubMed → - [3]arXivروش‌شناسان آمار
Firth's logistic regression with rare events: accurate effect estimates AND predictions?
مطالعه در arXiv → - [4]The Comprehensive R Archive Networkتوسعه‌دهندگان نرم‌افزار
logistf: Firth's Bias-Reduced Logistic Regression
مطالعه در The Comprehensive R Archive Network → - [5]Medical University of Viennaپژوهشگران بالینی
Firth correction for logistic, Poisson and Cox regression
مطالعه در Medical University of Vienna → - [6]SAS Instituteتوسعه‌دهندگان نرم‌افزار
Convergence Failures in Logistic Regression
مطالعه در SAS Institute → - [7]IDEASتوسعه‌دهندگان نرم‌افزار
FIRTHLOGIT: Stata module to calculate bias reduction in logistic regression
مطالعه در IDEAS → - [8]Biometrikaروش‌شناسان آمار
On the existence of maximum likelihood estimates in logistic regression models
مطالعه در Biometrika → - [9]PubMedپژوهشگران بالینی
Separation in Logistic Regression: Causes, Consequences, and Control
مطالعه در PubMed → - [10]تیم سردبیری کوهستان
تحلیل تیم سردبیری کوهستان
مطالعه در تیم سردبیری کوهستان →
بیشتر در تحلیل داده
مشاهده همه →بهداشت جهانی
پیشبینی میشود کاهش کمک‌های جهانی تا سال ۲۰۳۰ منجر به مرگ ۲۲ میلیون نفر شود
5 منبع
ریاضیات رگرسیون
پنج فرضی که تضمین می‌کنند حداقل مربعات معمولی بهترین برآوردگر خطی نااریب است
5 منبع
ارزیابی مدل
چگونه اعتبارسنجی متقاطع K-Fold سوگیری و واریانس را برای تخمین خطای تعمیم مدل متعادل میکند
6 منبع
بازدهی کشاورزی
داده‌های کشاورزی ارگانیک در برابر سنتی: چرا اثرات زیست‌محیطی به نحوه اندازه‌گیری شما بستگی دارد
5 منبع
نظرات
هر زاویه. هر روز.
اخبار تحلیل داده با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.