چگونه روش بوت‌استرپ با استفاده از بازنمونه‌گیری، توزیع نمونه‌برداری هر آماره‌ای را تخمین می‌زند

تصور کنید برای آزمایش یک داروی جدید، ۱۰۰۰ نمونه مختلف ۵۰ نفره از بیماران یک جامعه آماری استخراج کنید؛ فرآیندی که به ۵۰,۰۰۰ کارآزمایی بالینی مجزا و دهه‌ها بودجه نیاز دارد. روش بوت‌استرپ (Bootstrap) معادل ریاضی این ۵۰,۰۰۰ کارآزمایی را تنها با استفاده از همان ۵۰ بیمار اولیه به دست می‌آورد. با برنامه‌نویسی یک کامپیوتر برای استخراج مکرر از داده‌های موجود همراه با جایگذاری، آمارشناسان می‌توانند فرآیند جمع‌آوری نمونه‌های جدید را شبیه‌سازی کنند. این تکنیک محاسباتی مبتنی بر توان پردازشی خام، توزیع نمونه‌برداری تقریباً هر آماره‌ای را تخمین می‌زند و نیاز به معادلات نظری را دور می‌زند.[3]

مکانیسم این روش بر مفهومی به نام «بازنمونه‌گیری با جایگذاری» (resampling with replacement) استوار است. اگر پژوهشگری مجموعه داده‌ای شامل ۱۰۰ مشاهده داشته باشد، یک نمونه بوت‌استرپ با انتخاب تصادفی یک مشاهده از آن ۱۰۰ مورد، ثبت آن و سپس بازگرداندن آن به مجموعه ایجاد می‌شود. این کار ۱۰۰ بار تکرار می‌شود تا مجموعه داده جدیدی دقیقاً با همان اندازه ساخته شود. از آنجا که این انتخاب تصادفی و با جایگذاری است، برخی از نقاط داده اولیه چندین بار در نمونه جدید ظاهر می‌شوند، در حالی که برخی دیگر کاملاً کنار گذاشته می‌شوند. به طور متوسط، یک نمونه بوت‌استرپ استاندارد دقیقاً حاوی ۶۳.۲ درصد از مشاهدات منحصربه‌فرد مجموعه داده اصلی است.[5]

با تولید هزاران مورد از این نمونه‌های بوت‌استرپ و محاسبه معیار مورد نظر — مانند میانگین، میانه یا ضریب همبستگی — برای هر یک از آن‌ها، پژوهشگر یک توزیع تجربی می‌سازد. گستردگی این توزیع، خطای استاندارد آن آماره را آشکار می‌کند. بر اساس مستندات فنی نرم‌افزار مینی‌تب (Minitab)، «بوت‌استرپ یک رویکرد ناپارامتریک برای استنتاج آماری است که خطاهای استاندارد و فواصل اطمینان را برای برآوردگرهای پیچیده در اختیار ما قرار می‌دهد.»[5]

بردلی افرون (Bradley Efron)، آمارشناس دانشگاه استنفورد، این روش را در مقاله‌ای در سال ۱۹۷۹ که در نشریه The Annals of Statistics منتشر شد، معرفی کرد. در آن زمان، آمار کلاسیک به شدت بر این فرض استوار بود که داده‌ها از یک منحنی زنگوله‌ای و نرمال پیروی می‌کنند. اگر داده‌ها این فرض را نقض می‌کردند، فرمول‌های ریاضی مورد استفاده برای محاسبه حاشیه خطا از کار می‌افتادند. افرون پیشنهاد کرد که از خود داده‌ها برای نقشه‌برداری عدم قطعیت استفاده شود و با بهره‌گیری از قدرت پردازشی رو به رشد کامپیوترها، شبیه‌سازی را جایگزین محاسبات پیچیده ریاضی کرد.[1]

نشریه افرون در سال ۱۹۷۹ به صراحت بوت‌استرپ را به عنوان تکاملی از یک تکنیک قدیمی‌تر به نام جک‌نایف (jackknife) معرفی کرد؛ روشی که توسط موریس کوینوی (Maurice Quenouille) در سال ۱۹۴۹ توسعه یافت و توسط جان توکی (John Tukey) در سال ۱۹۵۸ بسط داده شد. روش جک‌نایف واریانس را با کنار گذاشتن سیستماتیک یک مشاهده در هر بار و محاسبه مجدد آماره تخمین می‌زند. اگرچه جک‌نایف از نظر محاسباتی سبک‌تر است، اما در مواجهه با آماره‌های غیرهموار مانند میانه دچار مشکل می‌شود. بوت‌استرپ این مشکل را با استفاده از بازنمونه‌گیری تصادفی به جای حذف سیستماتیک حل کرد.[1]

در یک مقاله مروری بعدی در سال ۱۹۸۶ در نشریه Statistical Science، افرون و رابرت تیبشیرانی (Robert Tibshirani) نشان دادند که بوت‌استرپ می‌تواند در طیف وسیعی از مسائلی که فرمول‌های سنتی در آن‌ها شکست می‌خورند، به کار رود. آن‌ها خاطرنشان کردند که برای تخمین خطای استاندارد، تنها ۵۰ تا ۲۰۰ تکرار بوت‌استرپ اغلب کافی است. با این حال، برای ساخت فواصل اطمینان ۹۵ درصدی با دقت بالا، آن‌ها حداقل ۱۰۰۰ تکرار را توصیه کردند.[2]

نیازهای محاسباتی ۱۰۰۰ تکرار در سال ۱۹۸۶ قابل توجه بود، اما سخت‌افزارهای مدرن آن‌ها را در کسری از ثانیه اجرا می‌کنند. امروزه، پژوهشگران به طور معمول ۱۰,۰۰۰ یا بیشتر نمونه بوت‌استرپ تولید می‌کنند تا از پایداری دنباله‌های توزیع اطمینان حاصل کنند. مقاله‌ای در سال ۲۰۱۵ در نشریه eLife تأکید می‌کند که بوت‌استرپ به پژوهشگران اجازه می‌دهد تا عدم قطعیت تخمین‌های نمونه را بدون در نظر گرفتن مفروضات پارامتریک درباره جامعه آماری ارزیابی کنند؛ ویژگی مهمی که به ویژه در علوم زیستی که اندازه نمونه‌ها اغلب کوچک و توزیع‌ها چوله هستند، بسیار ارزشمند است.[3]

دقت این روش به این فرض بستگی دارد که نمونه اولیه نماینده خوبی از جامعه آماری گسترده‌تر باشد. بوت‌استرپ نمی‌تواند اطلاعات جدیدی تولید کند؛ بلکه تنها می‌تواند اطلاعاتی را که از قبل در نمونه وجود دارد کمّی‌سازی کند. اگر مجموعه داده اولیه شامل ۵۰ بیمار اساساً سوگیری داشته باشد، بازنمونه‌گیری آن برای ۱۰,۰۰۰ بار تنها یک تخمین بسیار دقیق از همان نتیجه سوگیرانه تولید خواهد کرد.[3]

نسخه‌های مختلفی از بوت‌استرپ برای مدیریت ساختارهای داده‌ای خاص توسعه یافته‌اند. یک مرور کلی در سال ۲۰۱۵ در نشریه Journal of Modern Applied Statistical Methods جزئیات چندین مورد از این اقتباس‌ها را شرح می‌دهد. به عنوان مثال، بوت‌استرپ ناپارامتریک استاندارد فرض می‌کند که نقاط داده مستقل و دارای توزیع یکسان هستند. هنگام کار با داده‌های سری زمانی، جایی که ارزش امروز به دیروز بستگی دارد، رویکرد استاندارد ساختار زمانی را از بین می‌برد.[4]

برای حل این مشکل، آمارشناسان از بوت‌استرپ بلوکی (block bootstrap) استفاده می‌کنند. به جای بازنمونه‌گیری نقاط داده فردی، بوت‌استرپ بلوکی بلوک‌های پیوسته از زمان — مانند پنجره‌های متحرک سه‌ماهه — را بازنمونه‌گیری می‌کند. این کار خودهمبستگی درون هر بلوک را حفظ می‌کند و در عین حال اجازه می‌دهد کل مجموعه داده تصادفی شود. به طور مشابه، بوت‌استرپ پارامتریک ابتدا یک مدل ریاضی را روی داده‌ها برازش می‌دهد و سپس به جای نقاط داده خام، نمونه‌های شبیه‌سازی‌شده را از آن مدل برازش‌شده استخراج می‌کند.[4]

یکی از حیاتی‌ترین کاربردهای بوت‌استرپ، ساخت فواصل اطمینان است. ساده‌ترین رویکرد، یعنی روش صدک (percentile method)، تخمین‌های بوت‌استرپ را از کمترین به بیشترین مرتب می‌کند و ۹۵ درصد میانی را در نظر می‌گیرد. اگر پژوهشگری ۱۰۰۰ میانگین بوت‌استرپ تولید کند، فاصله اطمینان ۹۵ درصدی از بیست و پنجمین تا نهصد و هفتاد و پنجمین مقدار در لیست مرتب‌شده امتداد می‌یابد.[2]

با این حال، اگر توزیع نمونه‌برداری چوله باشد، روش صدک می‌تواند نادرست باشد. برای اصلاح این موضوع، افرون فاصله بوت‌استرپ تصحیح‌شده برای سوگیری و شتاب‌یافته (BCa) را توسعه داد. روش BCa صدک‌های مورد استفاده برای تشکیل فاصله را بر اساس دو عامل تنظیم می‌کند: نسبت تخمین‌های بوت‌استرپ که کمتر از تخمین نمونه اولیه قرار می‌گیرند (که سوگیری را اندازه‌گیری می‌کند) و نرخی که در آن خطای استاندارد با مقدار پارامتر واقعی تغییر می‌کند (که به عنوان شتاب شناخته می‌شود).[2]

تنظیم BCa به محاسبات بسیار بیشتری نیاز دارد و اغلب محاسبه مقادیر تأثیر جک‌نایف را در کنار بازنمونه‌های بوت‌استرپ ضروری می‌سازد. با این حال، این روش دقت مرتبه دوم را فراهم می‌کند؛ به این معنی که با افزایش اندازه نمونه، احتمال پوشش آن سریع‌تر از روش صدک استاندارد به سطح ۹۵ درصد مطلوب همگرا می‌شود.[4]

با وجود تطبیق‌پذیری بالا، بوت‌استرپ به طور جهانی قابل اجرا نیست. این روش زمانی که برای آماره‌هایی که به شدت به دنباله‌های انتهایی یک توزیع وابسته هستند — مانند حداکثر یا حداقل مقدار یک نمونه — به کار می‌رود، با شکست مواجه می‌شود. از آنجا که نمونه بوت‌استرپ از داده‌های اولیه استخراج می‌شود، حداکثر مقدار در هیچ نمونه بوت‌استرپی هرگز نمی‌تواند از حداکثر مقدار در مجموعه داده اصلی تجاوز کند، که این امر منجر به یک توزیع نمونه‌برداری به شدت ناقص و نادرست می‌شود.[1]

علاوه بر این، بوت‌استرپ در مواجهه با توزیع‌های دم‌کلفت مانند توزیع کوشی، جایی که واریانس بی‌نهایت است، دچار مشکل می‌شود. در این موارد، میانگین نمونه به یک توزیع نرمال پایدار همگرا نمی‌شود و تخمین‌های واریانس بوت‌استرپ بسته به اینکه آیا نقاط پرت شدید در یک بازنمونه خاص گنجانده شده‌اند یا خیر، به شدت نوسان خواهند کرد.[4]

با این حال، برای اکثریت قریب به اتفاق پژوهش‌های کاربردی، بوت‌استرپ همچنان استاندارد طلایی برای کمّی‌سازی عدم قطعیت باقی مانده است. این روش بار اثبات را از استخراج ریاضی به شبیه‌سازی محاسباتی منتقل کرد. با تبدیل کامپیوتر به آزمایشگاهی برای داده‌ها، بوت‌استرپ به تحلیلگران مدرن اجازه می‌دهد تا قابلیت اطمینان الگوریتم‌های یادگیری ماشین، مدل‌های مالی پیچیده و توالی‌های ژنتیکی را در جایی که هیچ معادله فرم‌بسته‌ای وجود ندارد، اندازه‌گیری کنند.[6]