پرونده شواهد: چگونه در مدل‌های تجمعی، «بگینگ» واریانس را کاهش می‌دهد و «بوستینگ» سوگیری را

برای اینکه هر روش یادگیری ماشین تجمعی بتواند پیش‌بینی‌ها را بهبود بخشد، یک شرط دقیق ریاضی باید برقرار باشد: مدل‌های پایه فردی باید متنوع باشند و عملکردشان حداقل کمی بهتر از حدس تصادفی باشد. اگر صد درخت تصمیم دقیقاً همان نویز موجود در یک مجموعه داده را حفظ کنند، میانگین‌گیری از خروجی‌های آن‌ها هیچ نتیجه‌ای نخواهد داشت. معماری مدل تجمعی تنها زمانی اهمیت پیدا می‌کند که خطاهای ایجادشده توسط مدل‌های فردی با هم همبستگی نداشته باشند.[6]

چالش مدل‌سازی پیش‌بینانه توسط موازنه سوگیری-واریانس (Bias-Variance Tradeoff) کنترل می‌شود. سوگیری نشان‌دهنده خطایی است که در اثر تقریب یک مسئله پیچیده دنیای واقعی با یک مدل ساده‌شده ایجاد می‌شود و به برازش کمتر از حد می‌انجامد. واریانس نشان‌دهنده خطایی است که ناشی از حساسیت مدل به نوسانات کوچک در مجموعه آموزشی است و منجر به برازش بیش‌ازحد می‌شود. درخت‌های تصمیم‌گیری منفرد ابزارهایی با واریانس بسیار بالا هستند؛ آن‌ها عمیق می‌شوند و داده‌های آموزشی خاصی را که به آن‌ها نشان داده می‌شود، حفظ می‌کنند.[4]

در سال ۱۹۹۶، لئو بریمَن، آماردان، روش تجمیع بوت‌استرپ یا همان «بگینگ» را به‌عنوان مکانیزمی برای مقابله مستقیم با این واریانس معرفی کرد. بگینگ با نمونه‌برداری جایگذاری‌شونده از مجموعه داده‌های اصلی، چندین مجموعه آموزشی متمایز تولید می‌کند. سپس یک مدل جداگانه و مستقل را روی هر یک از این نمونه‌های بوت‌استرپ آموزش می‌دهد.[1]

از آنجا که نمونه‌برداری با جایگذاری انجام می‌شود، ریاضیات احتمالات دیکته می‌کند که هر مجموعه آموزشی جدید تقریباً شامل ۶۳.۲ درصد از نمونه‌های منحصربه‌فرد داده‌های اصلی باشد. ۳۶.۸ درصد باقی‌مانده از داده‌ها کنار گذاشته می‌شوند و به‌عنوان یک مجموعه اعتبارسنجی خودکار به نام نمونه «خارج از کیسه» (Out-of-Bag) عمل می‌کنند. با آموزش صدها درخت تصمیم عمیق روی این مجموعه داده‌های کمی متفاوت، بگینگ مدل‌ها را مجبور می‌کند تا الگوهای متفاوتی را بیاموزند.[3][6]

کاهش واریانس در مرحله تجمیع رخ می‌دهد. هنگامی که از پیش‌بینی‌های مستقل چندین مدل میانگین گرفته می‌شود، واریانس مدل تجمعی به‌طور قابل‌توجهی کاهش می‌یابد. اگرچه استقلال کامل در عمل غیرممکن است، بریمَن خاطرنشان کرد که «بگینگ می‌تواند یک رویه خوب اما ناپایدار را یک گام مهم به سمت بهینگی سوق دهد» و این کار را با هموار کردن پیش‌بینی‌های نامنظم درختان منفرد انجام می‌دهد.[1]

با این حال، بگینگ یک محدودیت ریاضیاتی سخت‌گیرانه دارد: نمی‌تواند سوگیری را کاهش دهد. مقدار مورد انتظار پیش‌بینی‌های میانگین‌گیری‌شده دقیقاً با مقدار مورد انتظار یک مدل منفرد که روی همان داده‌ها آموزش دیده، برابر است. اگر مدل‌های پایه بیش از حد ساده باشند و به‌طور مداوم الگوی زیربنایی را از دست بدهند (حالتی از سوگیری بالا)، میانگین‌گیری از صد مورد از آن‌ها صرفاً یک پیش‌بینی بسیار مطمئن اما کاملاً اشتباه تولید خواهد کرد.[2]

بوستینگ از جهتی کاملاً مخالف به مشکل خطا نزدیک می‌شود. به‌جای ساختن مدل‌های مستقل به‌صورت موازی، بوستینگ مدل‌ها را به‌صورت متوالی می‌سازد. هر مدل جدید در این توالی به‌طور خاص برای اصلاح اشتباهات مدل‌های قبلی طراحی شده است.[4]

پایه نظری این رویکرد در سال ۱۹۹۷ توسط یوآو فروند و رابرت شاپیر با الگوریتم AdaBoost فرموله شد. آن‌ها ثابت کردند که یک «یادگیرنده ضعیف» (الگوریتمی که تنها نیاز دارد به دقتی معادل ۰.۵ به‌علاوه یک حاشیه کوچک دست یابد) می‌تواند به یک «یادگیرنده قوی» با قابلیت دستیابی به دقت تقریباً کامل روی داده‌های آموزشی تبدیل شود.[5]

بوستینگ این کار را با به‌روزرسانی پویای وزن نمونه‌های آموزشی انجام می‌دهد. پس از اینکه مدل اول پیش‌بینی‌های خود را انجام داد، الگوریتم وزن نقاط داده‌ای که اشتباه دسته‌بندی شده‌اند را افزایش و وزن داده‌های درست دسته‌بندی‌شده را کاهش می‌دهد. سپس مدل دوم مجبور می‌شود توجه خود را روی نمونه‌های سخت‌تر و پیش‌تر اشتباه دسته‌بندی‌شده متمرکز کند.[3]

با ادامه این فرآیند متوالی، سوگیری مدل تجمعی به‌طور پیوسته کاهش می‌یابد. مدل ترکیبی به‌طور فزاینده‌ای قادر به ثبت مرزهای پیچیده و غیرخطی می‌شود که یک یادگیرنده ضعیف منفرد هرگز نمی‌توانست آن‌ها را ترسیم کند. فروند و شاپیر نشان دادند که در صورت برقرار بودن شرط یادگیری ضعیف، خطای آموزش یک الگوریتم بوستینگ به‌صورت نمایی با تعداد تکرارها کاهش می‌یابد.[5]

این کاهش تهاجمی سوگیری با یک خطر ساختاری جدی همراه است. از آنجا که بوستینگ بی‌وقفه سخت‌ترین نمونه‌های مجموعه داده را دنبال می‌کند، به‌شدت در برابر نویز برچسب آسیب‌پذیر است. اگر ۱۵ درصد از داده‌های آموزشی حاوی برچسب‌های نادرست یا نقاط پرت شدید باشند، الگوریتم بوستینگ در نهایت تمام ظرفیت خود را به حفظ کردن آن خطاها اختصاص می‌دهد که باعث انفجار واریانس و فروپاشی دقت تست می‌شود.[2][3]

تفاوت‌های معماری بین این دو روش، محدودیت‌های محاسباتی آن‌ها را نیز دیکته می‌کند. الگوریتم‌های بگینگ، مانند جنگل‌های تصادفی، به‌سادگی قابل موازی‌سازی هستند. از آنجا که هر درخت مستقل است، خوشه‌ای متشکل از ۱۰۰ پردازنده می‌تواند ۱۰۰ درخت را به‌طور همزمان آموزش دهد و به‌طور کارآمدی در سخت‌افزارهای توزیع‌شده مقیاس‌پذیر شود.[6]

بوستینگ، بنا به تعریف، نمی‌تواند در طول تکرارها موازی‌سازی شود. درخت شماره ۵۰ نمی‌تواند ساخته شود تا زمانی که درخت شماره ۴۹ محاسبه خطاهای خود و به‌روزرسانی وزن نمونه‌ها را به پایان رسانده باشد. اگرچه پیاده‌سازی‌های مدرن موازی‌سازی را در سطح تقسیم گره‌ها درون درختان منفرد معرفی کرده‌اند، اما ماهیت متوالی این مدل تجمعی همچنان یک گلوگاه محاسباتی سخت باقی می‌ماند.[3][6]

تصمیم‌گیری برای استقرار بگینگ در مقابل بوستینگ کاملاً به منبع اصلی خطا در تخمین‌گر پایه بستگی دارد. زمانی که یک تیم علم داده از مدل‌های پیچیده و با واریانس بالا استفاده می‌کند که تمایل به برازش بیش‌ازحد دارند، بگینگ تنظیم (Regularization) لازم را فراهم می‌کند. اما زمانی که آن‌ها به مدل‌های ساده و با سوگیری بالا متکی هستند که در ثبت سیگنال‌ها مشکل دارند، بوستینگ پیچیدگی لازم را به مدل تحمیل می‌کند.[4]