چرا مدل‌های مبتنی بر درخت توان برونیابی روندها فراتر از داده‌های آموزش را ندارند؟

وقتی یک دانشمند داده به مدل استاندارد XGBoost مجموعه‌داده‌ای از قیمت مسکن می‌دهد که در آن گران‌ترین خانه ۱ میلیون دلار قیمت دارد، این مدل هرگز برای یک عمارت نوساز مجلل قیمت ۱.۱ میلیون دلار را پیش‌بینی نخواهد کرد. فرقی نمی‌کند متراژ زیربنا چقدر وسیع باشد یا ملک چند اتاق خواب داشته باشد؛ خروجی پیش‌بینی روی یک خط افقی قفل می‌شود.[3][5]

این رفتار از یک محدودیت ریاضی بنیادین در سازوکار الگوریتم‌های یادگیری ماشین مبتنی بر درخت پرده برمی‌دارد. با وجود تسلط بی‌چون‌وچرای درخت‌های تقویت گرادیانی (GBDT) بر رقابت‌های داده‌های جدولی، معماری پایه آن‌ها به گونه‌ای است که ذاتاً قادر به برونیابی روندها در خارج از مرزهای داده‌های آموزشی خود نیستند.[3]

این محدودیت کل خانواده گروه‌های درخت تصمیم را دربرمی‌گیرد؛ از جنگل‌های تصادفی (Random Forests) گرفته تا درخت‌های کاملاً تصادفی (Extra Trees) و ماشین‌های معمول تقویت گرادیان. از آنجا که این مدل‌ها به جای برازش یک معادله پیوسته، بر افراز فضا تکیه دارند، توان حدس زدن هوشمندانه برای نقاط فراتر از نقشه داده‌های خود را نخواهند داشت.[1]

سازوکار افراز فضا

برای درک این بن‌بست در برونیابی، باید به نحوه یادگیری یک تک‌درخت تصمیم نگاه کرد. درخت هیچ ضریب یا شیب خطی را محاسبه نمی‌کند؛ بلکه در عوض بهترین نقطه را برای تقسیم مجموعه‌داده به دو گروه مجزا بر اساس یک متغیر منفرد جست‌وجو می‌کند.[1][5]

طبق مستندات رسمی کتابخانه سایکیت-لرن (scikit-learn)، پیش‌بینی‌های درختان تصمیم نه نرم هستند و نه پیوسته، بلکه تقریب‌های پله‌ای ثابت (piecewise constant) به حساب می‌آیند. این الگوریتم مرزهای صلب و موازی با محورها در دل داده‌ها ترسیم می‌کند و فضای ویژگی‌ها را به شبکه‌ای از ابرمستطیل‌ها تقسیم می‌نماید.[1]

هر باری که درخت دست به انشعاب می‌زند، یک مرز جدید خلق می‌شود. یک درخت عمیق ممکن است هزاران مورد از این جعبه‌های میکروسکوپی بسازد که هرکدام زیرمجموعه خاصی از داده‌های آموزشی را در بر گرفته‌اند.[1]

روش‌های تجمیعی (Ensemble) صدها یا هزاران درخت از این دست را ترکیب می‌کنند تا مرزهای صلب را هموارتر ساخته و دقت را بالا ببرند. برای نمونه، مدل رگرسیون Extra Trees درختان تصمیم تصادفی‌شده را روی نمونه‌های مختلف داده برازش می‌دهد و برای مهار بیش‌برازش (overfitting)، میانگین خروجی آن‌ها را محاسبه می‌کند.[2]

با این حال، میانگین گرفتن از خروجی چندین مدل پله‌ای، صرفاً یک مدل پله‌ای ریزدانه‌تر می‌سازد. ماهیت بنیادین ابرمستطیل‌ها تغییری نمی‌کند و این بدان معناست که مدل تجمیعی هنوز هم توان رسم یک منحنی پیوسته را ندارد.[2][5]

چرا گره‌های برگ خروجی ثابت دارند؟

درون هر یک از این مستطیل‌های افراز شده که گره برگ (leaf node) نام دارند، مدل باید برای پیش‌بینی یک مقدار تصمیم بگیرد. در یک درخت رگرسیون استاندارد، الگوریتم به سادگی میانگین مقادیر هدف تمام نمونه‌های آموزشی که در آن جعبه خاص افتاده‌اند را محاسبه می‌کند.[5]

زمانی که مدل مستقر شده و باید روی داده‌های جدید پیش‌بینی انجام دهد، نقطه داده جدید شاخه‌ها را طی می‌کند تا در نهایت به یکی از گره‌های برگ برسد. سپس مدل همان میانگین از پیش محاسبه‌شده آن گره را به عنوان پاسخ بیرون می‌دهد.

همین معماری تعیین می‌کند در لبه‌های انتهایی فضای ویژگی‌ها چه اتفاقی رخ دهد. بیرونی‌ترین گره‌های برگ مرزهای پایانی داده‌های آموزش را نشان می‌دهند، اما از دید ریاضی، فضای آن‌ها تا بی‌نهایت ادامه می‌یابد.[3][5]

اگر یک متغیر ورودی از بیشترین مقداری که مدل در زمان آموزش دیده فراتر برود، باز هم به همان بیرونی‌ترین برگ نهایی هدایت می‌شود. خروجی مدل دقیقاً همان میانگین ثابتی خواهد بود که برای نقطه‌ای واقع در لبه مرز داده‌های آموزشی ثبت کرده بود.[3]

معضل پیش‌بینی در سری‌های زمانی

این بن‌بست ساختاری کاربرد مدل‌های درختی استاندارد را در پیش‌بینی سری‌های زمانی به شدت محدود می‌کند. داده‌های سری زمانی معمولاً حامل روندهای رشد زمینه‌ای مثل تورم فزاینده، گرمایش تدریجی زمین یا افزایش شمار کاربران هستند.[3]

اگر یک مجموعه‌داده روند صعودی پیوسته‌ای داشته باشد، هر نقطه زمانی در آینده از لحاظ فنی یک ویژگی خارج از توزیع به شمار می‌آید. عملاً از مدل خواسته می‌شود برای تاریخ‌هایی پیش‌بینی انجام دهد که از تمامی تاریخ‌های دیده‌شده در دوره آموزش بزرگ‌ترند.

از آنجا که برگ نهایی فقط می‌تواند میانگین بزرگ‌ترین مقادیر آموزشی درون خود را بازگرداند، خط پیش‌بینی مدل کاملاً افقی می‌شود. در نتیجه این مدل‌ها آینده را همواره کمتر از واقع تخمین می‌زنند و خروجی‌هایشان به سقف تاریخی مشاهده‌شده قفل می‌شود.[3][5]

یک تحلیل فنی بر روی کارایی الگوریتم XGBoost در سری‌های زمانی تاکید می‌کند که برونیابی با این مدل ناممکن است. این تحلیل تصریح می‌کند که این مسئله یک محدودیت سخت برای مدل‌سازی سری زمانی است، چرا که بدون امکان برونیابی، مدیریت ریاضی روندها عملاً محال است.[3]

این ناکامی کاملاً قابل پیش‌بینی است. اگر شرکتی از جنگل تصادفی برای پیش‌بینی درآمد استفاده کند و سقف تاریخی درآمد ۵۰ میلیون دلار بوده باشد، مدل با سرسختی از پیش‌بینی عدد ۵۵ میلیون دلار برای فصل بعد سر باز می‌زند؛ حتی اگر تمام شاخص‌ها حکایت از رشدی جهشی داشته باشند.[5]

مرزهای مدل‌های پارامتریک در برابر ناپارامتریک

در مقابل، مدل‌های پارامتریک با داده‌های خارج از محدوده رفتاری کاملاً متفاوت دارند. یک رگرسیون خطی ساده معادله‌ای ریاضی و پیوسته یاد می‌گیرد که به آن اجازه می‌دهد با بزرگ‌تر شدن ویژگی ورودی از بازه آموزش، پیش‌بینی را نیز به همان تناسب افزایش دهد.[5]

اگر یک مدل خطی یاد بگیرد که هر ۱۰۰۰ فوت مربع اضافه، ۲۰۰ هزار دلار به بهای مسکن می‌افزاید، همان شیب را دقیقاً برای عمارتی ۲۰ هزار فوت مربعی نیز اعمال می‌کند؛ حتی اگر بزرگ‌ترین خانه‌ای که در مرحله آموزش دیده تنها ۵۰۰۰ فوت مربع مساحت داشته باشد.[5]

شبکه‌های عصبی نیز توابع پیوسته‌ای را می‌آموزند که از پس برونیابی برمی‌آیند. البته به دلیل برازش منحنی‌های بسیار پیچیده و غیرخطی، رفتار شبکه‌های عصبی در خارج از توزیع داده‌های آموزش ممکن است به شدت نوسان کرده و خروجی‌هایی افسارگسیخته و غیرقابل پیش‌بینی تولید کند.[5]

در این میان، نوع خطای مدل‌های درختی یک آسودگی خاطر عجیب به همراه دارد. آن‌ها گرچه قادر به تعمیم یک روند نیستند، اما کاملاً در چارچوب داده‌های تاریخی مهار شده‌اند؛ بنابراین هیچ‌گاه به خاطر ورود یک مقدار پرت، پیش‌بینی‌های نجومی یا از نظر فیزیکی محال تولید نخواهند کرد.[5]

روندزدایی و معماری‌های ترکیبی

تحلیل‌گران برای گریز از این دیوار ریاضی معمولاً به سراغ خطوط لوله ترکیبی (Hybrid Pipelines) می‌روند. رایج‌ترین رویکرد، روندزدایی (De-trending) از داده‌ها پیش از ارسال آن‌ها به مدل‌های درختی است تا رشد پیوسته از نوسانات موضعی جدا شود.

در این الگو، متخصص داده ابتدا یک رگرسیون خطی ساده برازش می‌دهد تا شیب کلی سری زمانی را استخراج کند. با کسر این روند خطی از مجموعه‌داده، یک سری ایستا (مانا) از نوسانات باقی می‌ماند.[5]

سپس درخت تقویت گرادیان تنها بر روی این نوسانات مانا آموزش می‌بیند. چون داده‌ها دیگر از مرزهای تاریخی بیرون نمی‌زنند، مدل تجمیعی می‌تواند بدون برخورد به سد برونیابی، تقریب‌های پله‌ای ثابت خود را پیاده کند.

هنگام استنتاج و ارزیابی، پیش‌بینی نهایی از جمع خروجی درخت با خط پایه مدل خطی حاصل می‌شود. بدین ترتیب سیستم ضمن حفظ توانایی درخت در درک تعاملات پیچیده و غیرخطی، امکان برونیابی روند را نیز به دست می‌آورد.[5]

گذار به سوی درخت‌های خطی قطعه‌ای

پژوهشگران الگوریتم همچنین اصلاح معماری بنیادین خود درخت‌ها را کلید زده‌اند. اگر میانگین ثابت در گره‌های برگ ریشه اصلی مشکل است، راه‌حل ریاضی جایگزین کردن آن با یک معادله خطی محلی خواهد بود.[4][5]

مقایسه‌ای در سال ۲۰۱۸ پیشنهاد داد که تقویت گرادیان با استفاده از درخت‌های رگرسیون خطی قطعه‌ای به عنوان پایه‌های یادگیرنده توسعه یابد. در این حالت، هر گره برگ به جای برگرداندن یک میانگین ساده و ایستا، یک رگرسیون خطی موضعی بر اساس داده‌های موجود در خود محاسبه می‌کند.[4]

این درخت‌های خطی قطعه‌ای به مدل امکان می‌دهند شیب خط را در بیرونی‌ترین برگ‌ها نیز امتداد دهد. چنانچه نقطه‌ای فراتر از سقف داده‌های آموزشی قرار گیرد، گره برگ شیب محلی خود را اعمال کرده و برونیابی واقعی را محقق می‌سازد.[3][4]

پیاده‌سازی این رویکرد به کتابخانه‌های مطرح نیز راه یافته است. لایت‌جی‌بی‌ام (LightGBM) که از چارچوب‌های محبوب تقویت گرادیان است، قابلیتی تحت عنوان درخت خطی (Linear Tree) معرفی کرده که مدل‌های خطی را در درون برگ‌ها می‌نشاند و بن‌بست سری‌های زمانی را برطرف می‌کند.[3]

پژوهش‌ها نشان داده که درخت‌های خطی قطعه‌ای فراتر از حل مسئله برونیابی عمل می‌کنند. با ثبت مستقیم روابط خطی در درون برگ‌ها، این ساختارها می‌توانند همگرایی فرآیند تقویت گرادیان را تسریع کرده و با تعداد تکرار کمتری به دقت بالا دست یابند.[4]

با وجود تمام این دستاوردها، درخت‌های پله‌ای ثابت سنتی هنوز گزینه پیش‌فرض در سایکیت-لرن، XGBoost و بیشتر سامانه‌های عملیاتی هستند. متخصصان هنگام کار با لبه‌های داده ناگزیرند خودشان دست به کار شده و درخت‌های خطی یا فرایند روندزدایی را پیاده‌سازی کنند.[1][3]

تا زمانی که این دگرگونی‌های ساختاری به استانداردی فراگیر بدل نشوند، مدل‌های درختی همچنان اسیر گذشته خود باقی خواهند ماند. آن‌ها قلمرویی را که پیش‌تر پیموده‌اند به بی‌نقص‌ترین شکل حفظ می‌کنند، اما در برابر آنچه در آن‌سوی افق داده‌هاست کاملاً نابینا هستند.[5]