بسته شواهد: دقت و سبک‌سنگین کردن SMOTE در برابر وزن‌دهی کلاس‌ها در داده‌های نامتوازن

دانشمندان داده که طرفدار تولید الگوریتمی داده‌ها هستند، استدلال می‌کنند که مدل‌ها برای یادگیری مرزهای تصمیم‌گیری پیچیده در کلاس‌های اقلیت به نمونه‌های مصنوعی نیاز دارند. در مقابل، صاحب‌نظران آمار معتقدند که جعل داده‌ها توزیع احتمال واقعی و زیربنایی را مخدوش می‌کند و ترجیح می‌دهند خطاها را از طریق وزن‌دهی به کلاس‌ها (class weights) جریمه کنند. وقتی یک مجموعه داده شامل ۹۹ درصد تراکنش عادی و ۱ درصد تقلب باشد، معیارهای استاندارد دقت کاملاً ناکارآمد می‌شوند. یک مدل می‌تواند صرفاً با پیش‌بینی اینکه هیچ تقلبی وجود ندارد، به دقت ۹۹ درصدی دست یابد. برای اینکه الگوریتم مجبور شود به این رویداد نادر اهمیت دهد، متخصصان باید مداخله کنند. بحث بر سر نحوه انجام این کار حول دو فلسفه کاملاً متفاوت می‌چرخد: تغییر داده‌ها قبل از رسیدن به مدل، یا تغییر نحوه یادگیری مدل از داده‌هایی که از قبل در اختیار دارد.[4][5]

تکنیک بیش‌نمونه‌گیری اقلیت مصنوعی (SMOTE) رویکرد اول را اتخاذ می‌کند. این روش به جای کپی کردن ساده نمونه‌های نادر موجود - که منجر به بیش‌برازش (overfitting) شدید می‌شود - نقاط داده کاملاً جدیدی را جعل می‌کند. این الگوریتم یک نمونه از کلاس اقلیت را شناسایی کرده، نزدیک‌ترین همسایگان آن را در فضای ویژگی‌ها پیدا می‌کند و خطوطی بین آن‌ها می‌کشد. سپس نقاط مصنوعی را در امتداد این خطوط تولید می‌کند. این کار منطقه متراکم‌تر و پیوسته‌تری از کلاس اقلیت را برای یادگیری در اختیار الگوریتم قرار می‌دهد. برای یادگیرنده‌های ضعیف یا مجموعه داده‌های بسیار کوچک، این داربست مصنوعی می‌تواند تفاوت بین مدلی باشد که یک الگو را پیدا می‌کند و مدلی که هیچ چیز نمی‌یابد.[3][4]

وزن‌دهی به کلاس‌ها رویکرد مخالفی را در پیش می‌گیرد: مجموعه داده را دست‌نخورده باقی می‌گذارد و تابع زیان (loss function) الگوریتم را تغییر می‌دهد. در یک مدل استاندارد، هر دسته‌بندی اشتباه جریمه یکسانی دارد. وزن‌دهی کلاس‌ها ریاضیات را طوری تغییر می‌دهد که هزینه اشتباه در کلاس اقلیت بسیار بیشتر شود. مستندات scikit-learn اشاره می‌کند که روش اکتشافی "balanced" به طور خودکار وزن‌ها را "به نسبت معکوس با فراوانی کلاس‌ها در داده‌های ورودی" تنظیم می‌کند. اگر تقلب ۱ درصد از داده‌ها را تشکیل دهد، الگوریتم برای نادیده گرفتن یک تراکنش متقلبانه ۹۹ برابر بیشتر از دسته‌بندی اشتباه یک تراکنش عادی جریمه می‌شود. مدل مجبور است به کلاس نادر توجه کند، نه به این دلیل که نمونه‌های بیشتری از آن وجود دارد، بلکه به این دلیل که نادیده گرفتن آن امتیاز کلی مدل را از بین می‌برد.[2]

چارچوب‌های مدرن تقویت گرادیان (gradient boosting) وزن‌های کلاس را به صورت بومی از طریق پارامترهایی که گرادیان کلاس مثبت را مقیاس‌بندی می‌کنند، مدیریت می‌کنند. مستندات XGBoost صراحتاً به کاربران توصیه می‌کند که برای داده‌های نامتوازن، "وزن‌های مثبت و منفی را متوازن کنند" و از پارامتر scale_pos_weight استفاده نمایند. از آنجا که مدل‌های مبتنی بر درخت، فضای ویژگی‌ها را با استفاده از تقسیم‌های متعامد بخش‌بندی می‌کنند، معرفی نقاط مصنوعی SMOTE می‌تواند درخت‌ها را مجبور کند تا برای تطبیق با داده‌های مصنوعی، شاخه‌های بیش از حد پیچیده و تکه‌تکه‌ای ایجاد کنند. با استفاده از وزن‌دهی کلاس‌ها به جای آن، درخت‌ها تقسیم‌های ساده‌تر و تعمیم‌یافته‌تری را حفظ می‌کنند و در عین حال در طول دوره‌های تقویت، خطاهای کلاس اقلیت را در اولویت قرار می‌دهند.[6]

تنش بین این دو روش در فضاهای ویژگی با ابعاد بالا به وضوح نمایان می‌شود. از آنجا که SMOTE به طور کورکورانه بین نقاط درون‌یابی می‌کند، فرض را بر این می‌گذارد که فضای بین دو نمونه اقلیت نیز متعلق به کلاس اقلیت است. در مجموعه داده‌های پیچیده، این فرض اغلب با شکست مواجه می‌شود و نویز مصنوعی ایجاد می‌کند که مرز تصمیم‌گیری واقعی را محو می‌سازد. هنگامی که ارزیابی بر اساس سطح زیر منحنی دقت-فراخوانی (PR-AUC) - که دقیق‌ترین معیار برای داده‌های نامتوازن است - انجام می‌شود، SMOTE اغلب توانایی رتبه‌بندی زیربنایی مدل را کاهش می‌دهد. این روش فراخوانی (recall) را به قیمت افت فاجعه‌بار دقت (precision) به طور مصنوعی افزایش می‌دهد و مدلی ایجاد می‌کند که هشدارهای مثبت کاذب بسیار زیادی صادر می‌کند.[1][5]

یک مطالعه جامع در سال ۲۰۲۴ که در arXiv منتشر شد، این پویایی را در مقیاس وسیع آزمایش کرد. محققان ۹۰۰۰ آزمایش را روی ۱۵ مدل مختلف یادگیری ماشین و ۳۰ مجموعه داده نامتوازن اجرا کردند و SMOTE، وزن‌دهی کلاس‌ها و یک مدل پایه را با هم مقایسه کردند. نتایج تأیید کرد که هر دو مداخله به طور قابل‌توجهی بهتر از انجام ندادن هیچ کاری عمل می‌کنند. با این حال، این مطالعه نشان داد که وزن‌دهی کلاس‌ها اغلب با عملکرد SMOTE برابری می‌کند یا از آن فراتر می‌رود، بدون اینکه بار محاسباتی تولید داده‌های مصنوعی یا خطر معرفی نویز مصنوعی را به همراه داشته باشد.[1]

همین ارزیابی به راه‌حل سومی اشاره کرد که اغلب نادیده گرفته می‌شود: کالیبراسیون آستانه تصمیم‌گیری. هر دو روش SMOTE و وزن‌دهی کلاس‌ها سعی می‌کنند عدم توازن را در طول آموزش برطرف کنند. کالیبراسیون آستانه، یک مدل استاندارد را آموزش می‌دهد و سپس حد آستانه احتمال مورد نیاز برای پیش‌بینی کلاس اقلیت را تنظیم می‌کند. به جای نیاز به اطمینان ۵۰ درصدی برای اعلام تقلب، مدل ممکن است آن را در سطح ۱۰ درصد اعلام کند. نویسندگان خاطرنشان کردند که اگرچه هر سه استراتژی از مدل پایه بهتر عمل کردند، نتایج آن‌ها نشان داد که "کالیبراسیون آستانه تصمیم‌گیری به عنوان مؤثرترین و پایدارترین تکنیک ظاهر می‌شود." در سراسر این ۹۰۰۰ آزمایش، این تنظیم پس از آموزش، عملکرد بهتری نسبت به نمونه‌گیری مجدد در سطح داده و وزن‌دهی در سطح الگوریتم داشت.[1]

اجماع میان متخصصان مدرن در حال تغییر به سمت سلسله‌مراتبی از مداخلات است. از آنجا که وزن‌دهی به کلاس‌ها نیازی به دستکاری داده‌ها ندارد و هیچ هزینه محاسباتی اضافه نمی‌کند، به طور گسترده‌ای به عنوان ایمن‌ترین گام اول در نظر گرفته می‌شود. اگر وزن‌دهی کلاس‌ها نتواند الگوی اقلیت را به درستی ثبت کند و مجموعه داده به قدری کوچک باشد که مدل واقعاً نمونه‌ای برای یادگیری نداشته باشد، SMOTE به یک گزینه ارتقا یافته و منطقی تبدیل می‌شود. اما هیچ‌یک از این تکنیک‌ها نباید بدون آزمایش اولیه یک تنظیم ساده آستانه روی مدل پایه به کار گرفته شوند.[5]

انتخاب بین SMOTE و وزن‌دهی کلاس‌ها نشان‌دهنده انتخاب بین دو نوع متفاوت از اعوجاج است. یکی داده‌ها را مخدوش می‌کند تا با الگوریتم مطابقت داشته باشند، در حالی که دیگری هدف الگوریتم را مخدوش می‌کند تا با داده‌ها سازگار شود. با پیچیده‌تر شدن مدل‌های یادگیری ماشین و گسترش ابعاد مجموعه داده‌ها، ترجیح ریاضیاتی به طور فزاینده‌ای بر این است که داده‌ها دقیقاً همان‌طور که در دنیای واقعی ثبت شده‌اند باقی بمانند و بار انطباق به دوش خود الگوریتم منتقل شود.[5]