چگونه جریمه L1 در رگرسیون لاسو برای انتخاب ویژگی، ضرایب را به صفر می‌رساند

در سال ۱۹۹۶، رابرت تیبشیرانی (Robert Tibshirani)، آمارشناس، مقاله‌ای ۲۲ صفحه‌ای در مجله انجمن آمار سلطنتی منتشر کرد که نحوه پردازش داده‌های با ابعاد بالا توسط الگوریتم‌ها را اساساً تغییر داد. تیبشیرانی با معرفی «عملگر انتخاب و انقباض کمترین قدر مطلق» (Lasso)، سازوکاری ریاضی ارائه کرد که نه تنها ضرایب رگرسیون را کوچک می‌کرد، بلکه ضریب متغیرهای کم‌اهمیت‌تر را دقیقاً به صفر می‌رساند.[1][5]

پیش از انتشار این مقاله، مدل‌هایی که با صدها متغیر سروکار داشتند، به‌شدت به رگرسیون ریج (Ridge) یا انتخاب گام‌به‌گام وابسته بودند. رگرسیون ریج یک جریمه L2 اعمال می‌کند — یعنی ضرایب را به توان دو می‌رساند — که برای جلوگیری از بیش‌برازش، آن‌ها را به سمت صفر میل می‌دهد، اما هرگز آن‌ها را واقعاً از معادله حذف نمی‌کند. مدلی که با استفاده از جریمه L2 روی ۱۰۰۰ ورودی آموزش دیده باشد، برای انجام تنها یک پیش‌بینی همچنان به تمام آن ۱۰۰۰ ورودی نیاز دارد.[4][5]

لاسو جریمه توان‌دار L2 را با یک جریمه L1 جایگزین کرد که قدر مطلق ضرایب را در نظر می‌گیرد. این تغییر جبری، هندسه مسئله بهینه‌سازی را دگرگون می‌کند. وقتی الگوریتم میانگین مربعات خطا را در کنار این جریمه L1 کمینه می‌کند، فضای محدودیت به شکل یک لوزی با گوشه‌های تیز درمی‌آید.[1][3][5]

از آنجا که خطوط تراز بیضوی تابع خطا از سمت راه‌حل بدون جریمه به سمت بیرون گسترش می‌یابند، تقریباً همیشه ابتدا با گوشه‌های تیز لوزی L1 برخورد می‌کنند. این گوشه‌ها دقیقاً روی محورهای دستگاه مختصات قرار دارند. وقتی این تقاطع روی یک محور رخ می‌دهد، ضریب مربوطه دقیقاً برابر با ۰ تنظیم می‌شود.[1][5][6]

این تقاطع هندسی به لاسو قابلیتی دوگانه می‌بخشد: مدل را برای جلوگیری از بیش‌برازش منظم می‌کند و همزمان انتخاب ویژگی را نیز انجام می‌دهد. اگر یک مجموعه‌داده شامل ۵۰,۰۰۰ ویژگی باشد اما تنها ۱۵ مورد از آن‌ها واقعاً بر نتیجه تأثیر بگذارند، جریمه L1 با صفر کردن وزن ۴۹,۹۸۵ ویژگی دیگر، آن‌ها را کنار می‌گذارد. این سازوکار به روش حداقل مربعات معمولی اجازه می‌دهد تا حتی زمانی که تعداد پیش‌بینی‌کننده‌ها از تعداد مشاهدات بیشتر است، به درستی عمل کند.[2][3][5]

قدرت این جریمه توسط یک پارامتر تنظیم‌کننده به نام لاندا (λ) کنترل می‌شود. وقتی λ روی ۰ تنظیم شود، جریمه کاملاً از بین می‌رود و مدل به رگرسیون خطی استاندارد بازمی‌گردد. با افزایش λ، لوزی کوچک‌تر می‌شود و ضرایب بیشتری را به ۰ می‌رساند تا جایی که مدل کاملاً خالی از متغیر شود.[3][5]

دانشمندان داده معمولاً از اعتبارسنجی متقاطع برای یافتن λ بهینه استفاده می‌کنند؛ نقطه‌ای که در آن، مدل نویز کافی را حذف می‌کند تا بتواند به‌خوبی روی داده‌های جدید تعمیم یابد، اما سیگنال کافی را نیز برای حفظ دقت خود نگه می‌دارد. کتابخانه scikit-learn در پایتون این بهینه‌سازی را با استفاده از الگوریتم‌های نزول مختصات به‌طور کارآمدی پیاده‌سازی می‌کند و به مدل‌ها اجازه می‌دهد حتی روی مجموعه‌داده‌های عظیم نیز به‌سرعت همگرا شوند.[2][3]

با این حال، جریمه L1 هنگام برخورد با متغیرهای بسیار همبسته، یک نقطه ضعف ریاضی مستند دارد. اگر سه ویژگی حاوی اطلاعاتی تقریباً یکسان باشند، لاسو تمایل دارد به‌طور دلخواه یکی را انتخاب کرده و دو مورد دیگر را صفر کند. این ناپایداری، تفسیر مدل نهایی را دشوارتر می‌سازد، زیرا در صورت تغییر جزئی داده‌های آموزشی، متغیر انتخاب‌شده ممکن است کاملاً تغییر کند.[2][4]

برای حل این ناپایداری، آمارشناسانی به نام‌های هوی زو (Hui Zou) و ترور هستی (Trevor Hastie) در آوریل ۲۰۰۵ شبکه الاستیک (Elastic Net) را معرفی کردند و یافته‌های خود را در ۲۰ صفحه منتشر ساختند. همان‌طور که زو و هستی در مقدمه خود نوشتند، این روش «یک اثر گروه‌بندی را تشویق می‌کند، جایی که پیش‌بینی‌کننده‌های به‌شدت همبسته تمایل دارند با هم در مدل حضور داشته باشند یا با هم از آن خارج شوند.» شبکه الاستیک با ترکیب جریمه L1 لاسو و جریمه L2 رگرسیون ریج، توانایی لاسو در حذف متغیرهای بی‌فایده را حفظ کرده و در عین حال پایداری ریج را نیز به ارث می‌برد.[4]

امروزه انتخاب میان این جریمه‌ها، پایه و اساس رگرسیون منظم‌شده را تشکیل می‌دهد. جریمه L1 همچنان ابزار قطعی برای انتخاب ویژگی خالص است و سیگنال ریاضی را در مجموعه‌داده‌هایی که در غیر این صورت برای تحلیل بسیار گسترده هستند، جدا می‌کند. مرز بعدی در منظم‌سازی، شامل تطبیق همین محدودیت‌های هندسی دقیق برای شبکه‌های عصبی عمیق است؛ جایی که اعمال پراکندگی می‌تواند میلیاردها پارامتری را که در حال حاضر برای مدل‌های زبانی بزرگ مورد نیاز است، به‌شدت کاهش دهد.[2][5][6]