چگونه تنظیم‌کنندگی L1 ضرایب را به صفر می‌رساند در حالی که رگرسیون ریج همه آن‌ها را حفظ می‌کند

رگرسیون ریج با کاهش متناسب تأثیر هر متغیر، از حفظ نویز توسط مدل جلوگیری می‌کند. اگر یک مجموعه‌داده دارای ۱۰٬۰۰۰ پیش‌بینی‌کننده باشد، ریج مدلی با ۱۰٬۰۰۰ پیش‌بینی‌کننده که کمی تضعیف شده‌اند، ارائه می‌دهد. رگرسیون لاسو در یک جنبه اساسی متفاوت است: این روش تأثیر متغیرها را به میزان ثابتی کاهش می‌دهد، که باعث می‌شود کم‌اهمیت‌ترین آن‌ها دقیقاً به صفر برسند. این روش که در سال ۱۹۹۶ توسط رابرت تیبشیرانی، آمارشناس دانشگاه استنفورد، معرفی شد، برای حل مشکل تفسیرپذیری مجموعه‌داده‌های عظیم طراحی شده بود.[3][6]

مکانیسم پشت این تفاوت در شکل جریمه ریاضی است که هر روش بر ضرایب مدل اعمال می‌کند. رگرسیون ریج که در سال ۱۹۷۰ رسمیت یافت، مجموع ضرایب مربع‌شده را جریمه می‌کند. این کار یک ناحیه محدودیت صاف و دایره‌ای در فضای هندسی داده‌ها ایجاد می‌کند. راه‌حل بهینه—جایی که خطای مدل با این محدودیت تلاقی می‌کند—تقریباً همیشه روی منحنی دایره قرار می‌گیرد، به این معنی که همه متغیرها مقداری غیرصفر را حفظ می‌کنند.[3][7]

لاسو یک محدودیت ریاضی متفاوت اعمال می‌کند. همانطور که محققان دانشکده بهداشت عمومی میلمن دانشگاه کلمبیا اشاره می‌کنند، «LASSO یک روش تحلیل رگرسیون است که هم انتخاب متغیر و هم تنظیم‌کنندگی را برای افزایش دقت پیش‌بینی و تفسیرپذیری انجام می‌دهد.» این امر با جریمه کردن مجموع مقادیر مطلق ضرایب حاصل می‌شود. از نظر هندسی، این کار یک ناحیه محدودیت لوزی‌شکل با گوشه‌های تیز ایجاد می‌کند.[2][4]

هنگامی که مدل به دنبال راه‌حل بهینه تحت جریمه L1 است، تلاقی ریاضی به طور غالب در یکی از این گوشه‌های تیز رخ می‌دهد، که دقیقاً روی محورهای فضای هندسی قرار دارند. قرار گرفتن روی یک محور به این معنی است که ضریب آن متغیر خاص دقیقاً صفر است و عملاً آن را از معادله حذف می‌کند. مرز دایره‌ای مدل ریج فاقد این گوشه‌ها است، که تلاقی با محور را از نظر آماری نامحتمل می‌سازد.[3][5][7]

این ویژگی، لاسو را از یک ابزار تنظیم‌کنندگی ساده به یک انتخاب‌کننده خودکار ویژگی تبدیل می‌کند. در زمینه‌هایی مانند بیوانفورماتیک، محققان اغلب ۲۰٬۰۰۰ سطح بیان ژن را برای پیش‌بینی یک نتیجه بیماری واحد به مدل‌ها وارد می‌کنند. یک مدل ریج وزن ناچیزی به هر ژن اختصاص می‌دهد و محققان را مجبور می‌کند حدس بزنند کدام ژن‌ها واقعاً اهمیت دارند. در مقابل، یک مدل لاسو ۱۹٬۹۵۰ ژن نامربوط را به طور کامل حذف می‌کند و یک مدل تنک و قابل تفسیر حاوی تنها ۵۰ نشانگر پیش‌بینی‌کننده اصلی باقی می‌گذارد.[2][4][6]

با این حال، جریمه L1 هنگام برخورد با متغیرهای با همبستگی بالا، محدودیت‌های خاصی دارد. اگر سه متغیر کاملاً همگام حرکت کنند—مانند وزن بیمار بر حسب پوند، وزن بر حسب کیلوگرم، و شاخص توده بدنی—رگرسیون ریج وزن پیش‌بینی را به طور مساوی بین هر سه تقسیم می‌کند و به هر کدام ضریبی در حدود ۰٫۳۳ اختصاص می‌دهد. در مقابل، لاسو به طور دلخواه یکی از متغیرهای همبسته را برای حفظ با وزن ۱٫۰ انتخاب می‌کند و ضرایب دو متغیر دیگر را به سمت صفر می‌راند.[3][6][7]

این انتخاب دلخواه، لاسو را برای استنتاج علّی در شرایطی که هم‌خطی چندگانه بالاست، ناپایدار می‌کند. اگر مدلی یک متغیر را حذف کند، لزوماً به این معنی نیست که آن متغیر هیچ تأثیر واقعی در دنیای واقعی ندارد؛ بلکه ممکن است صرفاً به این معنی باشد که متغیر دیگری در مجموعه‌داده، همان اطلاعات را زودتر جذب کرده است.

در نتیجه، در سال ۲۰۰۵، آمارشناسان شبکه الاستیک (Elastic Net) را معرفی کردند، یک رویکرد ترکیبی که جریمه‌های L1 و L2 را برای دستیابی به هر دو هدف انتخاب ویژگی و پایداری در میان پیش‌بینی‌کننده‌های همبسته ترکیب می‌کند.[1][2][4][5]

کارایی محاسباتی یک مدل تنک در محیط‌های عملیاتی قابل اغماض نیست. مدلی که برای پیش‌بینی به ۱۰٬۰۰۰ ورودی نیاز دارد، به طور قابل توجهی حافظه و قدرت پردازش بیشتری نسبت به مدلی که فقط به ۵۰ ورودی نیاز دارد، مصرف می‌کند.

لاسو با رساندن ضرایب به صفر در طول مرحله آموزش، تضمین می‌کند که مدل نهایی مستقر شده، سبک و سریع باشد. رگرسیون ریج عموماً دقت پیش‌بینی کلی بهتری را ارائه می‌دهد زمانی که اکثر متغیرها تأثیر کوچک اما واقعی دارند، اما لاسو زمانی برتری می‌یابد که واقعیت زیربنایی تنک باشد.[3][4]