چگونه تنظیمکنندگی L1 ضرایب را به صفر میرساند در حالی که رگرسیون ریج همه آنها را حفظ میکند
در حالی که هر دو تکنیک از بیشبرازش مدلهای یادگیری ماشین جلوگیری میکنند، رگرسیون لاسو به طور منحصر به فردی با حذف کامل متغیرهای کماهمیتتر از طریق محاسبات ریاضی، اقدام به انتخاب ویژگی میکند.
به قلم الوین شادمهر
این خبر را به اشتراک بگذارید
- حامیان دقت پیشبینی
- استدلال میکنند که به حداقل رساندن خطای کلی پیشبینی از اهمیت بالایی برخوردار است و به نفع رگرسیون ریج هستند تا تمام سیگنالهای موجود حفظ شوند.
- حامیان تفسیرپذیری
- مدلهای تنک را در اولویت قرار میدهند که در آنها انسانها میتوانند دقیقاً بفهمند کدام متغیرها پیشبینی را هدایت میکنند، و از لاسو حمایت میکنند.
رگرسیون ریج با کاهش متناسب تأثیر هر متغیر، از حفظ نویز توسط مدل جلوگیری میکند. اگر یک مجموعهداده دارای ۱۰٬۰۰۰ پیشبینیکننده باشد، ریج مدلی با ۱۰٬۰۰۰ پیشبینیکننده که کمی تضعیف شدهاند، ارائه میدهد. رگرسیون لاسو در یک جنبه اساسی متفاوت است: این روش تأثیر متغیرها را به میزان ثابتی کاهش میدهد، که باعث میشود کماهمیتترین آنها دقیقاً به صفر برسند. این روش که در سال ۱۹۹۶ توسط رابرت تیبشیرانی، آمارشناس دانشگاه استنفورد، معرفی شد، برای حل مشکل تفسیرپذیری مجموعهدادههای عظیم طراحی شده بود.[3][7]
مکانیسم پشت این تفاوت در شکل جریمه ریاضی است که هر روش بر ضرایب مدل اعمال میکند. رگرسیون ریج که در سال ۱۹۷۰ رسمیت یافت، مجموع ضرایب مربعشده را جریمه میکند. این کار یک ناحیه محدودیت صاف و دایرهای در فضای هندسی دادهها ایجاد میکند. راهحل بهینه—جایی که خطای مدل با این محدودیت تلاقی میکند—تقریباً همیشه روی منحنی دایره قرار میگیرد، به این معنی که همه متغیرها مقداری غیرصفر را حفظ میکنند.[3][5][8]
لاسو یک محدودیت ریاضی متفاوت اعمال میکند. همانطور که محققان دانشکده بهداشت عمومی میلمن دانشگاه کلمبیا اشاره میکنند، «LASSO یک روش تحلیل رگرسیون است که هم انتخاب متغیر و هم تنظیمکنندگی را برای افزایش دقت پیشبینی و تفسیرپذیری انجام میدهد.» این امر با جریمه کردن مجموع مقادیر مطلق ضرایب حاصل میشود. از نظر هندسی، این کار یک ناحیه محدودیت لوزیشکل با گوشههای تیز ایجاد میکند.
نکات کلیدی
- رگرسیون ریج همه ضرایب را به نسبت کوچک میکند اما هر متغیر را در مدل نهایی حفظ میکند.
- رگرسیون لاسو یک جریمه مقدار مطلق اعمال میکند که ضرایب کماهمیتتر را دقیقاً به صفر میرساند.
- این اثر صفر کردن، لاسو را به یک انتخابکننده خودکار ویژگی تبدیل میکند که برای مجموعهدادههای با ابعاد بالا ایدهآل است.
- لاسو با متغیرهای با همبستگی بالا مشکل دارد و اغلب به طور دلخواه یکی را نگه میدارد و بقیه را حذف میکند.
چرا مهم است
از آنجایی که مجموعهدادهها رشد کرده و شامل میلیونها متغیر میشوند—از توالیهای ژنومی گرفته تا شاخصهای مالی—توانایی حذف خودکار دادههای نامرتبط باعث میشود مدلها سریعتر، ارزانتر و برای انسانها قابل تفسیرتر باشند.
منابع
پوشش منابع
9 منبع
3 دیدگاه شناساییشده
- Penn State University
نظرات
هر زاویه. هر روز.
دریافت تحلیل داده اخبار همراه با پوشش کامل منابع و تحلیل دیدگاهها، مستقیم در صندوق ورودی شما.