چگونه نمودارهای ویولن، چندوجهی‌های پنهانی را که آمار خلاصه حذف می‌کند، آشکار می‌سازند

اگر صرفاً به این اعداد تکیه کنیم، یک مدل یادگیری ماشین یا یک خلاصه آماری هر ۱۳ مجموعه داده را کاملاً یکسان در نظر می‌گیرد. با این حال، وقتی به صورت بصری رسم می‌شوند، یک مجموعه داده شکل یک ستاره پنج‌پر، دیگری شکل هدف (bullseye) و سومی خطوط افقی موازی را تشکیل می‌دهد. آمارهای خلاصه، هندسه داده‌ها را به طور کامل محو می‌کنند. برای حل این مشکل پنهان‌سازی در داده‌های پیوسته تک‌بعدی، تحلیلگران به طور فزاینده‌ای به «تخمین چگالی کرنل» (KDE) و نمودارهای ویولن روی می‌آورند تا شکل واقعی یک توزیع را قبل از اعمال هرگونه مدل‌سازی پیش‌بینی‌کننده، بصری‌سازی کنند.[1][2][4]

یک نمودار جعبه‌ای سنتی (box plot) تنها خلاصه پنج‌عددی—حداقل، چارک اول، میانه، چارک سوم و حداکثر—را نمایش می‌دهد. از آنجا که این نمودار کاملاً به این معیارهای خلاصه متکی است، نمی‌تواند نشان دهد که آیا داده‌ها در چندین قله خوشه‌بندی شده‌اند یا خیر؛ یک توزیع دوقله‌ای (bimodal) دقیقاً شبیه به یک توزیع نرمال با واریانس گسترده به نظر می‌رسد. اینجا است که نمودار ویولن وارد می‌شود. این نمودار با آینه‌ای کردن یک منحنی چگالی در دو طرف یک محور مرکزی، دقیقاً نشان می‌دهد که مقادیر کجا خوشه‌بندی شده‌اند. همانطور که محققان در «اورنج دیتا ماینینگ» (Orange Data Mining) توضیح می‌دهند: «جایی که ویولن چاق‌تر است، نقاط داده بیشتری در آن ناحیه وجود دارد. و جایی که نازک‌تر است، نقاط کمتری وجود دارد.»[3][6]

نمودار ویولن این وضوح را با اعمال «تخمین چگالی کرنل» (KDE) به دست می‌آورد. KDE با قرار دادن یک منحنی هموار، که به عنوان تابع کرنل (معمولاً یک منحنی زنگوله‌ای گوسی) شناخته می‌شود، روی هر نقطه داده و جمع‌بندی آنها، یک تابع چگالی احتمال پیوسته ایجاد می‌کند. به جای تقسیم داده‌ها به سطل‌های (bins) سخت و دلخواه مانند یک هیستوگرام سنتی، KDE یک تخمین روان از محل تمرکز بیشتر مقادیر ارائه می‌دهد. این هموارسازی ریاضی به راحتی توزیع‌های دوقله‌ای یا چندقله‌ای را آشکار می‌کند که در غیر این صورت در داخل معیار انحراف معیار استاندارد پنهان می‌ماندند.[3][4]

با این حال، KDE محدودیت اصلی خود را معرفی می‌کند: پارامتر پهنای باند (bandwidth parameter)، که اغلب به صورت ریاضی با $h$ نمایش داده می‌شود. پهنای باند عرض توابع کرنل منفردی را که روی هر یک از ۱۴۲ نقطه داده قرار می‌گیرند، کنترل می‌کند. اگر پهنای باند خیلی کوچک تنظیم شود، نمودار چگالی حاصل به شدت «کم‌هموار» (undersmoothed) می‌شود. این نمودار به صورت مجموعه‌ای پر از دست‌انداز و نویزی از قله‌های منفرد ظاهر می‌شود که بیش‌برازش (overfit) نقاط نمونه خاص را نشان می‌دهد، در تعمیم روند گسترده‌تر شکست می‌خورد و قله‌های کاذبی ایجاد می‌کند که در جمعیت گسترده‌تر وجود ندارند.[4][5]

برعکس، اگر پهنای باند بیش از حد بزرگ باشد، نمودار «بیش‌هموار» (oversmoothed) می‌شود، که خطرناک‌ترین حالت شکست در تحلیل اکتشافی داده‌ها است. یک KDE بیش‌هموار، قله‌های متمایز را با هم ادغام می‌کند و توزیع دوقله‌ای را مجبور می‌کند شبیه یک منحنی زنگوله‌ای تک‌وجهی، پهن و هموار به نظر برسد. با این کار، یک KDE که به درستی تنظیم نشده است، دقیقاً همان مشکلی را که قرار بود حل کند، بازسازی می‌کند: شکل واقعی داده‌ها را پشت یک فرض الگوریتمی پنهان می‌کند و همان چندوجهی بودن را که تحلیلگر در جستجوی آن بود، می‌پوشاند.[5]

این وضعیت یک پارادوکس در تحلیل داده مبتنی بر شواهد ایجاد می‌کند. آمارهای خلاصه کاملاً عینی هستند اما به راحتی توسط هندسه فریب می‌خورند، در حالی که KDE هندسه را آشکار می‌کند اما به یک پارامتر پهنای باند ذهنی متکی است. در حالی که الگوریتم‌هایی مانند «قانون اسکات» (Scott’s rule) یا «قانون سیلورمن» (Silverman’s rule) تلاش می‌کنند انتخاب پهنای باند را خودکار کنند، شواهد نشان می‌دهد که نه آمارهای خلاصه و نه نمودارهای چگالی خودکار را نمی‌توان به صورت مجزا مورد اعتماد قرار داد. تنها رویکرد قوی این است که نقاط داده خام را در کنار تخمین چگالی رسم کنیم و چندین پهنای باند را آزمایش کنیم تا مطمئن شویم شکل بصری، خاصیت خود داده‌ها است، نه یک مصنوع ناشی از پارامتر هموارسازی.[4][7]