چگونه نمودارهای ویولن، چندوجهی‌های پنهانی را که آمار خلاصه حذف می‌کند، آشکار می‌سازند

محدودیت اصلی آمارهای خلاصه—مانند میانگین، واریانس و ضریب همبستگی—این است که داده‌های زیربنایی باید تک‌وجهی (unimodal) و تقریباً متقارن باشند. وقتی این شرط برقرار باشد، چند عدد می‌توانند رفتار یک جامعه آماری را به خوبی توصیف کنند. اما وقتی این شرط نقض می‌شود، همان اعداد دقیقاً به یک توهم ریاضی تبدیل می‌شوند و قله‌های چندوجهی، کج‌شدگی شدید یا زیرگروه‌های خوشه‌ای را پنهان می‌کنند.

در تحلیل داده‌های مدرن، این محدودیت به طور معمول نقض می‌شود، و این امر بصری‌سازی را به تنها ابزار تشخیصی قابل اعتماد برای تعیین دروغ‌گویی آمار تبدیل می‌کند. بدون بررسی بصری، تحلیلگران ریسک ساخت مدل‌هایی را می‌پذیرند که در یک صفحه گسترده عادی به نظر می‌رسند اما در واقعیت رفتاری نامنظم دارند.[7]

مشهورترین اثبات این شکست در سال ۱۹۷۳ با آماردانی به نام فرانسیس اَنسکومب (Francis Anscombe) آغاز شد، که «چهارگانه اَنسکومب» (Anscombe's Quartet) را منتشر کرد تا نشان دهد چگونه چهار مجموعه داده کاملاً متفاوت می‌توانند ویژگی‌های آماری یکسانی داشته باشند. این درس در سال ۲۰۱۶ برای علم داده مدرن به‌روزرسانی شد، زمانی که طراح آلبرتو کایرو (Alberto Cairo) مجموعه‌ای از ۱۴۲ مشاهده را ایجاد کرد.

مجموعه داده کایرو دارای آمارهای خلاصه استاندارد و معمولی بود، اما وقتی روی نمودار پراکندگی رسم شد، نقاط شکل متمایز یک دایناسور تی‌رکس (Tyrannosaurus rex) را تشکیل دادند. محققان اتودسک (Autodesk)، جاستین ماتیکا (Justin Matejka) و جورج فیتزموریس (George Fitzmaurice)، با الهام از این ترفند بصری، در سال ۲۰۱۷ «دیتاسور دوزن» (Datasaurus Dozen) را منتشر کردند و این مفهوم را به نهایت ریاضی خود رساندند.[1][2]

تیم اتودسک از یک الگوریتم بهینه‌سازی به نام «آنیلینگ شبیه‌سازی‌شده» (Simulated Annealing) استفاده کرد تا ۱۲ مجموعه داده اضافی ایجاد کند که با معیارهای دایناسور مطابقت داشته باشند. همانطور که آنها در مقاله سال ۲۰۱۷ خود نوشتند، «مجموعه‌های داده جدید به صورت تکراری از یک مجموعه داده اولیه، از طریق اغتشاشات تصادفی نقاط داده منفرد تولید می‌شوند.»

۱۳ مجموعه داده حاصل، آمارهای خلاصه یکسانی را تا دو رقم اعشار به اشتراک می‌گذارند: میانگین متغیر x دقیقاً ۵۴.۲۶ است، میانگین متغیر y برابر با ۴۷.۸۳ است، و همبستگی بین آنها ۰.۰۶- است. ضریب تعیین رگرسیون خطی ($R^2$) در تمام موارد ۰.۰۰۴ ثابت است و واریانس نمونه برای x روی ۱۶.۷۶ قفل شده است.[1][2]

اگر صرفاً به این اعداد تکیه کنیم، یک مدل یادگیری ماشین یا یک خلاصه آماری هر ۱۳ مجموعه داده را کاملاً یکسان در نظر می‌گیرد. با این حال، وقتی به صورت بصری رسم می‌شوند، یک مجموعه داده شکل یک ستاره پنج‌پر، دیگری شکل هدف (bullseye) و سومی خطوط افقی موازی را تشکیل می‌دهد.

آمارهای خلاصه، هندسه داده‌ها را به طور کامل محو می‌کنند. برای حل این مشکل پنهان‌سازی در داده‌های پیوسته تک‌بعدی، تحلیلگران به طور فزاینده‌ای به «تخمین چگالی کرنل» (KDE) و نمودارهای ویولن روی می‌آورند تا شکل واقعی یک توزیع را قبل از اعمال هرگونه مدل‌سازی پیش‌بینی‌کننده، بصری‌سازی کنند.[1][2][4]

یک نمودار جعبه‌ای سنتی (box plot) تنها خلاصه پنج‌عددی—حداقل، چارک اول، میانه، چارک سوم و حداکثر—را نمایش می‌دهد. از آنجا که این نمودار کاملاً به این معیارهای خلاصه متکی است، نمی‌تواند نشان دهد که آیا داده‌ها در چندین قله خوشه‌بندی شده‌اند یا خیر؛ یک توزیع دوقله‌ای (bimodal) دقیقاً شبیه به یک توزیع نرمال با واریانس گسترده به نظر می‌رسد.

اینجا است که نمودار ویولن وارد می‌شود. این نمودار با آینه‌ای کردن یک منحنی چگالی در دو طرف یک محور مرکزی، دقیقاً نشان می‌دهد که مقادیر کجا خوشه‌بندی شده‌اند. همانطور که محققان در «اورنج دیتا ماینینگ» (Orange Data Mining) توضیح می‌دهند: «جایی که ویولن چاق‌تر است، نقاط داده بیشتری در آن ناحیه وجود دارد. و جایی که نازک‌تر است، نقاط کمتری وجود دارد.»[3][6]

نمودار ویولن این وضوح را با اعمال «تخمین چگالی کرنل» (KDE) به دست می‌آورد. KDE با قرار دادن یک منحنی هموار، که به عنوان تابع کرنل (معمولاً یک منحنی زنگوله‌ای گوسی) شناخته می‌شود، روی هر نقطه داده و جمع‌بندی آنها، یک تابع چگالی احتمال پیوسته ایجاد می‌کند.

به جای تقسیم داده‌ها به سطل‌های (bins) سخت و دلخواه مانند یک هیستوگرام سنتی، KDE یک تخمین روان از محل تمرکز بیشتر مقادیر ارائه می‌دهد. این هموارسازی ریاضی به راحتی توزیع‌های دوقله‌ای یا چندقله‌ای را آشکار می‌کند که در غیر این صورت در داخل معیار انحراف معیار استاندارد پنهان می‌ماندند.[3][4]

با این حال، KDE محدودیت اصلی خود را معرفی می‌کند: پارامتر پهنای باند (bandwidth parameter)، که اغلب به صورت ریاضی با $h$ نمایش داده می‌شود. پهنای باند عرض توابع کرنل منفردی را که روی هر یک از ۱۴۲ نقطه داده قرار می‌گیرند، کنترل می‌کند.

اگر پهنای باند خیلی کوچک تنظیم شود، نمودار چگالی حاصل به شدت «کم‌هموار» (undersmoothed) می‌شود. این نمودار به صورت مجموعه‌ای پر از دست‌انداز و نویزی از قله‌های منفرد ظاهر می‌شود که بیش‌برازش (overfit) نقاط نمونه خاص را نشان می‌دهد، در تعمیم روند گسترده‌تر شکست می‌خورد و قله‌های کاذبی ایجاد می‌کند که در جمعیت گسترده‌تر وجود ندارند.[4][5]

برعکس، اگر پهنای باند بیش از حد بزرگ باشد، نمودار «بیش‌هموار» (oversmoothed) می‌شود، که خطرناک‌ترین حالت شکست در تحلیل اکتشافی داده‌ها است. یک KDE بیش‌هموار، قله‌های متمایز را با هم ادغام می‌کند و توزیع دوقله‌ای را مجبور می‌کند شبیه یک منحنی زنگوله‌ای تک‌وجهی، پهن و هموار به نظر برسد.

با این کار، یک KDE که به درستی تنظیم نشده است، دقیقاً همان مشکلی را که قرار بود حل کند، بازسازی می‌کند: شکل واقعی داده‌ها را پشت یک فرض الگوریتمی پنهان می‌کند و همان چندوجهی بودن را که تحلیلگر در جستجوی آن بود، می‌پوشاند.[5]

این وضعیت یک پارادوکس در تحلیل داده مبتنی بر شواهد ایجاد می‌کند. آمارهای خلاصه کاملاً عینی هستند اما به راحتی توسط هندسه فریب می‌خورند، در حالی که KDE هندسه را آشکار می‌کند اما به یک پارامتر پهنای باند ذهنی متکی است.

در حالی که الگوریتم‌هایی مانند «قانون اسکات» (Scott’s rule) یا «قانون سیلورمن» (Silverman’s rule) تلاش می‌کنند انتخاب پهنای باند را خودکار کنند، شواهد نشان می‌دهد که نه آمارهای خلاصه و نه نمودارهای چگالی خودکار را نمی‌توان به صورت مجزا مورد اعتماد قرار داد. تنها رویکرد قوی این است که نقاط داده خام را در کنار تخمین چگالی رسم کنیم و چندین پهنای باند را آزمایش کنیم تا مطمئن شویم شکل بصری، خاصیت خود داده‌ها است، نه یک مصنوع ناشی از پارامتر هموارسازی.[4][7]