مکانیک نمودار جعبه‌ای: چگونه چارک‌ها، داده‌های پرت و کج‌شدگی را بخوانیم و تفسیر کنیم

به طور خلاصه، نمودار جعبه‌ای یک خلاصه بصری است که یک مجموعه داده را به چهار بخش مساوی تقسیم می‌کند، یک جعبه دور نیمه میانی می‌کشد و هر چیزی را که بیش از حد از آن جعبه دور باشد، به عنوان داده پرت علامت‌گذاری می‌کند. این سریع‌ترین راه برای دیدن این است که آیا داده‌ها کج‌شدگی دارند، چقدر پراکندگی دارند و مقادیر معمول واقعاً کجا قرار می‌گیرند. اما دستیابی به این سادگی مستلزم درک مکانیک نحوه ترسیم این مرزها و آنچه نمودار عمداً پنهان می‌کند، است.[7]

اساس نمودار جعبه‌ای، «خلاصه پنج عددی» است. به جای تکیه بر یک میانگین واحد—که می‌تواند به راحتی توسط چند مقدار شدید تحریف شود—این روش بر صدک‌ها متکی است. این پنج عدد عبارتند از: حداقل (Minimum)، چارک اول (صدک ۲۵)، میانه (صدک ۵۰)، چارک سوم (صدک ۷۵) و حداکثر (Maximum). با ترسیم این پنج لنگر، نمودار شکل داده‌ها را بدون نیاز به ترسیم تک‌تک نقاط، آشکار می‌سازد.[1][2]

برجسته‌ترین ویژگی نمودار، جعبه مرکزی است. لبه پایینی جعبه نشان‌دهنده چارک اول (Q1) است، به این معنی که ۲۵ درصد داده‌ها زیر این خط قرار دارند. لبه بالایی نشان‌دهنده چارک سوم (Q3) است، به این معنی که ۷۵ درصد داده‌ها زیر آن قرار می‌گیرند. در نتیجه، خود جعبه دقیقاً ۵۰ درصد میانی مجموعه داده را در بر می‌گیرد و یک لنگر بصری واضح برای اکثریت مشاهدات فراهم می‌کند.[2][5]

این ۵۰ درصد میانی به عنوان دامنه بین چارکی (Interquartile Range) یا IQR شناخته می‌شود. IQR یک معیار قوی برای پراکندگی است؛ برخلاف دامنه کلی (حداکثر منهای حداقل)، IQR کاملاً تحت تأثیر داده‌های پرت شدید قرار نمی‌گیرد. اگر به نمودار جعبه‌ای درآمد خانوار نگاه می‌کنید، IQR دقیقاً به شما می‌گوید که طبقه متوسط در آن مجموعه داده خاص چقدر درآمد دارد، و میلیاردرهای بالا و ورشکستگان پایین را کاملاً نادیده می‌گیرد.[2][6]

درون جعبه، خطی قرار دارد که نشان‌دهنده میانه است. اگر خط میانه دقیقاً در مرکز جعبه قرار گیرد، ۵۰ درصد میانی داده‌ها به صورت متقارن توزیع شده‌اند. اگر خط میانه به سمت پایین جعبه فشرده شود، داده‌ها دارای کج‌شدگی مثبت هستند، به این معنی که مقادیر پایین‌تر به شدت در کنار هم فشرده شده‌اند در حالی که مقادیر بالاتر در یک دامنه وسیع‌تر کشیده شده‌اند.[4]

خطوطی که از جعبه به سمت بیرون امتداد می‌یابند، «سبیلک‌ها» (Whiskers) نامیده می‌شوند. اینجاست که مکانیک نمودار کمی پیچیده‌تر می‌شود و نرم‌افزارهای آماری اغلب تصمیمات نامرئی برای کاربر می‌گیرند. در ابتدا، سبیلک‌ها به سادگی تا مقادیر حداقل و حداکثر مطلق مجموعه داده امتداد می‌یافتند. با این حال، این امر نمودار را در برابر داده‌های پرت شدید بسیار آسیب‌پذیر می‌کرد، به طوری که سبیلک‌ها تا طول‌های بی‌فایده کشیده می‌شدند و جعبه مرکزی را به یک نوار باریک غیرقابل خواندن فشرده می‌کردند.[3][5]

برای حل این مشکل، جان توکی، آمارشناسی که نمودار جعبه‌ای را در سال ۱۹۷۰ اختراع کرد، یک مرز ریاضی برای سبیلک‌ها معرفی کرد. او یک «حصار» تعریف کرد که در فاصله ۱.۵ برابر دامنه بین چارکی (IQR) فراتر از لبه‌های بالا و پایین جعبه قرار داشت. سبیلک‌ها تا دورترین نقطه داده واقعی که هنوز درون این حصار نامرئی قرار دارد، ترسیم می‌شوند، نه اینکه تا خود مرز نظری امتداد یابند.[1][6]

چرا ۱.۵؟ خود توکی اعتراف کرد که ۱ بسیار کوچک و ۲ بسیار بزرگ است، و ۱.۵ را به عنوان یک حد وسط عمل‌گرایانه انتخاب کرد که برای داده‌های دارای توزیع نرمال به خوبی کار می‌کرد. در یک توزیع نرمال کامل، مرز ۱.۵ برابر IQR تقریباً ۹۹.۳ درصد داده‌ها را در بر می‌گیرد. امروزه، این ضریب ۱.۵ در تقریباً تمام بسته‌های نرم‌افزاری آماری اصلی، از مینی‌تب (Minitab) گرفته تا مت‌پلات‌لیب (Matplotlib) پایتون، به صورت کد ثابت (Hardcoded) گنجانده شده است و یک استاندارد جهانی برای تشخیص ناهنجاری‌ها ایجاد کرده است.[1]

هر نقطه داده‌ای که فراتر از انتهای سبیلک‌ها قرار گیرد، به عنوان داده پرت طبقه‌بندی می‌شود. نمودار جعبه‌ای به جای امتداد دادن سبیلک برای رسیدن به آن‌ها، این نقاط را به صورت جداگانه، معمولاً به شکل نقطه‌ یا ستاره، نمایش می‌دهد. این شاید قدرتمندترین ویژگی این نمودار باشد: ناهنجاری‌ها را به طور خودکار علامت‌گذاری می‌کند بدون اینکه تحلیلگر مجبور باشد هزاران ردیف داده را به صورت دستی جستجو کند.[3][5]

هنگامی که یک دانشمند داده به نمودار جعبه‌ای نگاه می‌کند که در بالای سبیلک بالایی آن خوشه‌ای متراکم از نقاط پرت وجود دارد، بلافاصله متوجه می‌شود که مجموعه داده شامل یک «دنباله» سنگین از مقادیر بسیار بالا است. در کارآزمایی‌های بالینی، این نقاط ممکن است نشان‌دهنده بیمارانی باشند که واکنش غیرمعمول قوی به یک دارو داشته‌اند؛ در تولید، ممکن است قطعات معیوبی را نشان دهند که بسیار فراتر از تلرانس‌های قابل قبول قرار می‌گیرند.[3]

با این حال، شواهد ارائه شده توسط نمودار جعبه‌ای محدودیت‌های سختی دارند. از آنجا که این نمودار یک مجموعه داده را تنها به پنج عدد کاهش می‌دهد، عمداً چگالی زیربنایی داده‌ها را مبهم می‌کند. نمودار جعبه‌ای نمی‌تواند به شما بگوید که چند نقطه داده در کل نمونه وجود دارد. نمودار جعبه‌ای ۱۰ مشاهده می‌تواند کاملاً شبیه نمودار جعبه‌ای ۱۰,۰۰۰ مشاهده باشد، اگر چارک‌های آن‌ها تصادفاً هم‌تراز شوند.[5][6]

علاوه بر این، نمودارهای جعبه‌ای فرض می‌کنند که داده‌ها حول یک میانه مرکزی واحد خوشه‌بندی می‌شوند. اگر یک مجموعه داده دومنوالی (Bimodal) باشد—به این معنی که دارای دو قله متمایز است، مانند قد یک گروه مختلط از مردان و زنان بالغ—نمودار جعبه‌ای به سادگی یک جعبه در عرض میانه ترسیم می‌کند و دو خوشه جداگانه را کاملاً پنهان می‌کند. خط میانه حتی ممکن است در دره‌ای قرار گیرد که در آن تعداد بسیار کمی از نقاط داده واقعی وجود دارد.[5][7]

به همین دلیل، تحلیل داده مدرن اغلب نمودار جعبه‌ای را با «نمودار ویولن» (Violin Plot) یا «نمودار جیتر» (Jitter Plot) ترکیب می‌کند. نمودار ویولن از تخمین چگالی کرنل برای نشان دادن شکل واقعی توزیع استفاده می‌کند، جایی که داده‌ها متراکم هستند متورم می‌شود و جایی که پراکنده هستند باریک می‌شود، در حالی که همچنان خلاصه پنج عددی توکی را در مرکز روی آن قرار می‌دهد. این رویکرد ترکیبی، نقاط کور نمودار جعبه‌ای سنتی را پوشش می‌دهد.[4][6]

با وجود این محدودیت‌ها، نمودار جعبه‌ای همچنان یک ابزار اساسی در تحلیل اکتشافی داده‌ها باقی مانده است. این نمودار یک روش استاندارد و از نظر ریاضی دقیق برای مقایسه چندین توزیع در کنار هم ارائه می‌دهد. هنگام مقایسه نمرات آزمون پنج مدرسه مختلف، پنج نمودار جعبه‌ای کنار هم فوراً نشان می‌دهند که کدام مدرسه بالاترین میانه را دارد، کدام یک گسترده‌ترین پراکندگی توانایی را دارد و کدام یک دارای داده‌های پرت شدید است.[2][4]

در نهایت، نمودار جعبه‌ای تمرینی در فشرده‌سازی استراتژیک است. با قربانی کردن جزئیات دانه‌ای تک‌تک نقاط داده، وضوح را به دست می‌آورد و به محققان اجازه می‌دهد تا واقعیت ساختاری داده‌ها را در یک نگاه ببینند. این نشان می‌دهد که گاهی اوقات، بهترین راه برای درک یک مجموعه داده عظیم، نگاه کردن به تنها پنج عدد است.[1][7]