چگونه خطاهای عرض بازه در هیستوگرام، نمای داده‌ها را وارونه و خوشه‌ها را پنهان می‌کنند؟

همانند میانگین متحرک که با هموارسازی نوسانات روزانه بازار سهام روندهای بلندمدت را آشکار می‌سازد، هیستوگرام نیز نقاط منفرد داده را در بازه‌هایی مشخص دسته‌بندی می‌کند تا توزیع زیربنایی آن‌ها نمایان شود. هر دو روش، دقت خام و جزئی را فدای وضوح ساختاری کلی می‌کنند.[1]

اما در حالی که میانگین متحرک تنها سیگنال را با تأخیر مواجه می‌کند، انتخاب نامناسب عرض بازه در هیستوگرام می‌تواند ماهیت سیگنال را کاملاً وارونه سازد. تحمیل بازه‌های دلخواه به داده‌ها ممکن است قله‌های کاذب بیافریند یا خوشه‌های واقعی را یک‌سره محو کند.[1]

این اعوجاج ساختاری، رخدادی نادر یا استثنایی در گوشه و کنار تحلیل نیست؛ بلکه تنظیمات پیش‌فرضِ ریاضیاتی در میلیون‌ها محیط تحلیلی است که بر اساس فرمولی صدساله عمل می‌کنند و نحوه ترسیم داده‌ها در نرم‌افزارهای امروزی را رقم می‌زنند.[1][5]

مکانیسم اعوجاج در بازه‌های هیستوگرام

هیستوگرام داده‌های خام را مستقیماً رسم نمی‌کند، بلکه خلاصه‌ای از داده‌ها را به تصویر می‌کشد. الگوریتم بازه کل مقادیر را به زنجیره‌ای از دسته‌های متوالی و نامتداخل تقسیم می‌کند و تعداد مشاهدات قرارگرفته در هر دسته را می‌شمارد.[1]

از نظر محاسباتی، هیستوگرام در جایگاه یک برآوردگر چگالی ناپارامتری عمل می‌کند. این ابزار می‌کوشد تنها با تکیه بر نمونه‌ای متناهی و گسسته از مشاهدات، توزیع پیوسته احتمال در کل جامعه را بازسازی کند.[3]

مساحت هر مستطیل رسم‌شده متناسب با فراوانی داده‌های درون آن است. هنگامی که عرض بازه‌ها یکسان انتخاب شود، ارتفاع ستون به‌تنهایی نمایانگر چگالی خواهد بود و چشم انسان بلافاصله آن را درک می‌کند.[1]

عرض این بازه‌ها شکل نهایی نمودار را تعیین می‌کند. اگر بازه‌ها بیش از اندازه باریک باشند، نمودار به خط‌کدی پر از نویز و ستون‌های پراکنده تبدیل می‌شود که به‌جای ساختار معنادار، صرفاً پراکندگی تصادفی داده‌ها را نشان می‌دهد.[1][6]

چنانچه بازه‌ها بیش از حد عریض باشند، نقصی معکوس روی می‌دهد؛ الگوریتم داده‌ها را به‌شکلی تهاجمی هموار می‌کند و ویژگی‌های بارز محلی را درون بلوک‌هایی حجیم و بدون تفکیک حل می‌نماید، به‌طوری که ساختار واقعی داده‌ها ناپدید می‌شود.[1][4]

دیوید فریدمن و پرسی دیاکونیس، دو آماردان برجسته، در مقاله جریان‌ساز سال ۱۹۸۱ خود نوشتند: «هیستوگرام ساده‌ترین و پرکاربردترین برآوردگر چگالی است. با این حال، کارایی آن به‌طور بنیادین به انتخاب عرض بازه وابسته است.»[3]

هنگامی که مجموعه‌داده حاوی چندین خوشه مجزا باشد—ویژگی‌ای که با عنوان دومُدی یا چندمُدی شناخته می‌شود—بازه بسیار عریض، دره میان قله‌ها را فرومی‌بلعد و نمودار به‌اشتباه توده‌ای یکدست و متمرکز از داده‌ها را به تصویر می‌کشد.[1]

معیار پیش‌فرض صدساله

برای آنکه کاربران ناچار به حدس زدن بازه مناسب نباشند، نرم‌افزارهای آماری به قواعد خودکار متکی هستند. رایج‌ترین نمونه از این قواعد دقیقاً صد سال پیش، یعنی در سال ۱۹۲۶، به‌دست هربرت استرجز معرفی شد.[2]

فرمول استرجز تعداد بازه‌ها را با محاسبه لگاریتم بر مبنای ۲ از اندازه نمونه به‌علاوه یک به‌دست می‌آورد. بر اساس این قاعده، برای مجموعه‌داده‌ای با ۱۰۰ مشاهده، تقریباً هشت بازه تعریف می‌شود.[2]

این فرمول متناسب با ظرفیت‌های محاسباتی دهه ۱۹۲۰ طراحی شد؛ فرض بنیادین آن توزیع متقارن و زنگوله‌ای نرمال در داده‌ها بود و با افزایش اندازه نمونه، با روندی بسیار کند رشد می‌کرد.[2][4]

راب جی. هایندمن، آماردان دانشگاه موناش، در نقدی در سال ۱۹۹۵ خاطرنشان کرد: «قاعده استرجز به‌طور ضمنی فرض را بر توزیع نرمال می‌گذارد. این قاعده برای داده‌های غیرنرمال یا نمونه‌های بزرگ عملکرد نامناسبی دارد و هیستوگرام‌هایی بیش‌از‌حد هموار تولید می‌کند.»[4]

از آنجا که تابع لگاریتمی به‌سرعت مسطح می‌شود، فرمول استرجز در برابر مجموعه‌داده‌های عظیم امروزی دچار افت چشمگیر کارایی می‌شود. این فرمول نمونه‌ای با ۱۰,۰۰۰ مشاهده را فارغ از پیچیدگی توزیع واقعی، تنها در ۱۵ بازه فشرده می‌کند.[1][2]

اگر آن ۱۰,۰۰۰ مشاهده نشان‌دهنده درآمد افراد باشد—با یک خوشه بزرگ حول میانه و خوشه‌ای مجزا از پردرآمدها—۱۵ بازه استرجز هر دو گروه را در هم ادغام می‌کنند و شواهد تصویری نابرابری به‌سادگی از دید پنهان می‌ماند.[1]

راهکار مبتنی بر دامنه میان‌چارکی

فریدمن و دیاکونیس با درک محدودیت‌های ریاضی استاندارد سال ۱۹۲۶، در سال ۱۹۸۱ جایگزینی پایدار ارائه کردند. قاعده آن‌ها به‌جای شمارش تعداد بازه‌ها، مستقیماً عرض بهینه بازه را محاسبه می‌کرد.[3]

قاعده فریدمن-دیاکونیس دامنه میان‌چارکی داده‌ها را در عدد دو ضرب کرده و حاصل را بر ریشه سوم اندازه نمونه تقسیم می‌کند؛ رویکردی که شیوه مقیاس‌پذیری بصری را به‌کلی دگرگون می‌سازد.[3]

این فرمول با اتکا به دامنه میان‌چارکی—فاصله میان صدک‌های ۲۵ و ۷۵—از داده‌های پرت چشم‌پوشی می‌کند؛ بنابراین، حضور یک میلیاردر در آمار درآمد، بازه‌ها را به ابعادی ناکارآمد و پهن نمی‌کشاند.[1][3]

از آنجا که دامنه میان‌چارکی گستردگی ۵۰ درصد میانی داده‌ها را می‌سنجد، اتکاپذیری بالایی دارد؛ حتی اگر داده‌ها با چند خطای فاحش اندازه‌گیری مخدوش شوند، عرض بازه نهایی همچنان از مبنای ریاضی درستی برخوردار خواهد بود.[1]

این مقاومت در برابر نقاط پرت، قاعده فریدمن-دیاکونیس را در داده‌های مالی و زیستی بسیار کاربردی می‌سازد؛ توزیع درآمدها و سطح بیان ژن‌ها اغلب دارای دم‌های سنگینی هستند که محاسبات مبتنی بر واریانس مرسوم را کاملاً ناپایدار می‌کنند.[1]

افزون بر این، مقیاس‌بندی بر مبنای ریشه سوم تضمین می‌کند که هم‌گام با افزایش حجم نمونه، عرض بازه‌ها به‌خوبی باریک‌تر شود. داده‌های بیشتر مستقیماً به وضوح دیداری بالاتر می‌انجامند و جزئیات دقیق‌تری از ساختار پدیدار می‌گردد.[3]

برای همان مجموعه‌داده فرضی با ۱۰,۰۰۰ مشاهده، قاعده فریدمن-دیاکونیس ۸۴ بازه متمایز تعیین می‌کند؛ این تفکیک بالاتر، خوشه میانه را از قله دوم جدا ساخته و ساختار دومُدی واقعی را بازمی‌نمایاند.[1]

این تفاوت صرفاً جنبه زیبایی‌شناختی ندارد، بلکه نتیجه تحلیل را دگرگون می‌سازد؛ تحلیل‌گری که نمودار ۱۵ بازه‌ای استرجز را می‌بیند جامعه‌ای چوله و یکدست تشخیص می‌دهد، در حالی که نمودار ۸۴ بازه‌ای دو جامعه مستقل با نیازهای مداخله‌ای متفاوت را آشکار می‌سازد.[1]

پیاده‌سازی نرم‌افزاری و ماندگاری روش‌های قدیمی

با وجود برتری ریاضی روش فریدمن-دیاکونیس برای داده‌های دم‌سنگین، فرمول استرجز همچنان در ساختار ابزارهای تحلیلی جا خوش کرده است؛ سادگی این فرمول موجب شد در دوران آغازین رایانش به گزینه پیش‌فرض بدل شود.[4][5]

زبان R پایه، که ارکان محاسبات آماری را تشکیل می‌دهد، در تابع اصلی هیستوگرام خود هنوز قاعده استرجز را اجرا می‌کند؛ تحلیل‌گران برای داده‌های پیچیده ناچارند پارامتر پیش‌فرض را دستی تغییر داده و روش سال ۱۹۸۱ را برگزینند.[4]

کتابخانه نام‌پای در پایتون رویکرد پیشروانه‌تری در پیش گرفته است؛ الگوریتم تقسیم بازه خودکار آن نتایج هر دو روش استرجز و فریدمن-دیاکونیس را حساب کرده و گزینه‌ای را که بیشترین تعداد بازه را ایجاد کند انتخاب می‌کند.[5]

این شیوه مبتنی بر بیشینه بازه، برای نمونه‌های کوچک با توزیع نرمال از استرجز بهره می‌برد و در برابر مجموعه‌داده‌های بزرگ یا دارای چولگی شدید، کار را به قاعده فریدمن-دیاکونیس می‌سپارد.[5]

صفحه‌گسترده‌های تجاری معمولاً منطق ریاضی دسته‌بندی را پنهان می‌کنند؛ قابلیت رسم خودکار هیستوگرام در اکسل بر منطق داخلی خود استوار است و اغلب بازه‌هایی دلخواه تولید می‌کند که ردیابی آن‌ها به یک قاعده آماری معتبر دشوار است.[1]

محدودیت‌های دسته‌بندی خودکار

گرچه قاعده فریدمن-دیاکونیس مانع از هموارسازی شدید فرمول استرجز می‌شود، هیچ فرمول ریاضی واحدی قادر نیست ظرافت‌های تمام داده‌ها را بی‌نقص منعکس کند؛ برآورد چگالی همواره روندی تجربی و رفت‌وبرگشتی است.[6]

در منابع نشریه The American Statistician درباره برآورد چگالی آمده است: «عرض بهینه بازه به تابع چگالی ناشناخته بستگی دارد؛ قواعد تقریبی نقطه آغاز مناسبی هستند، اما کاوش تصویری دقیق مستلزم آزمودن بازه‌های گوناگون است.»[6]

چنانچه داده‌ها خطای ترجیح ارقام داشته باشند—مانند شرکت‌کنندگانی در نظرسنجی که سن خود را به نزدیک‌ترین مضرب صفر یا پنج گرد می‌کنند—حتی فرمولی پایدار ممکن است بازه‌ای انتخاب کند که با این گردکردن‌ها ناهمخوان باشد.[1]

در این وضعیت، عرض بازه ۴٫۹ سال هیستوگرامی ناهموار و نامنظم می‌سازد، چرا که مقادیر گردشده به‌شکلی نابرابر در مرزها پخش می‌شوند؛ تحلیل‌گر باید فرمول را کنار گذاشته و بازه را دستی روی عدد ۵٫۰ قرار دهد.[1]

برخی ابزارهای مدرن بصری‌سازی، شیوه‌های دسته‌بندی انطباقی را معرفی کرده‌اند که عرض بازه‌ها را در پهنه یک نمودار تغییر می‌دهند؛ این الگوریتم‌ها در نواحی متراکم بازه‌های باریک برای نمایش قله‌ها و در دم‌های پراکنده بازه‌های پهن برای کاهش نویز به کار می‌گیرند.[1]

با این حال، هیستوگرام‌های با عرض متغیر مستلزم آنند که خواننده مساحت ستون‌ها را بسنجد نه صرفاً ارتفاع آن‌ها را؛ این بار محاسباتی ذهنی هدف اصلی بصری‌سازی را تضعیف کرده و بیشتر تحلیل‌گران را به استفاده از عرض‌های یکدست بازمی‌گرداند.[1]

کارآمدترین راهکار برای مهار خطاهای عرض بازه، کاوش تعاملی است؛ پلتفرم‌های تحلیل بصری روزافزون اسلایدرها را جایگزین فرمول‌های ایستا می‌کنند تا تحلیل‌گر با جابه‌جا کردن عرض‌ها، دگرگونی چیدمان مُدها را مشاهده کند.[1]

با تبدیل عرض بازه از یک شاخص ایستا به یک متغیر پویا، دانشمندان داده می‌توانند تشخیص دهند کدام قله‌ها واقعیت‌های ماندگار ساختاری هستند و کدام صرفاً پدیده‌هایی گذرا ناشی از مرزهای محاسباتی دسته‌ها به شمار می‌روند.[1]