ضریب اسپیرمن در برابر تاوی کندال: بدهبستانهای ریاضی در همبستگی رتبهای
اگرچه ضریب اسپیرمن و تاوی کندال اغلب به عنوان جایگزینهای ناپارامتریک و قابلتعویض برای همبستگی پیرسون در نظر گرفته میشوند، اما این دو روش، ناهماهنگیهای دادهها را به شکلهای کاملاً متفاوتی جریمه میکنند. درک حساسیتهای متمایز آنها نسبت به دادههای پرت و رتبههای برابر، برای تحلیل دقیق دادهها حیاتی است.
به قلم فرشید جمشیدی
این خبر را به اشتراک بگذارید
- حامیان آمار استوار
- توابع تأثیر محدود و مقاومت در برابر دادههای پرت را در اولویت قرار میدهند و به شدت طرفدار تاوی کندال هستند.
- طرفداران کارایی محاسباتی
- بر مقیاسپذیری الگوریتمی برای مجموعه دادههای عظیم تمرکز دارند و به طور سنتی ضریب اسپیرمن را ترجیح میدهند.
- تحلیلگران دادههای کاربردی
- برای آشنایی مفهومی و یکپارچگی بومی با نرمافزارها ارزش قائلاند و اغلب اسپیرمن را به عنوان پیشفرض انتخاب میکنند، مگر اینکه رتبههای برابر آنها را مجبور به تغییر روش کند.
دیدگاههایی که این گزارش پوشش نداده
- مدلسازان بیزی ناپارامتریک
- O(n log n)
- پیچیدگی محاسباتی اسپیرمن
- O(n²)
- پیچیدگی کندال کلاسیک
- >70%
- کارایی آماری در مدل نرمال
- 1938
- سال توسعه تاوی کندال
کتابهای مرجع آمار و بستههای نرمافزاری، اغلب ضریب همبستگی رتبهای اسپیرمن (Spearman) و ضریب همبستگی رتبهای کندال (Kendall) را به عنوان ابزارهایی قابلتعویض معرفی میکنند. وقتی یک مجموعه داده نمیتواند پیشفرض نرمال بودن را برای همبستگی استاندارد پیرسون برآورده کند، پژوهشگران معمولاً یکی از این دو گزینه ناپارامتریک را انتخاب میکنند، با این فرض که هر دو استنتاجهای یکسانی درباره روابط یکنوا (monotonic) به دست میدهند.[2][3]
اما شواهد ریاضی مستقیماً این فرضِ قابلتعویض بودن را رد میکند. اگرچه هر دو ضریب، ارتباط ترتیبی را ارزیابی کرده و مقادیری بین ۱- و ۱+ برمیگردانند، اما معماری زیربنایی آنها ناهماهنگیهای دادهها را به روشهای کاملاً متفاوتی جریمه میکند. همانطور که در تعریف پایهای آمده است: «همبستگی اسپیرمن بین دو متغیر، برابر با همبستگی پیرسون بین مقادیر رتبهای آن دو متغیر است.» این یعنی مکانیزم اسپیرمن بر محاسبه مجذور تفاضل بین رتبهها استوار است.[1][2]
تاوی کندال (Kendall's Tau) که در سال ۱۹۳۸ توسط موریس کندال توسعه یافت، رویکردی کاملاً متفاوت در پیش میگیرد. این روش به جای اندازهگیری فاصله، توافقهای جفتی را میشمارد. تاوی کندال به عنوان «یک معیار ناپارامتریک برای روابط بین ستونهای دادههای رتبهبندیشده» تعریف میشود که بر فرمول (C - D) / (C + D) تکیه دارد؛ جایی که C تعداد جفتهای هماهنگ (concordant) و D تعداد جفتهای ناهماهنگ (discordant) است. همین تفاوت ساختاری است که نحوه واکنش هر ضریب به دادههای نویزدار را دیکته میکند.[1][3]
از آنجا که فرمول اسپیرمن بر مجموع مجذور تفاضل رتبهها ضرب در ۶ و تقسیم بر n(n² - 1) استوار است، یک داده پرتِ شدید که مشاهدات را ۵۰ رتبه جابهجا کند، جریمه ریاضی معادل ۲۵۰۰ به همراه خواهد داشت. اما تاوی کندال هر جفت را به صورت جداگانه ارزیابی میکند؛ همان داده پرت صرفاً به عنوان ۴۹ جفت ناهماهنگ نسبت به بقیه شمرده میشود و به این ترتیب، تأثیر آن بر آماره نهایی به شدت محدود میگردد.[2][3]
در سال ۲۰۱۰، تحلیلی توسط دو آمارشناس به نامهای کریستوف کروکس (Christophe Croux) و کاترین دهون (Catherine Dehon) با بررسی توابع تأثیر هر دو معیار، این واگرایی را کمیسازی کرد. مطالعه آنها نشان داد که اگرچه هر دو برآوردگر در مقایسه با پیرسون در مدل نرمال، کارایی آماری «بالای ۷۰ درصد برای تمام مقادیر ممکن همبستگی جامعه» را حفظ میکنند، اما تاوی کندال به طور یکنواخت از حساسیت کمتری نسبت به خطای فاحش (gross-error) برخوردار است.[4]
از نظر تاریخی، پیچیدگی محاسباتی بود که پژوهشگران را به سمت ضریب اسپیرمن سوق داد. الگوریتم کلاسیک برای تاوی کندال نیازمند مقایسه هر جفتِ ممکن از مشاهدات است که به یک بار محاسباتی O(n²) منجر میشود؛ مقیاسی که در مجموعه دادههای عظیم عملکرد ضعیفی دارد. در مقابل، ضریب اسپیرمن با پیچیدگی بسیار سریعترِ O(n log n) عمل میکند که آن را به انتخاب پیشفرض نرمافزارهای آماری اولیه تبدیل کرده بود.[2]
از نظر تاریخی، پیچیدگی محاسباتی بود که پژوهشگران را به سمت ضریب اسپیرمن سوق داد.
با این حال، پیشرفتهای الگوریتمی مدرن تا حد زیادی این مزیت تاریخی را از بین بردهاند. تا سال ۲۰۲۶، الگوریتمهای مرتبسازی مبتنی بر درختِ بهینهشده و افزونههای اصلاحکننده رتبههای برابر، اجازه میدهند تاوی کندال در زمان O(n log n) محاسبه شود؛ پیشرفتی که استقرار آن را در مقیاس گرافهای وب و سریهای زمانی مالی با فرکانس بالا ممکن میسازد. با حذف جریمه محاسباتی، انتخاب بین این دو روش اکنون کاملاً به ویژگیهای آماری آنها بستگی دارد.
نحوه تفسیر این ضرایب نیز آنها را از یکدیگر متمایز میکند. ضریب اسپیرمنِ ۰٫۶۰ فاقد یک ترجمه مستقیمِ احتمالی است؛ این عدد صرفاً یک روند یکنوای متوسط را نشان میدهد. اما تاوی کندالِ ۰٫۶۰ یک احتمال واقعی را ارائه میدهد: اگر دو مشاهده تصادفی را از یک مجموعه داده با ۱۰ هزار رکورد استخراج کنید، شانس اینکه آنها در یک جهت حرکت کنند دقیقاً ۶۰ واحد درصد بیشتر از شانس حرکت آنها در جهات مخالف است.[2][3]
این تفسیر مستقیم احتمالی، تاوی کندال را در زمینههایی مانند یادگیری ماشین و مدیریت ریسک، جایی که پژوهشگران نیاز به کمیسازی دقیق احتمال توافق رتبهها دارند، بهویژه ارزشمند میسازد. با وجود این مزیت ریاضی، ضریب اسپیرمن همچنان معیاری است که بیشتر آموزش داده میشود؛ موضوعی که عمدتاً به دلیل سهولت محاسباتی تاریخی آن و شباهت مفهومیاش با همبستگی پیرسون است.[2]
وجود رتبههای برابر (tied ranks) — جایی که چندین مشاهده دقیقاً مقدار یکسانی دارند — اغلب تصمیم نهایی بین این دو معیار را دیکته میکند. هنگام تحلیل یک مجموعه داده با ۵۰۰ مشاهده که ۱۵۰ مورد از آنها مقدار کاملاً یکسانی دارند، ضریب اسپیرمن نیازمند تخصیص رتبههای کسری به تمام موارد برابر است. اما تاوی کندال انواع خاصی مانند Tau-B برای جداول مربعی و Tau-C برای جداول مستطیلی ارائه میدهد که مخرج کسر را به طور ذاتی تنظیم میکنند. وقتی یک مجموعه داده حاوی خوشهبندی سنگینی باشد، احتمال جفتیِ کندال بازتاب بسیار پایدارتری از ارتباط زیربنایی ارائه میدهد تا آنچه جریمه مجذور فاصله هرگز بتواند فراهم کند.[1][2]
نکات کلیدی
- ضریب اسپیرمن مجذور تفاضل بین رتبهها را محاسبه میکند که آن را نسبت به دادههای پرتِ شدید بسیار حساس میسازد.
- تاوی کندال توافقها و عدم توافقهای جفتی را میشمارد و تأثیر هرگونه ناهنجاری منفرد در دادهها را به شدت محدود میکند.
- اگرچه ضریب اسپیرمن به طور سنتی با سرعت O(n log n) مقیاسپذیرتر است، اما الگوریتمهای مدرن شکاف محاسباتی را برای تاوی کندال پر کردهاند.
- تاوی کندال یک تفسیر مستقیم احتمالی ارائه میدهد و شانس دقیق حرکت دو مشاهده تصادفی در یک جهت را کمیسازی میکند.
بررسی عمیق دیدگاهها
استدلال موافقان ضریب اسپیرمن
برای سرعت محاسباتی و آشنایی مفهومی بهینهسازی شده است که آن را برای دادههای پیوسته و تمیز ایدهآل میسازد.
ضریب اسپیرمن با اعمال مستقیم فرمول همبستگی پیرسون بر روی دادههای رتبهبندیشده عمل میکند. از آنجا که این روش مجذور تفاضل بین رتبهها را محاسبه میکند، جابهجاییهای بزرگ را به شدت جریمه میکند. این امر آن را نسبت به شکل کلی رابطه یکنوا بسیار حساس میسازد. از نظر تاریخی، پیچیدگی محاسباتی O(n log n) آن را به انتخاب پیشفرض برای مجموعه دادههای بزرگ تبدیل کرد، زیرا به صورت نمایی سریعتر از یک مقایسه جفتی ساده مقیاسپذیر است. این روش زمانی مناسب است که دادهها پیوسته و عاری از دادههای پرت شدید باشند و مخاطب به معیاری نیاز داشته باشد که از نظر مفهومی با r پیرسون یکسان باشد.
استدلال موافقان تاوی کندال
برای استواری ریاضی و تفسیر احتمالی بهینهسازی شده است که آن را به انتخابی امنتر برای دادههای نویزدار یا دارای رتبههای برابرِ زیاد تبدیل میکند.
تاوی کندال مفهوم فاصله را به طور کامل کنار میگذارد و به جای آن بر جهتگیری جفتی تمرکز میکند. با شمارش جفتهای هماهنگ و ناهماهنگ، این روش تأثیر هر داده پرت منفرد را به شدت محدود میکند؛ یک جابهجایی رتبه عظیم دقیقاً مشابه یک جابهجایی جزئی شمرده میشود. علاوه بر این، مقدار آن مستقیماً به یک احتمال ترجمه میشود: تاوی ۰٫۵۰ به این معناست که یک جفتِ انتخابشده به صورت تصادفی، ۵۰ واحد درصد شانس بیشتری برای هماهنگی نسبت به ناهماهنگی دارد. این روش زمانی مناسب است که مجموعه داده حاوی رتبههای برابرِ زیاد یا دادههای پرت شدید باشد، یا زمانی که تحلیل به جای یک ضریب انتزاعی، نیازمند یک تفسیر احتمالی واقعی است.
شرایط بدهبستان
آستانه ریاضی که در آن انتخاب بهینه تغییر میکند.
تصمیمگیری بین این دو روش به کیفیت دادهها و وجود رتبههای برابر بستگی دارد. ضریب اسپیرمن زمانی که مجموعه داده حاوی دادههای پرت شدید باشد مناسب نیست، زیرا جریمه مجذور فاصله به طور مصنوعی همبستگی را ضعیف نشان میدهد. تاوی کندال زمانی که منابع محاسباتی در مجموعه دادههای عظیم به شدت محدود است و الگوریتمهای مدرن مبتنی بر درخت O(n log n) برای تاوی در دسترس نیستند، مناسب نخواهد بود. در دادههای ترتیبی به شدت خوشهبندیشده (مانند مقیاسهای ۵ نقطهای لیکرت)، تاوی کندال نوع B (Tau-B) به دلیل تنظیم ذاتی مخرج برای رتبههای برابر، انتخاب قطعی است.
چرا مهم است
انتخاب اشتباه ضریب همبستگی رتبهای میتواند رابطه درکشده در دادههای نویزدار را به طور مصنوعی قویتر یا ضعیفتر نشان دهد؛ مسئلهای که به انتخاب ویژگیهای معیوب در مدلهای یادگیری ماشین و نتیجهگیریهای نادرست در پژوهشهای علمی منجر میشود.
منابع
[1]Statistics How Toتحلیلگران دادههای کاربردیKendall's Tau (Kendall Rank Correlation Coefficient)
مطالعه در Statistics How To →
[2]Wikipediaطرفداران کارایی محاسباتیSpearman's rank correlation coefficient
مطالعه در Wikipedia →
[3]Wikipediaطرفداران کارایی محاسباتیKendall rank correlation coefficient
مطالعه در Wikipedia →
[4]Tilburg Universityحامیان آمار استوارInfluence functions of the Spearman and Kendall correlation measures
مطالعه در Tilburg University →
[5]تیم سردبیری کوهستانحامیان آمار استوارتحلیل تیم سردبیری کوهستان
مطالعه در تیم سردبیری کوهستان →
نظرات
بیشتر در تحلیل داده
مشاهده همه →روششناسی آماری
چگونه خطای معیار در مقایسه با انحراف معیار، واریانس ظاهری را فشرده میکند
9 منبع
استنتاج آماری
چرا بازههای پیشبینی هرگز به صفر نمیرسند، اما بازههای اطمینان چرا؟
7 منبع
تشخیص ناهنجاری
پرونده شواهد: دقت قانون بنفورد در کشف تقلبهای مالی و انتخاباتی
6 منبع
مدلسازی اقلیمی
تحلیل دادهها تأیید میکند: جهان از اولین نقطه اوج اقلیمی عبور کرد؛ آستانه آمازون اکنون ۱.۵ درجه سانتیگراد تخمین زده میشود
4 منبع
هر زاویه. هر روز.
دریافت تحلیل داده اخبار همراه با پوشش کامل منابع و تحلیل دیدگاهها، مستقیم در صندوق ورودی شما.





