سازوکار خوشه‌بندی K-Means: چگونه یادگیری بدون نظارت داده‌ها را تقسیم کرده و K بهینه را تعیین می‌کند

خوشه‌بندی K-Means یک الگوریتم بنیادی در یادگیری ماشین بدون نظارت است که برای یافتن ساختارهای پنهان در داده‌های بدون برچسب طراحی شده است. این الگوریتم بر اساس یک فرض ساده عمل می‌کند: تقسیم یک مجموعه داده به تعداد از پیش تعریف شده‌ای از زیرگروه‌های مجزا و غیرهمپوشان، به طوری که هر نقطه داده به گروهی تعلق داشته باشد که نزدیک‌ترین میانگین را دارد.[1]

الگوریتم نمی‌داند که این گروه‌ها نماینده چه چیزی هستند؛ تنها چیزی که می‌داند فاصله ریاضی است. با اختصاص تکراری نقاط به نزدیک‌ترین مرکز و محاسبه مجدد آن مرکز، K-Means نمودارهای پراکندگی آشفته را به بخش‌های سازمان‌یافته و منسجم ریاضی تبدیل می‌کند.[5]

سازوکار این الگوریتم بر یک حلقه چهار مرحله‌ای متکی است. ابتدا، الگوریتم با قرار دادن تصادفی تعداد مشخصی از مراکز (Centroids)—مراکز نظری خوشه‌های آینده—در فضای داده، آغاز به کار می‌کند. این تعداد با متغیر 'k' نمایش داده می‌شود.[2]

ثانیاً، فاز تخصیص آغاز می‌شود. الگوریتم فاصله، که معمولاً با استفاده از هندسه اقلیدسی محاسبه می‌شود، بین هر نقطه داده و هر یک از مراکز اولیه را اندازه‌گیری می‌کند. سپس هر نقطه به نزدیک‌ترین مرکز به آن اختصاص داده می‌شود و خوشه‌های اولیه، هرچند خام، شکل می‌گیرند.[1]

ثالثاً، فاز به‌روزرسانی مرکز واقعی این خوشه‌های تازه شکل‌گرفته را مجدداً محاسبه می‌کند. مرکز (Centroid) به میانگین ریاضی دقیق تمام نقاط داده‌ای که در حال حاضر به گروهش اختصاص داده شده‌اند، منتقل می‌شود.[5]

در نهایت، الگوریتم فازهای تخصیص و به‌روزرسانی را تکرار می‌کند. از آنجا که مراکز جابجا شده‌اند، ممکن است برخی از نقاط داده اکنون به مرکز دیگری نزدیک‌تر باشند. این حلقه تا رسیدن به همگرایی (Convergence) ادامه می‌یابد—نقطه‌ای که در آن مراکز دیگر حرکت نمی‌کنند و تخصیص نقاط داده کاملاً ثابت باقی می‌ماند.[2]

در حالی که سازوکار تکراری ساده است، نقص مهلک این الگوریتم در نام آن نهفته است: حرف K. الگوریتم نمی‌تواند تعیین کند که چند خوشه به طور طبیعی در داده‌ها وجود دارد؛ اپراتور انسانی باید مقدار K را قبل از شروع فرآیند دیکته کند.[1]

انتخاب K اشتباه منجر به نتایجی می‌شود که از نظر ریاضی معتبر اما از نظر عملی بی‌معنی هستند. اگر K خیلی کم باشد، گروه‌های متمایز در یک میانگین بی‌فایده ادغام می‌شوند. اگر K خیلی زیاد باشد، گروه‌های طبیعی به بخش‌های فوق‌العاده خاص و غیرقابل تفسیر تقسیم می‌شوند.[4]

برای حل مشکل K، دانشمندان داده به دو معیار ارزیابی اصلی تکیه می‌کنند. اولین مورد، روش آرنج (Elbow Method) است که مجموع مربعات درون خوشه (WCSS)—یعنی کل واریانس درون هر خوشه—را در مقادیر مختلف K محاسبه می‌کند.[4]

با افزایش K، WCSS به طور طبیعی کاهش می‌یابد زیرا خوشه‌های کوچک‌تر واریانس داخلی کمتری دارند. ترسیم WCSS در برابر K معمولاً یک منحنی را نشان می‌دهد که به شدت خم شده و سپس صاف می‌شود. این نقطه عطف، یا «آرنج»، نشان‌دهنده آستانه‌ای است که در آن افزودن خوشه‌های بیشتر بازدهی کاهشی سریعی در کاهش واریانس ایجاد می‌کند.[6]

با این حال، روش آرنج اغلب مبهم است. در مجموعه‌داده‌های دنیای واقعی با گروه‌های همپوشان، منحنی ممکن است صاف باشد و فاقد یک آرنج متمایز باشد. این شواهد ضعیف تحلیلگران را مجبور می‌کند تا پارتیشن‌بندی بهینه را بر اساس خوانش ذهنی از یک منحنی ملایم حدس بزنند.[4]

هنگامی که آرنج نامشخص است، امتیاز سیلوئت (Silhouette Score) یک جایگزین دقیق‌تر ارائه می‌دهد. این معیار هم انسجام (نزدیکی یک نقطه به خوشه خودش) و هم تفکیک (فاصله آن از نزدیک‌ترین خوشه همسایه) را ارزیابی می‌کند.[3]

امتیاز سیلوئت در محدوده ۱- تا ۱ قرار دارد. امتیازی نزدیک به ۱ نشان می‌دهد که نقطه کاملاً خوشه‌بندی شده است، ۰ نشان‌دهنده خوشه‌های همپوشان است، و امتیازات منفی نشان می‌دهد که نقطه به طور کلی به گروه اشتباهی اختصاص داده شده است.[3]

با محاسبه میانگین امتیاز سیلوئت در تمام نقاط داده برای مقادیر مختلف K، تحلیلگران می‌توانند تعداد دقیق خوشه‌هایی را که تفکیک و انسجام را به حداکثر می‌رساند، مشخص کنند و یک پاسخ ریاضی قطعی ارائه دهند، حتی زمانی که روش آرنج شکست می‌خورد.[6]

با وجود این ابزارهای ارزیابی، K-Means محدودیت‌های سختی دارد. این الگوریتم فرض می‌کند که خوشه‌ها کروی و هم‌اندازه هستند، که آن را در شناسایی توزیع‌های داده‌ای کشیده، متحدالمرکز یا با شکل نامنظم بسیار ناکارآمد می‌کند.[1]

علاوه بر این، از آنجا که K-Means بر مقادیر میانگین متکی است، نسبت به نقاط پرت (outliers) بسیار حساس است. یک نقطه داده ناهنجار می‌تواند یک مرکز (centroid) را از مرکز واقعی یک خوشه متراکم دور کند، کل تقسیم‌بندی را منحرف کرده و دقت مدل را از بین ببرد.[2]

در نهایت، K-Means از «نفرین ابعاد» رنج می‌برد. با افزایش تعداد متغیرها در مجموعه داده، مفهوم فاصله اقلیدسی معنای خود را از دست می‌دهد، و باعث می‌شود همه نقاط هم‌فاصله به نظر برسند و الگوریتم بدون کاهش ابعاد قبلی، بی‌فایده شود.[5]