چگونه واگرایی کولبک-لایبلر میزان از دست رفتن اطلاعات را هنگام تقریب یک توزیع احتمال با توزیع دیگر اندازه‌گیری می‌کند

وقتی یک مدل یادگیری ماشین مجموعه داده‌های عظیمی را در یک تقریب کوچک‌تر و سریع‌تر فشرده می‌کند، ناگزیر اطلاعاتی را از دست می‌دهد. اندازه دقیق این افت - که بر حسب بیت اندازه‌گیری می‌شود - اکنون به طور معمول توسط واگرایی کولبک-لایبلر (KL) کمّی می‌شود؛ یک فرمول ریاضی که تعیین می‌کند آیا یک سیستم هوش مصنوعی با خیال راحت تمام نتایج ممکن را در بر می‌گیرد یا به شکلی خطرناک رویدادهای نادر را نادیده می‌گیرد. این معادله که در اصل در سال ۱۹۵۱ توسط سالامون کولبک و ریچارد لایبلر در یک مقاله ۱۹ صفحه‌ای منتشر شد، به محدودیت بنیادی هوش مصنوعی مولد مدرن تبدیل شده است و الگوریتم‌ها را مجبور می‌کند تا شکاف بین واقعیت آشفته احتمالات واقعی و منحنی‌های تمیز یک مدل آماری را در نظر بگیرند.[3]

برخلاف یک خط‌کش فیزیکی استاندارد، واگرایی KL کاملاً نامتقارن است. اندازه‌گیری فاصله از یک توزیع واقعی تا یک تقریب، جریمه‌ای کاملاً متفاوت نسبت به اندازه‌گیری از تقریب به سمت واقعیت به همراه دارد. این عدم تقارن اساساً نحوه یادگیری مدل‌ها را تغییر می‌دهد. اگر یک الگوریتم غربالگری پزشکی از واگرایی KL پیشرو استفاده کند، فرمول احتمال واقعی یک بیماری را بر احتمال تخمین‌زده‌شده توسط مدل تقسیم می‌کند. اگر مدل برای رویدادی که واقعاً اتفاق می‌افتد حدسی نزدیک به صفر بزند، جریمه لگاریتمی به سمت بی‌نهایت میل می‌کند. این وتوی ریاضی، مدل را مجبور می‌کند تا تقریب خود را در تمام نقاط داده ممکن بسط دهد و جلوگیری از منفی‌های کاذب را بیش از هر چیز دیگری در اولویت قرار دهد.[1][2]

در تعریف بنیادی این معیار آمده است: «یک تفسیر ساده از واگرایی KL از P نسبت به Q، میزان غافلگیری اضافی مورد انتظار ناشی از استفاده از تقریب Q به جای P است.» در اصطلاح عملی، این معیار نشان‌دهنده تعداد دقیق بیت‌های اضافی داده است که برای رمزگذاری اطلاعات در صورتی که سیستم به جای حقیقت مطلق بر یک مدل ناقص تکیه کند، مورد نیاز است. اگر دو توزیع کاملاً یکسان باشند، واگرایی KL دقیقاً به ۰٫۰ بیت کاهش می‌یابد. به عنوان مثال، اگر یک توزیع واقعی برای رمزگذاری به ۸٫۰ بیت در هر پیام نیاز داشته باشد، اما توزیع تقریبی به ۸٫۵ بیت نیاز داشته باشد، واگرایی KL دقیقاً ۰٫۵ بیت خواهد بود - معیار دقیقی از ناکارآمدی ایجاد شده توسط تقریب.[2][3][4]

ماهیت جهت‌دار این جریمه، یک بده‌بستان آشکار در طراحی سیستم ایجاد می‌کند. وقتی مهندسان معادله را معکوس می‌کنند - یعنی محاسبه واگرایی حقیقت از مدل - ساختار جریمه وارونه می‌شود. واگرایی KL معکوس، مدل را به دلیل تولید داده‌هایی که احتمال واقعی آن‌ها صفر است، به شدت مجازات می‌کند. برای جلوگیری از این جریمه بی‌نهایت، مدل پیش‌بینی‌های خود را حول یک قله امن و منفرد با احتمال بالا متمرکز کرده و بقیه مجموعه داده‌ها را نادیده می‌گیرد. این رفتار «حالت‌جو» دلیلی است که مدل‌های مولد اولیه اغلب خروجی‌های بسیار واقع‌گرایانه اما تکراری تولید می‌کردند و کلاس‌های اقلیت را به طور کامل از توزیع‌های تولید شده خود حذف می‌کردند.[1][2]

برای جلوگیری از فروپاشی الگوریتم‌ها به دلیل تقسیم بر صفر هنگام مقایسه مجموعه داده‌های کاملاً مجزا، دانشمندان داده به طور معمول یک ثابت هموارسازی تزریق می‌کنند. افزودن یک مقدار میکروسکوپی اپسیلون - معمولاً در حدود ۰٫۰۰۰۰۱ - به مخرج کسر تضمین می‌کند که محاسبه حتی زمانی که مدل احتمال دقیقاً صفر را به یک رویداد واقعی اختصاص می‌دهد، محدود باقی بماند. با این حال، این وصله ریاضی عدم تقارن اساسی را پاک نمی‌کند؛ بلکه صرفاً حداکثر جریمه را محدود کرده و به الگوریتم کاهش گرادیان شبکه عصبی اجازه می‌دهد تا بدون بازگرداندن یک خطای مهلک، به روزرسانی وزن‌های خود را ادامه دهد.[1][5]

ویژگی‌های منحصربه‌فرد واگرایی KL همچنین معماری ابزارهای کاهش ابعاد مانند t-SNE را هدایت می‌کند، که داده‌های با ابعاد بالا را با فشرده‌سازی در ۲ یا ۳ بعد مصورسازی می‌کند. الگوریتم t-SNE که در سال ۲۰۰۸ توسط لورنس فان در ماتن و جفری هینتون معرفی شد، بر واگرایی KL تکیه دارد تا احتمال همسایه بودن دو نقطه در فضای با ابعاد بالا را با نزدیکی آن‌ها در یک صفحه مسطح تطبیق دهد. از آنجا که واگرایی KL قرار دادن نقاط واقعاً مشابه در فاصله دور از هم را به شدت جریمه می‌کند، اما نسبت به قرار دادن نقاط نامشابه در نزدیکی هم نسبتاً بخشنده است، t-SNE با موفقیت خوشه‌های محلی را حفظ می‌کند - و به محققان اجازه می‌دهد تا پروفایل‌های ژنتیکی متمایز یا بخش‌های مصرف‌کننده را که مدل‌های خطی استاندارد با هم ادغام می‌کنند، به صورت بصری از هم جدا کنند.[1][4][5]

با وجود کاربرد گسترده، واگرایی KL یک معیار فاصله واقعی نیست زیرا نابرابری مثلثی را نقض می‌کند. فاصله از A تا B به علاوه فاصله از B تا C مرز قابل اعتمادی برای فاصله از A تا C ایجاد نمی‌کند. برای سیستم‌هایی که به یک اندازه‌گیری پایدار و متقارن نیاز دارند - مانند نظارت بر یک مدل در حال تولید برای رانش داده‌ها در طول زمان - آمارشناسان اغلب آن را به واگرایی جنسن-شانون تبدیل می‌کنند. با محاسبه واگرایی KL هر دو توزیع نسبت به میانگین مشترک آن‌ها، فرمول جنسن-شانون یک نتیجه متقارن محدود بین ۰٫۰ و ۱٫۰ (هنگام استفاده از لگاریتم در مبنای ۲) را تضمین می‌کند و جریمه‌های هدفمند واگرایی KL را در ازای ثبات هندسی قربانی می‌کند.[2][3][5]

انتخاب نوع واگرایی، مرزهای هوش مصنوعی را دیکته می‌کند. مهندسان با انتخاب جهت جریان معادله کولبک-لایبلر، به صراحت انتخاب می‌کنند که آیا سیستم آن‌ها برای اطمینان از اینکه هرگز یک رویداد نادر را از دست نمی‌دهد، مثبت‌های کاذب را توهم کند، یا جهان‌بینی خود را برای تضمین خروجی‌های با وفاداری بالا به قیمت از دست دادن تنوع، محدود سازد. این فرمول صرفاً شکاف بین یک مدل و واقعیت را اندازه‌گیری نمی‌کند؛ بلکه به طور فعال آنچه را که مدل به عنوان واقعیت باور دارد، شکل می‌دهد.[6]