هوش مصنوعی مولد چگونه توزیع احتمال توام داده‌ها را نگاشت می‌کند؟

در آگوست ۲۰۲۳، پلتفرم «آنالیتیکس ویدیا» راهنمای بنیادینی منتشر کرد که دو شاخه از یادگیری ماشین را از هم متمایز می‌کرد: متمایزکننده و مولد. این تمایز بر پایه یک مفهوم ریاضیاتی واحد استوار است: توزیع احتمال توام، که با P(X,Y) نشان داده می‌شود.

مدل‌های متمایزکننده P(Y|X) را یاد می‌گیرند — احتمال یک برچسب Y با توجه به داده‌های X. اگر مجموعه‌ای از عکس‌های حیوانات به یک مدل متمایزکننده داده شود، این مدل یک مرز ریاضیاتی رسم می‌کند که سگ‌ها را از گربه‌ها جدا می‌سازد. این مدل نیازی ندارد بداند یک سگ چه شکلی است؛ تنها باید پیکسل‌هایی را پیدا کند که به طور قابل اعتمادی سگ را از گربه تشخیص می‌دهند.[1]

مدل‌های مولد مسئله‌ای کاملاً متفاوت را حل می‌کنند. همان‌طور که تعریف فنی ویکی‌پدیا بیان می‌کند: «یک مدل مولد، یک مدل آماری از توزیع احتمال توام بر روی یک متغیر قابل مشاهده X و متغیر هدف Y است.» این مدل به جای رسم مرز بین دسته‌ها، کل فضایی که داده‌ها در آن قرار دارند را نگاشت می‌کند.[2]

در فضاهای با ابعاد بالا، نگاشت یک توزیع احتمال توام از نظر محاسباتی بسیار سنگین است. اگر X یک تصویر ۱۰۲۴ در ۱۰۲۴ پیکسل باشد، توزیع توام احتمال هم‌رخدادی رنگ هر پیکسل با هر پیکسل دیگر در کل شبکه تصویر را نگاشت می‌کند. این مدل احتمال آماری این موضوع را محاسبه می‌کند که یک پیکسل قهوه‌ای در مختصات (۱۰، ۱۰) با یک پیکسل سیاه در (۱۰، ۱۱) همراه شود.[3][5]

یادداشت‌های دوره «مدل‌های مولد عمیق» در دانشگاه استنفورد، این فرآیند نگاشت را به دو رویکرد مجزا تقسیم می‌کنند: تخمین چگالی صریح و تخمین چگالی ضمنی. این تقسیم‌بندی، معماری هوش مصنوعی مدرن را تعریف می‌کند.[3]

مدل‌های صریح، مانند «نایو بیز» یا «مدل‌های مخلوط گاوسی»، احتمال ریاضیاتی دقیق یک نقطه داده را محاسبه می‌کنند. آن‌ها از قضیه بیز برای معکوس کردن مسئله استفاده می‌کنند، به این صورت که احتمال داده‌ها را با توجه به یک کلاس خاص محاسبه کرده و سپس آن را در احتمال پیشین آن کلاس ضرب می‌کنند.[2]

گوگل دولوپرز کاربرد اصلی این رویکرد را چنین توضیح می‌دهد: «مدل‌های مولد می‌توانند نمونه‌های داده جدیدی تولید کنند.» از آنجا که مدل توزیع کامل P(X) را یاد گرفته است، می‌تواند از آن توزیع نمونه‌برداری کند تا نقطه داده‌ای را خروجی دهد که در مجموعه آموزشی وجود نداشته، اما کاملاً با پارامترهای آماری آن مطابقت دارد.[1]

شرکت استرانگ آنالیتیکس تاکید می‌کند که کاربردهای مدرن هوش مصنوعی مولد، مانند مدل‌های زبانی بزرگ و سیستم‌های انتشار، برای تقریب زدن این توزیع‌ها در میان میلیاردها پارامتر، بر شبکه‌های عصبی عمیق تکیه دارند. مقیاس عظیم مجموعه داده‌های مدرن، محاسبه دقیق احتمالات را از نظر ریاضیاتی غیرممکن می‌سازد.[4]

این دشواری محاسباتی باعث تغییر مسیر از تخمین چگالی صریح به ضمنی شد. در سال ۲۰۱۴، اختراع شبکه‌های متخاصم مولد (GANs) راهی برای نگاشت احتمال توام معرفی کرد، بدون اینکه هرگز فرمول ریاضیاتی دقیق آن تعریف شود.[1][3]

یک مدل ضمنی به جای محاسبه تابع چگالی احتمال دقیق P(X)، یاد می‌گیرد که مستقیماً از توزیع نمونه‌برداری کند. این مدل از محاسبات پیچیده توابع چگالی با ابعاد بالا عبور کرده و کاملاً بر روی خروجی تمرکز می‌کند.[3][5]

گوگل دولوپرز این فرآیند متخاصم را چنین شرح می‌دهد: یک مولد داده‌های مصنوعی ایجاد می‌کند و یک متمایزکننده آن را در برابر داده‌های واقعی ارزیابی می‌کند. تنها هدف مولد این است که نمونه‌هایی تولید کند که متمایزکننده نتواند آن‌ها را از توزیع توام واقعی داده‌های آموزشی تشخیص دهد.[1]

یادگیری یک توزیع توام به داده‌ها و توان محاسباتی به مراتب بیشتری نسبت به یادگیری یک مرز شرطی نیاز دارد. یک مدل متمایزکننده می‌تواند پس‌زمینه یک تصویر را در صورتی که برای طبقه‌بندی مفید نباشد نادیده بگیرد؛ اما یک مدل مولد باید احتمال آماری پیکسل‌های پس‌زمینه را نیز یاد بگیرد.[4]

آنالیتیکس ویدیا خاطرنشان می‌کند از آنجا که مدل‌های مولد توزیع واقعی هر کلاس را مدل‌سازی می‌کنند، ذاتاً در برابر داده‌های پرت مقاوم‌تر هستند. آن‌ها شکل داده‌های عادی را درک می‌کنند که این امر آن‌ها را برای تشخیص ناهنجاری در تصویربرداری پزشکی یا تقلب مالی بسیار کارآمد می‌سازد.

یادداشت‌های دوره مدل‌های مولد عمیق به یک محدودیت حیاتی در مدل‌های ضمنی اشاره می‌کنند: ارزیابی آن‌ها به شدت دشوار است. از آنجا که هیچ امتیاز احتمال صریحی برای سنجش در برابر توزیع واقعی وجود ندارد، محققان برای قضاوت درباره کیفیت نمونه باید به معیارهای جایگزینی مانند «فاصله آغازین فرشه» تکیه کنند.[3]

استرانگ آنالیتیکس تاکید می‌کند که با بزرگ‌تر شدن مقیاس این مدل‌ها، توانایی آن‌ها در ثبت احتمال توام داده‌های چندوجهی — نگاشت همزمان رابطه آماری بین یک دستور متنی و یک توالی ویدیویی — مرز کنونی تحقیقات هوش مصنوعی را تعریف می‌کند.[4]

نقطه عطف قابل تایید بعدی برای این حوزه این نیست که آیا مدل‌ها می‌توانند این توزیع‌ها را نگاشت کنند یا خیر، بلکه این است که آیا محققان می‌توانند معیارهای ریاضیاتی استانداردی برای ارزیابی دقت نمونه‌های ضمنی توسعه دهند، در حالی که تابع چگالی زیربنایی همچنان پنهان باقی می‌ماند.[3][5]