غیرممکن بودن ریاضیاتیِ یک بهینه‌ساز همه‌کاره: چرا قضیه «ناهار مجانی نداریم» ثابت می‌کند هیچ الگوریتمی ذاتاً برتر نیست

در سال ۱۹۹۷، در نخستین جلد از نشریه «تراکنش‌های آی‌تریپل‌ئی در محاسبات تکاملی»، پژوهشگرانی به نام‌های دیوید ولپرت و ویلیام مک‌ردی اثباتی ریاضیاتی را منتشر کردند که یکی از جاه‌طلبی‌های بنیادین علوم کامپیوتر را در هم شکست. مقاله آن‌ها با عنوان «قضایای ناهار مجانی نداریم برای بهینه‌سازی» نشان داد که وجود یک الگوریتم جستجوی برترِ همه‌کاره از نظر ریاضی غیرممکن است. استدلال آن‌ها قاطع و بی‌چون‌وچراست: اگر یک الگوریتم در مجموعه‌ای از مسائل بهتر از حدس تصادفی عمل کند، در مجموعه مسائل باقی‌مانده قطعاً عملکردی بدتر از حدس تصادفی خواهد داشت. هیچ الگوریتم مرجعی وجود ندارد و پذیرش این محدودیت، تنها راه برای ساخت سیستم‌هایی است که در عمل کارایی داشته باشند.[1][5]

این یافته، قلب پژوهش‌های هوش مصنوعی و بهینه‌سازی را هدف قرار داد؛ حوزه‌ای که دهه‌ها در جستجوی یک روش محاسباتی واحد برای حل کارآمد هر مسئله‌ای بود. ولپرت و مک‌ردی ثابت کردند که وقتی میانگین عملکرد در تمام توابع هدفِ ممکن در نظر گرفته شود، هر الگوریتمی - از پیچیده‌ترین شبکه‌های عصبی گرفته تا یک جستجوی کاملاً تصادفی - نتایج یکسانی به بار می‌آورد. نویسندگان در این اثر تعیین‌کننده خود به صراحت بیان کردند: «هر دو الگوریتم، زمانی که میانگین عملکردشان در تمام مسائل ممکن محاسبه شود، با یکدیگر برابرند.»[1]

برای درک سازوکار این قضیه، باید به نحوه جستجوی الگوریتم‌ها در یک فضا نگاه کرد. یک مسئله بهینه‌سازی در اصل جستجویی برای یافتن بالاترین یا پایین‌ترین نقطه در یک چشم‌انداز ریاضیاتی است. الگوریتم راه‌حل‌های نامزد را یکی پس از دیگری ارزیابی کرده و میزان مطلوبیت هر یک را بررسی می‌کند. ولپرت و مک‌ردی سناریویی را در نظر گرفتند که در آن یک الگوریتم هرگز نامزدی را که قبلاً شناخته شده است دوباره ارزیابی نمی‌کند و عملکرد آن صرفاً بر اساس توالی خروجی‌ها سنجیده می‌شود.[4]

تحت این شرایط، پژوهشگران نشان دادند که هزینه محاسباتی برای یافتن یک راه‌حل، مقداری ثابت و حفظ‌شده است. اگر فضای جستجو به عنوان یک تابع چگالی احتمال یکنواخت در نظر گرفته شود - به این معنی که هر نگاشت ممکنی از ورودی‌ها به خروجی‌ها دارای احتمال برابری باشد - هیچ روشی نمی‌تواند میانبری ارائه دهد. مزیتی که به نظر می‌رسد یک الگوریتم خاص دارد، صرفاً بازتابی از میزان تطابق مفروضات درونی آن با مسئله خاصی است که در حال حاضر حل می‌کند.[4][5]

این اصل تنها به بهینه‌سازی محدود نمی‌شد. یک سال پیش از آن، در سال ۱۹۹۶، ولپرت مقاله‌ای با عنوان «فقدان تمایزات پیشینی میان الگوریتم‌های یادگیری» در نشریه «محاسبات عصبی» منتشر کرد. آن مقاله منطق «ناهار مجانی نداریم» را مستقیماً به یادگیری ماشین و استنتاج آماری بسط داد و ثابت کرد که بدون دانش قبلی از تابع هدف، هیچ الگوریتم یادگیری ذاتاً برتر از دیگری نیست.[2]

دقت ریاضیاتی قضایای «ناهار مجانی نداریم» ما را وادار می‌کند تا شفافانه بپذیریم چه چیزی باعث کارکرد نرم‌افزارها می‌شود. موفقیت یک الگوریتم ناشی از برتری مطلق آن نیست، بلکه از «سوگیری استقرایی» آن سرچشمه می‌گیرد؛ یعنی مجموعه‌ای از مفروضاتی که درباره ساختار داده‌ها در نظر می‌گیرد. اگر این مفروضات درست باشند، الگوریتم به سرعت به یک راه‌حل همگرا می‌شود. اما اگر اشتباه باشند، به طور کامل شکست می‌خورد.[5]

یک مسئله ساده‌شده را در نظر بگیرید که در آن یک سیستم باید بهترین راه‌حل را در میان نامزدهای الف، ب و پ پیدا کند، جایی که میزان مطلوبیت یک مقدار باینری صفر یا یک است. دقیقاً هشت حالت ممکن یا «بشقاب ناهار» برای این مسئله وجود دارد. اگر یک رویه نامزدها را به ترتیب حروف الفبا ارزیابی کند و رویه دیگر آن‌ها را برعکس ارزیابی کند، در نهایت هر دو راه‌حل را پیدا خواهند کرد. در تمام این هشت حالت، میانگین هزینه محاسباتی آن‌ها از نظر آماری کاملاً یکسان خواهد بود.[4]

قوی‌ترین استدلال متقابل در برابر این قضایا - و دلیلی که صنعت یادگیری ماشین زیر بار آن‌ها فرو نپاشیده است - این است که جهان هستی تمام مسائل ممکن را با احتمالی برابر ارائه نمی‌دهد. داده‌های دنیای واقعی به شدت ساختاریافته‌اند. آن‌ها دارای پیوستگی، محلی‌بودن و قوانین پیش‌بینی‌پذیر فیزیک هستند. این قضایا فرض را بر جهل کامل نسبت به ساختار فضای جستجو می‌گذارند؛ شرطی که از نظر ریاضیاتی دقیق است، اما در عمل برای مهندسی موضوعیتی ندارد.[3][5]

از آنجا که دنیای فیزیکی توسط رفتارهای سازگار و منسجم اداره می‌شود، زیرمجموعه مسائلی که پژوهشگران واقعاً به آن‌ها اهمیت می‌دهند، در مقایسه با مجموعه تمام توابعِ از نظر ریاضی ممکن، بی‌نهایت کوچک است. بنابراین، الگوریتمی که برای بهره‌برداری از ساختار خاص داده‌های دنیای واقعی طراحی شده باشد، در عمل همواره بهتر از جستجوی تصادفی عمل خواهد کرد، حتی اگر در انتزاع ریاضیاتی با آن برابر بماند.[5]

این تمایز برای علم داده نوین بسیار حیاتی است. این قضایا استدلال نمی‌کنند که بهینه‌سازی بیهوده است؛ بلکه ثابت می‌کنند که تطبیق الگوریتم‌ها با مسائل، میانگین عملکرد بالاتری نسبت به اعمال یک الگوریتم ثابت برای همه مسائل به دست می‌دهد. عملکرد یک مدل رایگان به دست نمی‌آید. این عملکرد با تعبیه مفروضات صحیح در معماری سیستم خریداری می‌شود.[4][5]

وقتی یک مهندس، شبکه عصبی کانولوشنال را برای تشخیص تصویر انتخاب می‌کند، در واقع شرط می‌بندد که مسئله دارای سلسله‌مراتب فضایی است؛ یعنی پیکسل‌های نزدیک به هم با یکدیگر ارتباط دارند. اگر همان شبکه روی داده‌های جدولی کاملاً تصادفی و بدون ساختار اعمال شود، عملکرد آن فرو خواهد پاشید. الگوریتم تغییری نکرده است، اما سوگیری استقرایی آن دیگر با واقعیت تابع هدف همخوانی ندارد.[5]

پیامدهای کار ولپرت و مک‌ردی فراتر از علوم کامپیوتر نظری است. این قضایا توضیحی هندسی ارائه می‌دهند که چرا هیچ میانبر همه‌کاره‌ای در سیستم‌های پیچیده وجود ندارد. هرگونه انعطاف‌پذیری یا قابلیت تعمیم‌یافته‌ای که در یک سیستم مهندسی می‌شود، هزینه‌ای در پی دارد؛ چه در قالب کاهش کارایی محاسباتی و چه در افت عملکرد در وظایف تخصصی.[3]

امروزه، قضایای «ناهار مجانی نداریم» به عنوان یک شرط مرزی بنیادین برای هوش مصنوعی عمل می‌کنند. آن‌ها دیکته می‌کنند که پیگیری هوش مصنوعی جامع نمی‌تواند به یک الگوریتم واحد و فارغ از زمینه متکی باشد. در عوض، هوش تعمیم‌یافته باید از مجموعه‌ای از الگوریتم‌های تخصصی پدیدار شود که هر کدام برای بهره‌برداری از نظم‌های ساختاری متفاوت در محیط تنظیم شده‌اند.[5]

در نهایت، این قضایا تواضع فکری را از طراحان نرم‌افزار طلب می‌کنند. آن‌ها ثابت می‌کنند که هیچ مقدار از توان محاسباتی نمی‌تواند بر عدم تطابق میان مفروضات یک الگوریتم و واقعیت مسئله غلبه کند. ریاضیات همچنان قاطع است: برای دستیابی به عملکردی استثنایی در یک دامنه، سیستم باید آسیب‌پذیری در دامنه‌ای دیگر را بپذیرد.[1][5]