شرط ∇f = λ∇g: ضرایب لاگرانژ چگونه نقاط اکسترمم را تحت یک محدودیت پیدا می‌کنند

تصور کنید کوهنوردی در حال مسیریابی در رشته‌کوهی به وسعت ۱۰,۰۰۰ جریب است و به دنبال بالاترین ارتفاع ممکن می‌گردد. اگر او بتواند هر جایی راه برود، به سادگی آن‌قدر بالا می‌رود تا دیگر شیب زمین رو به بالا نباشد. اما اگر او به یک مسیر مشخص ۱۵ مایلی محدود شود، مسئله کاملاً تغییر می‌کند. هدف دیگر قله کوه نیست، بلکه بلندترین نقطه دقیقاً روی همان مسیر است. کوهنورد باید ارتفاع خود را دقیقاً در درون مرزهای مسیر ارزیابی کند.[6]

در بهینه‌سازی ریاضی، این سناریو نشان‌دهنده یک مسئله بهینه‌سازی مقید است. ارتفاع کوه همان تابع هدف، و مسیر کوهستانی همان محدودیت است. یافتن راه‌حل نیازمند تکنیکی است که توسط ریاضیدان ایتالیایی-فرانسوی، ژوزف-لویی لاگرانژ در سال ۱۷۸۸ توسعه یافت. روش ضرایب لاگرانژ او همچنان الگوریتم استاندارد برای یافتن بیشینه‌ها و کمینه‌های محلی یک تابع تحت محدودیت‌های تساوی دقیق است.[2][6]

چالش بهینه‌سازی مقید این است که وقتی مرزها معرفی می‌شوند، ابزارهای استاندارد حساب دیفرانسیل و انتگرال با شکست مواجه می‌شوند. برابر ۰ قرار دادن مشتق یک تابع چندمتغیره، قله یا دره مطلق را پیدا می‌کند، اما اگر آن نقطه خارج از پارامترهای مجاز باشد - مانند حداکثر خروجی نظری یک کارخانه که نیازمند دو برابر بودجه واقعی آن است - این نقطه بی‌فایده خواهد بود.[4][6]

بینش لاگرانژ هندسی بود. او دریافت که دقیقاً در نقطه‌ای که یک تابع مقید به بیشینه خود می‌رسد، خطوط تراز تابع هدف و خطوط تراز محدودیت باید کاملاً موازی باشند. همان‌طور که پلتفرم آموزشی آکادمی خان در برنامه درسی حساب دیفرانسیل خود توضیح می‌دهد: «ایده اصلی این است که به دنبال نقاطی بگردیم که در آن‌ها خطوط تراز اف و جی بر یکدیگر مماس هستند.»[5]

این مماس بودن با استفاده از بردارهای گرادیان اندازه‌گیری می‌شود. گرادیان که با نماد ∇ (نابِلا) نشان داده می‌شود، برداری است که در جهت تندترین شیب صعودی یک تابع اشاره می‌کند. اگر گرادیان تابع هدف (∇f) و گرادیان محدودیت (∇g) موازی باشند، مضرب‌های اسکالر یکدیگرند. این رابطه با معادله بنیادی ∇f = λ∇g بیان می‌شود، که در آن λ (لاندا) همان ضریب لاگرانژ است.[1][5]

خلاصه فنی ویکی‌پدیا از این روش اشاره می‌کند: «ایده اساسی این است که یک مسئله مقید را به شکلی تبدیل کنیم که آزمون مشتق یک مسئله نامقید همچنان قابل اعمال باشد.» با معرفی این ضریب، الگوریتم محدودیت را مستقیماً در یک معادله جدید و نامقید به نام تابع لاگرانژی جذب می‌کند.[2]

برای تابعی با دو متغیر که تحت یک محدودیت قرار دارد، تابع لاگرانژی متغیر سومی به نام λ را معرفی می‌کند. این دستگاه به n+1 معادله بسط می‌یابد، که در آن n تعداد متغیرهای اولیه است. حل این دستگاه، نقاط بحرانی‌ای را مشخص می‌کند که در آن‌ها گرادیان‌ها هم‌راستا هستند. همان‌طور که دپارتمان ریاضیات دانشگاه تگزاس این شهود فیزیکی را توصیف می‌کند: «در این نقاط بیشینه و کمینه، شما در حال حرکت افقی در امتداد خط ترازِ عبوری از آن نقطه هستید.»

ضریب λ صرفاً یک متغیر جایگزین ریاضی نیست؛ بلکه معنای عمیق فیزیکی و اقتصادی به همراه دارد. در فیزیک، این ضریب اغلب نشان‌دهنده نیروی محدودیت است، مانند کشش نخ یک آونگ که وزنه را در یک مسیر دایره‌ای نگه می‌دارد. در اقتصاد، λ به عنوان قیمت سایه شناخته می‌شود. این ضریب ارزش نهایی دقیقِ کاهش محدودیت را کمّی‌سازی می‌کند - برای مثال، اگر بودجه یک شرکت دقیقاً ۱ دلار افزایش یابد، چقدر سود اضافی تولید خواهد کرد.[2][4]

این روش به شکلی یکپارچه به ابعاد بالاتر نیز تعمیم می‌یابد. کتابچه راهنمای حساب دیفرانسیل Mathematics LibreTexts بیان می‌کند: «روش ضریب لاگرانژ می‌تواند به توابع سه‌متغیره بسط داده شود»، و خاطرنشان می‌کند که هندسه از خطوط مماس به صفحات و کره‌های مماس تغییر می‌یابد. چه در حال بهینه‌سازی ابعاد یک جعبه مقوایی برای کمینه‌سازی مساحت سطح باشیم و چه در حال تخصیص یک سبد سرمایه‌گذاری چند میلیون دلاری در میان ده‌ها دارایی، شرط اصلی مماس بودن پابرجا می‌ماند.[3]

با این حال، روش کلاسیک لاگرانژ محدودیت‌های سخت‌گیرانه‌ای دارد. این روش تنها برای محدودیت‌های تساوی کاربرد دارد - موقعیت‌هایی که در آن یک بودجه باید به طور کامل خرج شود، یا یک ذره باید دقیقاً روی یک منحنی خاص باقی بماند. این روش به طور ذاتی نمی‌تواند محدودیت‌های نامساوی را مدیریت کند، مانند بودجه‌ای که می‌تواند تا یک سقف معین خرج شود اما لزوماً نیازی به اتمام کامل آن نیست.[4][6]

برای حل این سناریوهای گسترده‌تر، ریاضیدانان قرن بیستم چارچوب لاگرانژ را به شرایط کاروش-کون-تاکر (KKT) بسط دادند. شرایط KKT که در سال ۱۹۵۱ منتشر شد، متغیرهای کمکی و لقی مکمل را برای مدیریت نامساوی‌ها معرفی می‌کند و ستون فقرات برنامه‌ریزی غیرخطی مدرن و بهینه‌سازی یادگیری ماشین را تشکیل می‌دهد.[2][6]

با وجود این بسط‌های مدرن، شرط اولیه ∇f = λ∇g همچنان یکی از ظریف‌ترین ترجمه‌های هندسه به جبر باقی مانده است. لاگرانژ با اثبات اینکه انتخاب بهینه همیشه در جایی رخ می‌دهد که فشار برای رسیدن به نتیجه بهتر کاملاً با مقاومت واقعیت هم‌راستا می‌شود، چارچوب ریاضیاتی‌ای را ارائه داد که همچنان بر همه چیز، از ترمودینامیک گرفته تا هوش مصنوعی، حاکم است.[6]