مزیت نمایی بازنمایی شبکه‌های عصبی عمیق و باریک نسبت به شبکه‌های کم‌عمق و پهن

تصور کنید که سعی می‌کنید یک تکه کاغذ را تا کنید تا یک شکل اوریگامی پیچیده ایجاد شود. انجام این کار با یک تای واحد و فوق‌العاده پهن، به یک ورق کاغذ به مراتب بزرگتر نیاز دارد تا انجام یک دنباله از ۱۰ یا ۲۰ تای کوچک و متوالی. در معماری هوش مصنوعی، این تفاوت هندسی اساسی بین شبکه‌های عصبی پهن و عمیق است. برای تقریب یک تابع ریاضی بسیار پیچیده، یک شبکه کم‌عمق ممکن است به میلیاردها پارامتر نیاز داشته باشد – که با نرخ Ω(۲^k) گره مقیاس می‌شود – در حالی که یک شبکه عمیق می‌تواند دقیقاً همان قدرت بازنمایی را با استفاده از کسری از آن تعداد به دست آورد، که با Θ(k^۳) لایه و تنها تعداد انگشت‌شماری گره در هر لایه مقیاس می‌شود.[1][8]

این مزیت نمایی، موتور ریاضی است که رونق هوش مصنوعی مدرن را به پیش می‌برد. در حالی که قضیه تقریب جهانی مدت‌هاست بیان کرده است که یک شبکه عصبی تنها با یک لایه پنهان می‌تواند از نظر تئوری هر تابع پیوسته‌ای را محاسبه کند، اما در مورد کارایی آن محاسبه چیزی نمی‌گوید. در عمل، مجبور کردن یک شبکه برای یادگیری یک مجموعه داده پیچیده و بسیار غیرخطی تنها با استفاده از عرض، از نظر محاسباتی مخرب است.[4][7]

برای درک اینکه چرا عمق بسیار کارآمدتر از عرض است، باید به نحوه پردازش اطلاعات توسط شبکه‌های عصبی نگاه کنیم. یک شبکه عصبی اساساً مجموعه‌ای از تبدیل‌های ریاضی است که روی داده‌های ورودی اعمال می‌شود. هر لایه در شبکه، خروجی لایه قبلی را می‌گیرد، مجموعه‌ای از وزن‌ها و بایاس‌ها را اعمال می‌کند، آن را از طریق یک تابع فعال‌سازی عبور می‌دهد و به لایه بعدی می‌سپارد.[4]