چگونه هرس بدون ساختار، ۹۰ درصد از وزن‌های یک مدل را بدون افت دقت حذف می‌کند

وقتی یک مهندس هوش مصنوعی یک شبکه عصبی آموزش‌دیده را برای استقرار آماده می‌کند، این توانایی را دارد که تا ۹۰ درصد از اتصالات داخلی آن را برای همیشه حذف کند. این تصمیم که در مرحله پس از آموزش به نام «هرس بدون ساختار» اجرا می‌شود، مدل را مجبور می‌کند تا تنها با کسری از ردپای حافظه اصلی خود کار کند.

توسعه‌دهندگان با شناسایی سیستماتیک و صفر کردن وزن‌هایی که کمترین نقش را در خروجی نهایی دارند، می‌توانند معماری‌های عظیمی با میلیاردها پارامتر را بدون فدا کردن دقت پیش‌بینی، در قالب ماتریس‌های خلوت فشرده کنند.[4]

این سازوکار بر افزونگی ذاتی یادگیری عمیق تکیه دارد. در طول فاز اولیه آموزش، یک شبکه عصبی مسیرهای هم‌پوشان متعددی را برای تشخیص الگوهای یکسان توسعه می‌دهد. هرس بدون ساختار، پارامترهای منفرد را در سراسر شبکه هدف قرار داده و هر اتصال را به‌طور مستقل ارزیابی می‌کند. اگر وزن خاصی به زیر یک آستانه اندازه از پیش تعیین‌شده برسد - که اغلب ۲۰ درصدِ پایین مقادیر در یک لایه مشخص است - مهندس مقدار آن را دقیقاً روی صفر تنظیم می‌کند.[4][5]

این رویکرد دانه‌دانه، تفاوت بنیادینی با هرس ساختاریافته دارد که اجزای معماری مانند فیلترهای کانولوشن یا هدهای توجه را به‌طور کامل حذف می‌کند. از آنجا که هرس بدون ساختار هیچ محدودیتی برای حذف پارامترهای خاص قائل نمی‌شود، به شبکه اجازه می‌دهد تا یک الگوی بسیار نامنظم و پراکنده از اتصالات فعال را حفظ کند. همین انعطاف‌پذیری است که امکان حذف ۹۰ درصد از وزن‌ها را در عین حفظ معیارهای عملکرد اصلی مدل فراهم می‌کند.[3][4]

پایه نظری این پدیده در سال ۲۰۱۸ توسط پژوهشگرانی به نام‌های جاناتان فرانکل و مایکل کاربین در موسسه فناوری ماساچوست (MIT) فرمول‌بندی شد. آن‌ها در مقاله بنیادین خود نشان دادند که اکثریت قریب‌به‌اتفاق پارامترهای یک شبکه در نهایت برای وظیفه نهایی آن غیرضروری هستند.

آن‌ها چیزی را بیان کردند که اکنون یک اصل مرکزی در فشرده‌سازی مدل است: «شبکه‌های پیش‌خورِ متراکم با مقداردهی اولیه تصادفی، حاوی زیرشبکه‌هایی (بلیت‌های برنده) هستند که وقتی به‌طور مجزا آموزش داده شوند، در تعداد مشابهی از تکرارها به دقت آزمونی قابل‌مقایسه با شبکه اصلی دست می‌یابند.»[1]

این مفهوم که با عنوان «فرضیه بلیت بخت‌آزمایی» شناخته می‌شود، نگاه صنعت به مقداردهی اولیه شبکه‌های عصبی را به‌طور بنیادین تغییر داد. این فرضیه مطرح می‌کند که آموزش یک مدل عظیم و بیش‌ازحد پارامتربندی‌شده، از نظر ریاضی معادل خرید میلیون‌ها بلیت بخت‌آزمایی است. اکثریت قریب‌به‌اتفاق اتصالات بازنده‌اند، اما یک زیرشبکه کوچک و خلوت - همان بلیت برنده - تصادفاً دقیقاً همان وزن‌های اولیه‌ای را دریافت می‌کند که برای یادگیری کارآمدِ وظیفه موردنظر لازم است.[1][6]

یافتن این بلیت‌های برنده نیازمند یک فرآیند تکرارشونده با بار محاسباتی سنگین است. یک مهندس ابتدا باید شبکه متراکم را تا انتها آموزش دهد، وزن‌هایی با کمترین اندازه را شناسایی کند و آن‌ها را به نسبت مشخصی، معمولاً ۲۰ درصد در هر دور، هرس کند. نکته حیاتی این است که اتصالات باقی‌مانده سپس دقیقاً به مقادیر اولیه خود پیش از آغاز آموزش بازنشانی می‌شوند. شبکه خلوت سپس دوباره از صفر آموزش داده می‌شود و این چرخه تا رسیدن به خلوتیِ ۹۰ درصدیِ مطلوب تکرار می‌گردد.[1][6]

در سال ۲۰۲۰، پژوهشگرانی به نام‌های اران مالاخ و شای شالو-شوارتز یک اثبات ریاضی در تأیید این فرضیه منتشر کردند و نشان دادند که هر شبکه عصبیِ به‌اندازه کافی بزرگ، تضمین می‌شود که حاوی زیرشبکه‌ای باشد که بتواند بدون هیچ‌گونه به‌روزرسانی وزن، با تابع هدف مطابقت داشته باشد. کار آن‌ها تأیید کرد که قدرت یادگیری عمیق تا حد زیادی از انفجار ترکیبیِ زیرشبکه‌های ممکنی نشأت می‌گیرد که در زمان مقداردهی اولیه تولید می‌شوند.[2]

با این حال، ترجمه خلوتیِ نظری به شتاب‌دهی سخت‌افزاریِ عملی همچنان یک گلوگاه مهندسی مهم است. درحالی‌که هرس بدون ساختار به‌طور قابل‌اطمینانی اندازه فایل مدل را برای ذخیره‌سازی کاهش می‌دهد، پردازنده‌های سیلیکونی استاندارد در بهره‌برداری از صفرهای پراکنده با مشکل مواجه‌اند. همان‌طور که تحلیلگران صنعت اشاره کرده‌اند، از آنجا که «هرس بدون ساختار شامل صفر کردن وزن‌های منفرد در ماتریس‌های وزن است، این بدان معناست که تمام محاسباتِ پیش از هرس مدل انجام می‌شوند و در نتیجه بهبود حداقلی در تأخیر وجود دارد.»[4]

واحدهای پردازش گرافیکی مدرن برای ضرب ماتریس‌های متراکم بهینه‌سازی شده‌اند و داده‌ها را در بلوک‌های پیوسته ۳۲ یا ۶۴ ریسمانی پردازش می‌کنند. وقتی یک پردازنده با ماتریسی روبه‌رو می‌شود که ۹۰ درصد مقادیر آن صفر است، اما این صفرها به‌طور تصادفی توزیع شده‌اند، نمی‌تواند به‌راحتی از عملیات‌های خالی عبور کند. سخت‌افزار همچنان باید کل ماتریس را در حافظه بارگذاری کرده و مراحل ریاضی را اجرا کند؛ به این معنی که سرعت استنتاج با وجود کاهش عظیم پارامترهای فعال، تا حد زیادی بدون تغییر باقی می‌ماند.[3][4]

برای پر کردن این شکاف، صنعت به‌طور فزاینده‌ای در حال بررسی شتاب‌دهنده‌های تخصصی ماتریس خلوت و رویکردهای ترکیبی است. تا سال ۲۰۲۳، بررسی‌هایی که بیش از ۱۵۰ روش متمایز هرس شبکه‌های عصبی عمیق را تحلیل می‌کردند، چرخش به‌سمت تکنیک‌های فشرده‌سازیِ آگاه از سخت‌افزار را برجسته کردند. این مدل‌های ترکیبی تلاش می‌کنند تا تعادلی میان حفظ دقت بالای هرس بدون ساختار و کارایی محاسباتی روش‌های ساختاریافته ایجاد کنند.[5]

یک بررسی جامع در سال ۲۰۲۵ که در ژورنال Frontiers in Robotics and AI منتشر شد، تأکید کرد که آینده فشرده‌سازی مدل در طراحی مشترک الگوریتم‌ها و سخت‌افزار نهفته است. تا زمانی که معماری‌های سیلیکونی برای عبور ذاتی از محاسبات خلوتِ نامنظم تکامل نیابند، مهندسان باید مزایای ذخیره‌سازی هرس بدون ساختار را در برابر فقدان کاهش فوری تأخیر بسنجند.[3]

کشف بلیت‌های برنده ثابت می‌کند که مقیاس عظیم مدل‌های مدرن هوش مصنوعی، محصول جانبی فرآیند آموزش است، نه یک الزام قطعی برای هوشمندی. فاز بعدی بهینه‌سازی بر شناسایی این ساختارهای خلوتِ بهینه پیش از آغاز اجرای اولیه آموزش تکیه دارد، که به‌طور بالقوه نیاز به محاسبه میلیاردها وزنی را که در نهایت دور ریخته خواهند شد، از بین می‌برد.[1][2]