چگونه اعتبارسنجی متقاطع K-Fold سوگیری و واریانس را برای تخمین خطای تعمیم مدل متعادل می‌کند

هنگامی که یک مدل یادگیری ماشین در دنیای واقعی مستقر می‌شود، نرخ شکست آن به ندرت همان خطای ۱ یا ۲ درصدی است که در طول آموزش به دست آورده بود. در عوض، معیار واقعی قابلیت اطمینان یک مدل - یعنی خطای تعمیم آن - اغلب هنگام مواجهه با داده‌های دیده نشده بین ۱۵ تا ۳۰ درصد جهش می‌کند؛ مقداری که تعیین می‌کند آیا یک الگوریتم تشخیصی جان انسان‌ها را نجات می‌دهد یا هشدارهای کاذب صادر می‌کند.

برای تخمین این نرخ شکست آینده پیش از استقرار، دانشمندان داده به یک تکنیک نمونه‌گیری مجدد به نام اعتبارسنجی متقاطع K-Fold متکی هستند. این روش با تقسیم یک مجموعه داده محدود به بخش‌های مساوی، آموزش روی اکثریت آن‌ها و آزمایش روی بخش باقی‌مانده، دو نیروی آماری رقیب را متعادل می‌کند: سوگیری ناشی از آموزش روی داده‌های بسیار کم، و واریانس ناشی از ارزیابی روی یک مجموعه آزمایشی بسیار کوچک.[6]

مشکل اساسی در ارزیابی مدل این است که سنجش یک الگوریتم دقیقاً روی همان داده‌هایی که برای آموزش آن استفاده شده، امتیازی به شدت و به طرز خطرناکی خوش‌بینانه به دست می‌دهد. مدل پیش از این پاسخ‌ها را دیده است. برای درک اینکه مدل روی ورودی‌های جدید چگونه عمل خواهد کرد، متخصصان باید بخشی از داده‌ها را کنار بگذارند.

با این حال، در سناریوهایی که داده‌ها کمیاب هستند - مانند یک کارآزمایی بالینی با تنها ۴۰۰ بیمار - کنار گذاشتن ۲۰ درصد از داده‌ها تنها ۳۲۰ نمونه را برای آموزش باقی می‌گذارد، که می‌تواند توانایی مدل را برای یادگیری الگوهای پنهان به شدت مختل کند.[3]

اعتبارسنجی متقاطع K-Fold این دوراهی کمبود داده را از طریق چرخش سیستماتیک حل می‌کند. اگر یک محقق ۱۰ لایه را انتخاب کند، مجموعه داده‌ها به طور تصادفی به ۱۰ بلوک با اندازه مساوی تقسیم می‌شود. الگوریتم روی ۹۰ درصد داده‌ها، که نمایانگر نه بلوک است، آموزش می‌بیند و روی ۱۰ درصد باقی‌مانده، که نمایانگر یک بلوک است، آزمایش می‌شود.

این فرآیند ۱۰ بار تکرار می‌شود و هر بلوک دقیقاً یک بار به عنوان مجموعه آزمایشی عمل می‌کند. سپس از ۱۰ امتیاز خطای به دست آمده میانگین گرفته می‌شود تا یک تخمین واحد و مستحکم از خطای تعمیم مدل تولید شود.[5]

انتخاب دقیق تعداد لایه‌های مورد استفاده صرفاً یک جزئیات محاسباتی نیست؛ بلکه مستقیماً مبادله سوگیری-واریانس خود تخمین خطا را دیکته می‌کند. بر اساس مستندات فنی آی‌بی‌ام در سال ۲۰۲۵ در مورد ارزیابی مدل: «سوگیری اندازه‌گیری می‌کند که پیش‌بینی‌ها به دلیل مفروضات بیش از حد ساده‌انگارانه چقدر از مقادیر واقعی فاصله دارند؛ اما واریانس نشان می‌دهد که پیش‌بینی‌ها بر اساس داده‌های آموزشی مختلف چقدر نوسان دارند.» در زمینه اعتبارسنجی متقاطع، آمارشناسان نگران سوگیری و واریانس تخمین خطا هستند، نه فقط خود مدل.[4]

وقتی تعداد لایه‌ها کم است، مانند یک تقسیم ۲ لایه‌ای، مجموعه داده‌ها به دو نیم تقسیم می‌شود. مدل تنها روی ۵۰ درصد از داده‌های موجود آموزش می‌بیند. از آنجا که الگوریتم‌های یادگیری ماشین معمولاً وقتی داده‌های کمتری به آن‌ها داده می‌شود عملکرد بدتری دارند، خطای اندازه‌گیری شده در نیمه آزمایشی به طور مصنوعی بالا خواهد بود.

این امر یک تخمین بدبینانه از قابلیت واقعی مدل ایجاد می‌کند - یک ویژگی آماری که به عنوان سوگیری بالا شناخته می‌شود. در این حالت، رویه اعتبارسنجی متقاطع عملکردی را که مدل در صورت آموزش روی کل مجموعه داده‌ها به دست می‌آورد، دست‌کم می‌گیرد.[2]

برعکس، زمانی که تعداد لایه‌ها بسیار زیاد است، این رویه به روش اعتبارسنجی متقاطع یکی-کنار-گذاشته نزدیک می‌شود، جایی که تعداد لایه‌ها برابر با تعداد کل مشاهدات است. در یک مجموعه داده با ۱۰۰۰ رکورد، این روش ۱۰۰۰ مدل مجزا را آموزش می‌دهد که هر کدام از ۹۹۹ رکورد برای آموزش و دقیقاً ۱ رکورد برای آزمایش استفاده می‌کنند. از آنجا که هر مدل تقریباً روی کل مجموعه داده‌ها آموزش می‌بیند، سوگیری تخمین خطا به طور استثنایی پایین است. مدل‌ها در حداکثر ظرفیت بالقوه خود کار می‌کنند.[1]

با این حال، روش اعتبارسنجی متقاطع یکی-کنار-گذاشته یک جریمه ریاضی شدید و اغلب بدفهمیده شده را به همراه دارد: این روش واریانس میانگین تخمین خطا را به شدت متورم می‌کند. از آنجا که هر یک از ۱۰۰۰ مجموعه آموزشی دارای ۹۹۸ نقطه داده یکسان با هر مجموعه آموزشی دیگری است، مدل‌های حاصل همبستگی بالایی با یکدیگر دارند.

وقتی تخمین‌های آماری همبستگی بالایی دارند، واریانس میانگین آن‌ها به همان تمیزی که هنگام میانگین‌گیری از تخمین‌های مستقل کاهش می‌یابد، کم نمی‌شود. در نتیجه، این رویه تخمین خطایی تولید می‌کند که بسته به مجموعه داده خاص نمونه‌برداری شده، می‌تواند نوسانات شدیدی داشته باشد.[3]

اجماع تجربی، که در متن بنیادین «عناصر یادگیری آماری» در سال ۲۰۰۱ تثبیت شد، این است که تنظیم تعداد لایه‌ها روی ۵ یا ۱۰، مصالحه ریاضی بهینه‌ای را فراهم می‌کند. در ۱۰ لایه، مدل روی ۹۰ درصد داده‌ها آموزش می‌بیند، که معمولاً برای به حداقل رساندن سوگیری بدبینانه تقسیم‌های کوچکتر کافی است. به طور همزمان، ۱۰ مجموعه آموزشی به اندازه کافی از یکدیگر متمایز هستند تا از جریمه همبستگی شدیدی که روش‌های یکی-کنار-گذاشته را گرفتار می‌کند جلوگیری کرده و واریانس تخمین را قابل مدیریت نگه دارند.[1]

شواهد پشتیبان این روش ابتکاری در سراسر مجموعه‌های داده جدولی مستحکم است، اما مقدار دقیق بهینه همچنان به منحنی یادگیری الگوریتم خاص بستگی دارد. اگر عملکرد یک مدل زود به سطح ثابت برسد - به این معنی که هر آنچه را که می‌تواند از ۵۰ درصد داده‌ها یاد بگیرد - در این صورت حتی یک تقسیم ۲ لایه‌ای نیز ممکن است تخمینی بدون سوگیری ارائه دهد.

با این حال، برای الگوریتم‌های پیچیده‌ای مانند درخت‌های تقویت‌شده با گرادیان که به طور پیوسته از داده‌های بیشتر بهره می‌برند، تفاوت بین آموزش روی ۸۰ درصد و ۹۰ درصد داده‌ها می‌تواند از نظر آماری معنادار باشد.[3]

هزینه محاسباتی به عنوان محدودیت عملی نهایی در تعداد لایه‌ها عمل می‌کند. اعتبارسنجی متقاطع نیازمند آموزش مدل از ابتدا برای چندین بار است. برای یک مدل رگرسیون لجستیک که در ۰.۵ ثانیه آموزش می‌بیند، اجرای یک تقسیم ۱۰ لایه‌ای ۵ ثانیه طول می‌کشد - یک هزینه ناچیز.

اما برای یک شبکه عصبی پیچشی عمیق که برای آموزش روی خوشه‌ای از پردازنده‌های گرافیکی به ۷۲ ساعت زمان نیاز دارد، یک تقسیم ۱۰ لایه‌ای نیازمند ۳۰ روز پردازش مداوم است. در چنین محیط‌های پرهزینه‌ای، متخصصان اغلب اعتبارسنجی متقاطع را به طور کامل رها کرده و به یک مجموعه اعتبارسنجی کنار گذاشته شده بزرگ و واحد بازمی‌گردند.[2]

برای کاهش بیشتر واریانس در سناریوهایی که پردازش ارزان است اما داده‌ها نویز دارند، آمارشناسان از اعتبارسنجی متقاطع K-Fold تکرارشونده استفاده می‌کنند. به جای اجرای یک بار تقسیم ۱۰ لایه‌ای، کل مجموعه داده‌ها به طور تصادفی بر هم زده می‌شود و فرآیند ۱۰ لایه‌ای ۱۰ بار مجزا تکرار می‌شود که در مجموع به ۱۰۰ برازش مدل منجر می‌گردد. میانگین‌گیری از این ۱۰۰ امتیاز، نویز تصادفی ایجاد شده توسط هر بار تقسیم‌بندی بدشانسانه داده‌ها را هموار کرده و کران حتی محکم‌تری برای خطای تعمیم فراهم می‌کند.[5]

یک آسیب‌پذیری حیاتی در شواهد پشتیبان اعتبارسنجی متقاطع، این فرض است که نقاط داده مستقل هستند و توزیع یکسانی دارند. اگر مجموعه داده‌ها شامل داده‌های مالی سری زمانی باشد، تخصیص تصادفی قیمت سهام روز سه‌شنبه به مجموعه آموزشی و قیمت‌های روز دوشنبه به مجموعه آزمایشی، اطلاعات آینده را به گذشته نشت می‌دهد. در این موارد، اعتبارسنجی متقاطع k-fold استاندارد یک تخمین به شدت سوگیرانه و بیش از حد خوش‌بینانه تولید می‌کند که نیازمند تکنیک‌های تخصصی مانند اعتبارسنجی تقسیم سری زمانی است.[3]

شواهد نشان می‌دهد که اعتبارسنجی متقاطع یک ابزار مشاهده‌ای است، نه یک موتور بهینه‌سازی. اجرای یک تقسیم ۱۰ لایه‌ای، مدل زیربنایی را دقیق‌تر نمی‌کند؛ بلکه تنها یک آینه دقیق ریاضی فراهم می‌کند که نشان می‌دهد مدل در محیط واقعی چگونه رفتار خواهد کرد. دانشمندان داده با انتخاب دقیق تعداد لایه‌ها برای ایجاد تعادل بین سوگیری و واریانس، اطمینان حاصل می‌کنند که نرخ خطایی که در آزمایشگاه گزارش می‌دهند، دقیقاً همان نرخ خطایی است که در محیط عملیاتی با آن مواجه خواهند شد.[6]