چرا انتخاب ویژگی پیش از اعتبارسنجی متقاطع داده‌ها را لو می‌دهد و روی نوفه خالص دقت کاذب می‌سازد؟

اعمال فرایند انتخاب ویژگی روی کل مجموعه داده پیش از تقسیم‌بندی اعتبارسنجی متقاطع، برچسب‌های بخش ارزیابی را به فاز آموزش لو می‌دهد و نرخ خطا را به شکلی ساختگی به صفر نزدیک می‌کند. از آنجا که الگوریتم غربالگری کل داده‌ها را می‌بیند، همبستگی‌های تصادفی موجود در بخش‌های آزمون را شناسایی کرده و به مدل اجازه می‌دهد حتی روی نوفه مطلق، دقت بالایی ثبت کند.[1]

این خطای روش‌شناختی که با نام «نشت هنگام تقسیم‌بندی» (Split Leakage) شناخته می‌شود، کارکرد بنیادین اعتبارسنجی متقاطع را از بین می‌برد. بخش‌های اعتبارسنجی اساساً برای شبیه‌سازی داده‌های دیده‌نشده آینده طراحی شده‌اند تا برآوردی صادقانه از عملکرد واقعی سامانه یادگیری ماشین در مرحله استقرار عملیاتی ارائه دهند.[1][2]

وقتی انتخاب ویژگی پیش از تقسیم داده‌ها رخ می‌دهد، این شبیه‌سازی کاملاً از اعتبار ساقط می‌شود. داده‌های اعتبارسنجی دیگر حقیقتاً دیده‌نشده نیستند، زیرا برچسب‌های هدف آن‌ها قبلاً توسط الگوریتم پردازش شده‌اند تا تعیین شود مدل نهایی کدام ستون‌های پیش‌بینی‌کننده را دریافت کند.[1]

مدل در این شرایط ظاهر خرابی ندارد؛ بلکه برعکس، مدلی کاملاً دقیق و فوق‌العاده موفق به نظر می‌رسد. خط لوله داده بدون هیچ خطای نرم‌افزاری اجرا می‌شود و معیارهای عملکردی به‌دست‌آمده همگی درخشان هستند، امری که شکست روش‌شناختی زیربنایی را کاملاً پنهان می‌کند.[1][5]

اثبات با نوفه محض

شدت و سازوکار این نشت داده با استفاده از یک مجموعه داده ساختگی فاقد هرگونه سیگنال واقعی، به واضح‌ترین شکل ممکن آشکار می‌شود. یک مجموعه داده آزمایشی متشکل از ۵۰۰۰ ویژگی کاملاً تصادفی و برچسب‌های دودویی شانسی را در نظر بگیرید که نمایانگر نوفه آماری محض است.[1]

چون این داده‌ها نوفه خالص هستند، هیچ مدل یادگیری ماشینی نمی‌تواند به شکلی صادقانه نتیجه را با دقتی بالاتر از ۵۰ درصد پیش‌بینی کند. هرگونه امتیاز عملکردی بالاتر از یک شیر یا خط شانسی، از نظر ریاضیاتی روی داده‌های دیده‌نشده واقعی غیرممکن است.[1]

با این حال، اگر پژوهشگر پیش از تقسیم داده‌ها، ۲۰ ویژگی برتر را از میان آن ۵۰۰۰ متغیر در کل مجموعه داده انتخاب کند، نتایج به‌کلی دگرگون می‌شوند. الگوریتم غربالگری، کل نوفه را اسکن کرده و دقیقاً ستون‌هایی را سوا می‌کند که بر حسب تصادف محض با برچسب‌های تصادفی همبستگی آماری نشان داده‌اند.[1]

هنگامی که اعتبارسنجی متقاطع روی این داده‌های پالایش‌شده اجرا می‌شود، مدل به‌طور معمول دقت‌های کاذبی بین ۷۴ تا ۸۰ درصد گزارش می‌دهد. به نظر می‌رسد مدل به یک سیگنال پیش‌بینی‌کننده قدرتمند دست یافته است، اما در حقیقت تنها از همبستگی‌های تصادفی ناشی از غربالگری نشت‌یافته تغذیه می‌کند.[1]

در این وضعیت مدل الگوی تعمیم‌پذیری نیاموخته، بلکه صرفاً نوفه تصادفی همان مجموعه داده به‌خصوص را حفظ کرده است. وقتی این مدل روی داده‌های واقعاً جدید پیاده‌سازی شود که آن همبستگی‌های تصادفی دیگر در آنها وجود ندارند، عملکرد سیستم بلافاصله به همان خط پایه ۵۰ درصدی سقوط خواهد کرد.[1][2]

سازوکار ریاضی سیگنال کاذب

از نظر محاسباتی، شدت نشت ناشی از انتخاب ویژگی مستقیماً تابع نسبت تعداد متغیرها به مشاهدات است. زمانی که یک مجموعه داده شامل ستون‌های بسیار زیاد اما سطرهای نسبتاً کم باشد، فضای ابعاد بالا بسیار پراکنده شده و مستعد هم‌ترازی‌های تصادفی و کاذب می‌شود.[3]

در چنین فضای پراکنده‌ای، احتمال این که دست‌کم یکی از ویژگی‌های تصادفی بتواند رده‌های هدف را به شکل تفکیک کند، به قطعیت نزدیک می‌شود. الگوریتم انتخاب ویژگی مانند یک تابع بهینه‌سازی تهاجمی عمل می‌کند که به شکلی فعال در پی شکار همین ناهنجاری‌های آماری در کل داده‌ها است.[3]

انتخاب‌کننده با تحویل دادن این ناهنجاری‌ها به مدل، در عمل پاسخ‌های برگه آزمون ارزیابی را پیشاپیش در اختیار الگوریتم می‌گذارد. مدل دیگر نیازی به آموختن یک قاعده تعمیم‌پذیر ندارد؛ بلکه صرفاً همان همبستگی کاذبی را اعمال می‌کند که الگوریتم غربالگر وجود آن را در هر دو بخش آموزش و ارزیابی تضمین کرده است.[1][3]

این سازوکار دلیل تورم شدید امتیازها روی داده‌های سراسر نوفه را روشن می‌کند. امتیاز اعتبارسنجی متقاطع در اینجا قدرت پیش‌بینی مدل را اندازه نمی‌گیرد، بلکه توانایی الگوریتم انتخاب ویژگی در پیدا کردن همبستگی‌های تصادفی در یک نمونه متناهی را می‌سنجد.[1]

ریشه‌های خطای ریزآرایه ژنی

این شکل خاص از نشت بیش از دو دهه پیش برای نخستین بار در حوزه زیست‌داده‌ورزی تشخیص داده شد. در سال ۲۰۰۲، دو آمارشناس به نام‌های کریستف آمبروآز و جفری مک‌لاکلن مقاله‌ای بنیادین در نشریه «مجموعه مقالات فرهنگستان ملی علوم آمریکا» (PNAS) منتشر و این نقص روش‌شناختی را تشریح کردند.[4]

آنها نشان دادند که مطالعات تجربی متعددی که از داده‌های ریزآرایه ژنی استفاده می‌کردند، دقت طبقه‌بندی خود را به شکلی کاذب بالا برده بودند. پژوهشگران هزاران سطح بیان ژن را می‌سنجیدند تا پیش‌بینی‌کننده‌ترین آن‌ها را جدا کنند، و این کار را دقیقاً پیش از اعمال برش‌های اعتبارسنجی متقاطع انجام می‌دادند.[4]

چون داده‌های ریزآرایه معمولاً شامل هزاران متغیر اما نمونه‌های بسیار کمی از بیماران هستند، خطر برخورد با همبستگی‌های کاذب فوق‌العاده بالاست. آمبروآز و مک‌لاکلن نشان دادند که تصحیح فرایند اعتبارسنجی متقاطع، قدرت پیش‌بینی شگفت‌انگیز گزارش‌شده در چندین مقاله برجسته را به کلی باطل کرد.[4]

ترور هستی، رابرت تیبشیرانی و جروم فریدمن در سال ۲۰۰۹ در کتاب مرجع خود با نام «مبانی یادگیری آماری» این سازوکار را صورت‌بندی ریاضی کردند. آن‌ها این خطای ویژه را صراحتاً تحت عنوان «روش نادرست و درست اجرای اعتبارسنجی متقاطع» توصیف کرده و چارچوب آماری دقیق آن را بنیان گذاشتند.[3]

بحران تکرارپذیری در پژوهش‌ها

با وجود این که این مشکل دهه‌هاست در کتاب‌های درسی پایه آمار ثبت شده، نشت ناشی از انتخاب ویژگی هنوز در یادگیری ماشین کاربردی مدرن شایع است. این خطا به‌ویژه در حوزه‌هایی دیده می‌شود که کارشناسان رشته‌های مختلف بدون گذراندن آموزش‌های دقیق آماری، ابزارهای یادگیری ماشین را به کار می‌گیرند.[5]

یک بررسی جامع در سال ۲۰۲۳ توسط سایاش کاپور و آرویند نارایانان ابعاد گسترده این بحران را نشان داد. آن‌ها خطاهای نشت داده را در ۱۷ رشته علمی گوناگون شناسایی کردند که در مجموع نتایج ۳۲۹ مقاله علمی چاپ‌شده را کاملاً بی‌اعتبار ساخته بود.[5]

در بسیاری از این موارد رد شده، عامل اصلی انجام غربالگری ویژگی‌ها در خارج از حلقه اعتبارسنجی متقاطع بود. این محققان اشاره کردند از آنجا که مدل‌های دچار نشت روی کاغذ نتایج درخشانی دارند، احتمال انتشار آن‌ها در ژورنال‌ها بسیار بالاتر است و این امر به یک تورش ساختاری در ادبیات علمی دامن می‌زند.[5]

علامت بالینی این نشت، همیشه افت شدید کارایی مدل در فاصله میان ارزیابی‌های منتشرشده تا پیاده‌سازی در دنیای واقعی است. مدلی که در مقاله ادعا می‌کند نتایج درمان بیماران را با دقت ۹۵ درصدی پیش‌بینی می‌کند، در کارآزمایی بالینی واقعی عملکردی بهتر از یک حدس تصادفی ندارد.[1][5]

هزینه‌های شکست روش‌شناختی

هزینه‌های مادی و انسانی ناشی از این خطا زمانی روشن می‌شود که مدل‌های معیوب از مقالات دانشگاهی وارد سامانه‌های عملیاتی می‌شوند. در حوزه تشخیص پزشکی، مدلی که با نشت تقسیم‌بندی آموزش دیده ممکن است اسکن‌های بیماران را با اطمینان کامل به اشتباه طبقه‌بندی کند و به تعویق درمان یا جراحی‌های غیرضروری منجر شود.[5]

چون امتیازهای اعتبارسنجی متقاطع در طول فرایند توسعه عالی به نظر می‌رسیدند، مدیران درمانی و پزشکان بدون سوءظن به سامانه اعتماد می‌کنند. این ناکارآمدی اغلب ماه‌ها بعد و زمانی برملا می‌شود که نتایج واقعی بیماران با دقت وعده‌داده‌شده همخوانی ندارد و بیمارستان ناچار به لغو پروژه‌ای پرهزینه می‌شود.[5]

در بخش مالی نیز، مدل‌های معاملات الگوریتمی که با نشت انتخاب ویژگی ساخته شده‌اند، همبستگی‌های کاذبی را در داده‌های گذشته بازار شناسایی می‌کنند. به محض ورود این مدل‌ها به بازار با سرمایه واقعی، آن همبستگی‌های تصادفی دود می‌شوند و زیان‌های سنگینی به بار می‌آورند که معیارهای اعتبارسنجی آنها را غیرممکن می‌دانستند.[1][5]

این ناکامی‌های ساختاری نشان می‌دهند که مرزبندی سفت‌وسخت در اعتبارسنجی صرفاً یک مسئله نظری دانشگاهی نیست. پیشگیری از نشت داده، یک شرط ایمنی بنیادین در هر سامانه یادگیری ماشین است که در محیط‌های پرریسک با جان انسان‌ها یا منابع مالی کلان سروکار دارد.[1][6]

تمایز گونه‌های نشت داده

انتخاب ویژگی پیش از اعتبارسنجی متقاطع ذیل دسته‌ای از خطاها موسوم به «نشت هنگام تقسیم‌بندی» قرار می‌گیرد. این پدیده هر زمان که اطلاعات بخش ارزیابی از طریق مراحل پیش‌پردازش سراسری از مرز مجاز عبور کند و به فرایند آموزش راه یابد، رخ می‌دهد.[1]

این پدیده ماهیتاً با «نشت متغیر هدف» (Target Leakage) متفاوت است؛ در نشت هدف، خود یک متغیر ردی مستقیم از پاسخی را دارد که باید پیش‌بینی شود. برای نمونه می‌توان به گنجاندن تاریخ ترخیص بیمار به عنوان متغیر ورودی در مدلی اشاره کرد که قرار است مدت بستری شدن را پیش‌بینی کند.[1]

نشت متغیر هدف معمولاً با بازبینی چشمی متغیرها قابل تشخیص است، چرا که داده به شکل واضحی حاوی اطلاعاتی از زمان آینده است. اما نشت هنگام تقسیم‌بندی کاملاً رویه‌ای است؛ خود متغیرها ممکن است کاملاً معتبر باشند، اما سازوکار ریاضی انتخاب آن‌ها در خط لوله دچار اشکال است.[1]

از آنجا که نشت هنگام تقسیم‌بندی هیچ ردی در داده‌های نهایی بر جای نمی‌گذارد، با بررسی ورودی‌های مدل قابل شناسایی نیست. تنها راه کشف آن، ممیزی دقیق کدها و اطمینان از این نکته است که توابع برازش الگوریتم هرگز به داده‌های بخش اعتبارسنجی دسترسی نداشته باشند.[1][2]

تثبیت مرز ارزیابی مدل

روش‌شناسی درست حکم می‌کند که تمامی مراحل وابسته به داده، منحصراً درون حلقه اعتبارسنجی متقاطع اجرا شوند. مجموعه داده باید پیش از هرگونه غربالگری ویژگی، مقیاس‌بندی یا پر کردن داده‌های گمشده، به بخش‌های آموزش و ارزیابی تقسیم شود.[2]

در هر بخش اعتبارسنجی (فولد)، الگوریتم انتخاب ویژگی باید منحصراً روی سطرهای آموزشی اجرا شود و از سطرهای ارزیابی کاملاً بی‌خبر بماند. سپس مدل تنها بر اساس ویژگی‌های برگزیده همان بخش آموزش می‌بیند و روی داده‌های ارزیابی واقعاً ناشناخته محک زده می‌شود.[2]

چون فرایند غربالگری برای هر بخش به‌طور مستقل تکرار می‌شود، ویژگی‌های منتخب ممکن است از بخشی به بخش دیگر اندکی تفاوت داشته باشند. این نوسان یک نقص نیست، بلکه عدم قطعیت آماری واقعی خود فرایند انتخاب ویژگی را بازتاب می‌دهد.[3]

وقتی آزمایش داده‌های سراسر نوفه با این ساختار روش‌شناختی درست تکرار شود، امتیاز اعتبارسنجی متقاطع به همان رقم واقع‌گرایانه ۵۰ درصد بازمی‌گردد. الگوریتم غربالگر هنوز در داده‌های آموزشی همبستگی‌های تصادفی پیدا می‌کند، اما چون این رابطه‌ها به داده‌های ارزیابی امتداد ندارند، مدل شکست می‌خورد.[1]

پیاده‌سازی خطوط لوله امن

چارچوب‌های مدرن یادگیری ماشین ابزارهای اختصاصی برای جلوگیری خودکار از این نشت‌ها فراهم کرده‌اند. در کتابخانه سایکیت‌لرن پایتون، شیء خط لوله (Pipeline) مشخصاً برای گره زدن مراحل پیش‌پردازش و مدل‌سازی در یک ساختار یکپارچه طراحی شده است.[2]

با قراردادن الگوریتم انتخاب ویژگی و مدل پیش‌بینی درون یک خط لوله واحد، برنامه‌نویس تضمین می‌کند که این دو جزو یک فرایند یکدست دیده شوند. هنگامی که این خط لوله به تابع اعتبارسنجی متقاطع داده می‌شود، سامانه مرزهای داده‌ها را به شکل خودکار مدیریت می‌کند.[2]

چارچوب نرم‌افزاری ابتدا داده‌ها را تقسیم می‌کند و تنها پس از آن متد برازش را روی خط لوله و منحصراً با داده‌های آموزشی فراخوانی می‌کند. الگوریتم ستون‌های بهینه را از داده‌های آموزش استخراج می‌کند و مدل نیز فقط با همان ستون‌ها آموزش می‌بیند.[2]

در زمان ارزیابی، چارچوب بدون سرک کشیدن به برچسب‌های بخش آزمون، قواعد غربالگری آموخته‌شده را اعمال می‌کند. تحلیلی در سال ۲۰۲۶ توسط ام‌ال اطلس اشاره می‌کند: «در میان هزاران ویژگی تماماً نوفه، برخی بر حسب شانس با برچسب همبستگی پیدا می‌کنند»؛ همین نکته نشان می‌دهد مدل دچار نشت «رابطه‌ای را کشف می‌کند که خود ما در داده کاشته بودیم».[1]

استفاده استاندارد از خطوط لوله نرم‌افزاری، خطر نشت داده هنگام تقسیم‌بندی را به‌طور کامل از بین می‌برد. این رویکرد تحلیل‌گر را وادار می‌سازد تا کل فرایند ساخت مدل را اعتبارسنجی کند، نه این که صرفاً مدل پایانی را روی داده‌هایی دستکاری‌شده و متورم محک بزند.[1][2]