چرا ارزیابی پیش‌بینی‌های چندگامی نیازمند تعدیل دیبولد-ماریانو و خطاهای استاندارد HAC است؟

دانشمندان داده و اقتصادسنج‌هایی که قصد دارند مدلی را به محیط عملیاتی بفرستند، هنگام ارزیابی عملکرد خارج از نمونه با یک مرز ریاضی سرسخت روبه‌رو می‌شوند. زمانی که مدلی را برای پیش‌بینی چندین گام در آینده آزمون گذشته‌نگر (Backtest) می‌کنیم، خطاهای تولیدشده هرگز مستقل از یکدیگر نیستند. نادیده گرفتن این وابستگی تضمین می‌کند که نویزهای تصادفی در هیئت برتری آماری معنادار ظاهر شوند.

رویه مرسوم برای مقایسه دو مدل، محاسبه تفاضل تابع زیان—معمولاً تفاوت در مجذور خطا یا قدرمطلق آن—است. اگر مدل الف میانگین مربعات خطای کمتری نسبت به مدل ب ثبت کند، تحلیل‌گر باید مشخص کند که این برتری واقعی است یا صرفاً محصول تصادفی نمونه آزمون.

در پیش‌بینی‌های تک‌گامی به جلو، این ارزیابی سرراست است. با فرض تصریح درست مدل‌ها، خطاهای حاصل از پیش‌بینی تنها یک دوره بعد عموماً ناهمبسته‌اند. در نتیجه، یک آزمون تی زوجی استاندارد می‌تواند به‌درستی نشان دهد که آیا میانگین تفاضل زیان با صفر تفاوت معناداری دارد یا خیر.

اما به‌محض اینکه افق پیش‌بینی از یک دوره فراتر رود، معماری مسئله یکسره دگرگون می‌شود. اگر یک بانک مرکزی نرخ تورم را برای چهار فصل آینده برآورد کند، پیش‌بینی انجام‌شده در فصل اول در تکانه‌های مجهول آینده با پیش‌بینی‌های فصول دوم و سوم سهیم است.

این همپوشانی نوعی وابستگی مکانیکی در داده‌ها می‌آفریند. تکانه‌ای که در فصل چهارم رخ می‌دهد، برای تمام پیش‌بینی‌های چندگامی گذشته نامرئی بوده است؛ یعنی تمام آن برآوردها با جهت‌گیری همبسته از هدف منحرف خواهند شد.

مکانیک خودهمبستگی MA(h-1)

پیامد ریاضیاتی این اشتراک در مجموعه اطلاعات، شکل خاصی از همبستگی پیاپی است. شیائوچیان وانگ، پژوهشگر دانشگاه موناش، در پیش‌نویس پژوهشی سال ۲۰۲۶ اشاره می‌کند: «خطاهای پیش‌بینی بهینه در افق h گام، تحت یک فرآیند زاینده خودرگرسیونی غیرایستا، خودهمبستگی پیاپی تا وقفه (h-1) نشان می‌دهند.»[1]

این بدان معناست که اگر مدلی شش ماه آینده را پیش‌بینی کند، خطاهای آن به‌طور ذاتی از یک فرآیند میانگین متحرک مرتبه پنج یا MA(5) پیروی می‌کنند. خطایی که امروز ثبت می‌شود، از نظر ریاضی به خطاهای پنج دوره پیشین زنجیر شده است.

این ساختار همبستگی حتی در شرایطی که مدل بهینه‌ترین حالت ممکن را داشته باشد نیز پدید می‌آید. این پدیده نشانه ضعف مدل نیست، بلکه ویژگی ذاتی پیش‌بینی در بازه‌ای است که اطلاعات جدید پیوسته از راه می‌رسند اما نمی‌توان آن‌ها را در پیش‌بینی‌های گذشته اعمال کرد.

وقتی تحلیل‌گران این ویژگی را نادیده می‌گیرند، سازوکار استنباط آماری فرومی‌پاشد. آزمون تی سنتی با این فرض عمل می‌کند که هر مشاهده حاوی اطلاعاتی مستقل است؛ بنابراین واریانس نمونه را بر جذر تعداد کل مشاهدات تقسیم می‌کند تا خطای استاندارد به دست آید.

اما چون خطاهای چندگامی همبستگی مثبتی با یکدیگر دارند، اندازه مؤثر نمونه بسیار کمتر از تعداد مشاهدات خام است. این محاسبه خام، واریانس واقعی تفاضل زیان را به‌شدت دست‌کم می‌گیرد و خطای استانداردی کاذب و بسیار کوچک تولید می‌کند.

چرا آزمون‌های تی سنتی گمراه‌کننده‌اند؟

تقسیم میانگین تفاضل زیان بر این خطای استاندارد دست‌کاری‌شده، آماره تی را به‌شکل تصنعی باد می‌کند. در نتیجه، تفاوتی در عملکرد مدل‌ها که یکسره حاصل شانس بوده، کاملاً معنادار جلوه کرده و به‌راحتی از آستانه بحرانی ۱٫۹۶ عبور می‌کند.

راهنمای فنی متریک‌گیت در سال ۲۰۲۵ توضیح می‌دهد: «بدون خطاهای HAC، خودهمبستگی خطاهای پیش‌بینی، معناداری آماری را به‌شکل کاذب باد می‌کند.» این سند تأکید دارد که در افق تک‌گامی، تفاضل زیان تحت فرضیه صفر ناهمبسته است، اما برای هر افق طولانی‌تر، این خودهمبستگی ناشی از همپوشانی باید حتماً تعدیل گردد.[2]

ابعاد این تحریف چشمگیر است. براساس تحلیلی از رایان اوکانل، در نمونه‌ای شامل ۳۰۰ مشاهده با خودهمبستگی شدید، آماره تی حاصل از حداقل مربعات معمولی (OLS) که روی رقم ۴٫۸۱ ایستاده، پس از اعمال درست تعدیل وابستگی تا ۲٫۱۴ سقوط می‌کند.[6]

بدون این تصحیح، محقق ممکن است دقت تخمین خود را بیش از دو برابر فراتر از واقعیت ارزیابی کند. این امر مستقیماً به کشف‌های کاذب منجر می‌شود؛ جایی که مدلی پیچیده و پرهزینه از دیدگاه پردازشی، با وجود نداشتن هیچ مزیت واقعی، بر یک خط مبنای ساده ترجیح داده می‌شود.[6]

توهم برتری مدل به‌ویژه در بازارهای مالی و سیاست‌گذاری‌های کلان اقتصادی خطرآفرین است؛ زیرا به‌کارگیری مدلی که دچار بیش‌برازش شده می‌تواند باعث هدررفت فاجعه‌بار منابع مالی شود. تحلیل‌گر تصور می‌کند سیگنالی ناب یافته، درحالی‌که صرفاً نویزهای همبسته را به تماشا نشسته است.

چارچوب ارزیابی دیبولد-ماریانو

راهکار نهایی این معضل در سال ۱۹۹۵ توسط فرانسیس دیبولد و روبرتو ماریانو مطرح شد. چارچوب پیشنهادی آن‌ها که به آزمون دیبولد-ماریانو شهرت دارد، ساختار خودهمبستگی خطاهای چندگامی را مستقیماً در مدل‌سازی می‌گنجاند.

این آزمون این فرضیه صفر را می‌سنجد که آیا امید ریاضی تفاضل زیان میان دو پیش‌بینی رقیب دقیقاً صفر است یا خیر. این آزمون نیازی به تودرتو بودن مدل‌ها ندارد و به‌خوبی از توابع زیان نامتقارن و انعطاف‌پذیر پشتیبانی می‌کند.[2]

اومبرتو تریاکا در سلسله درس‌گفتارهای دانشگاه SSSUP خاطرنشان می‌کند: «اگر فرضیه صفر مبنی بر برابری دقت پیش‌بینی‌ها درست باشد، خطاهای پیش‌بینی دو مدل رقیب دقیقاً یکسان و کاملاً همبسته خواهند بود.» این آزمون برای حل مشکل، واریانس خام را با برآوردگر واریانس بلندمدت جایگزین می‌سازد.

واریانس بلندمدت نه‌تنها واریانس تک‌تک تفاضل‌های زیان، بلکه کوواریانس‌های درونی آن‌ها را تا وقفه مربوطه منظور می‌کند. با افزودن این جملات کوواریانس به مخرج کسر، آماره تی مهار شده و به اندازه واقعی و منطبق بر ریاضیات بازمی‌گردد.

در گام بعد، چنانچه حجم نمونه به‌اندازه کافی بزرگ باشد، آماره آزمون با توزیع نرمال استاندارد مقایسه می‌شود. اگر قدرمطلق این آماره از مقدار بحرانی بزرگ‌تر شد، تحلیل‌گر با اطمینان موجه می‌تواند حکم به برتری یک مدل بر دیگری دهد.

تعدیل‌های نیوی-وست و خطاهای استاندارد HAC

برای محاسبه عملی واریانس بلندمدت مورد نیاز در آزمون دیبولد-ماریانو، پژوهشگران به خطاهای استاندارد سازگار با ناهمسانی واریانس و خودهمبستگی (HAC) تکیه می‌کنند؛ روشی که نامدارترین برآوردگر آن در سال ۱۹۸۷ توسط ویتنی نیوی و کنت وست توسعه یافت.

پلتفرم کوانت اطلس در تحلیل سال ۲۰۲۶ خود می‌نویسد: «نیوی-وست به‌جای برآورد واریانس میانگین نمونه تنها بر پایه واریانس بازده‌های منفرد، کوواریانس میان بازده‌هایی با وقفه‌های زمانی متفاوت را نیز لحاظ می‌کند.»[3]

برآوردگر نیوی-وست از کرنل بارتلت بهره می‌گیرد؛ رویکردی که همگام با افزایش فاصله وقفه‌ها، وزن‌های نزولی به خودکوواریانس‌ها می‌دهد. همبستگی‌ها در وقفه‌های نزدیک‌تر سهم بیشتری در محاسبه دارند و وقفه‌های دورتر اثر کمتری می‌گذارند که بازتاب‌دهنده فروپاشی تدریجی اثر همپوشانی است.[3]

این سازوکار کاملاً مستقل از شکل توزیع فرآیند خطا عمل می‌کند. این روش از نظر مجانبی تحت هر ساختاری از خودهمبستگی و ناهمسانی واریانس معتبر است و از همین رو، حتی زمانی که ساختار دقیق خطاهای پیش‌بینی ناشناخته باشد، استواری بالایی دارد.[6]

نکته حیاتی اینجاست که این تعدیل فقط خطاهای استاندارد را تغییر می‌دهد. این روش بر همان برآوردهای تفاضل زیان اولیه استوار است و به برآورد مجدد مدل‌های پیش‌بینی نیازی ندارد؛ صرفاً فاصله اطمینان گسترده‌تر و صادقانه‌تری در اختیار مقایسه می‌گذارد.[6]

گزینش پهنای باند و چالش نمونه‌های متناهی

پیاده‌سازی تصحیح نیوی-وست نیازمند تعیین پارامتر پهنای باند است؛ پارامتری که مشخص می‌کند چه تعداد از خودکوواریانس‌های دارای وقفه باید در مجموع وارد شوند. در پیش‌بینی h گام به جلو، خودهمبستگی نظری دقیقاً در وقفه h-1 متوقف می‌شود.

بااین‌حال، پژوهشگران در عمل معمولاً از پهنای باندهای کمی بزرگ‌تر بهره می‌گیرند تا از مثبت نیمه‌معین ماندن ماتریس واریانس در نمونه‌های متناهی مطمئن شوند. یک قاعده تجربی رایج، تنظیم پهنای باند روی ۱٫۵ برابر افق پیش‌بینی یا بهره‌گیری از قاعده‌ای داده‌محور بر پایه حجم نمونه است.[5]

حتی با تصحیح خطاهای استاندارد، اگر بازه ارزیابی خارج از نمونه کوتاه باشد، آزمون دیبولد-ماریانو ممکن است فرضیه صفر را بیش از حد رد کند. اتکا به نرمال بودن مجانبی هنگامی که حجم نمونه به کمتر از حدود ۱۰۰ مشاهده می‌رسد، کارایی خود را از دست می‌دهد.

برای رفع این نقص، هاروی، لیبورن و نیوبولد در سال ۱۹۹۷ آزمونی تعدیل‌شده پیشنهاد دادند. این روش آماره را برای جبران تورش نمونه متناهی اصلاح می‌کند و حاصل را به‌جای توزیع نرمال، با توزیع تی استیودنت با درجات آزادی n-1 می‌سنجد.

رویکردهای دیگری نیز برای مهار این اعوجاج‌ها ایجاد شده‌اند. اندرو پاتون از دانشگاه دوک خاطرنشان می‌کند: «رویکرد کیفر-فوگلسانگ نیز از نوعی آزمون تی استفاده می‌کند که چه بسا شامل خودهمبستگی‌های متعددی در تخمین واریانس HAC باشد، اما توزیع حدی آن نرمال نیست.»[4]

پیامدها برای یادگیری ماشین امروزی

با وجود اجماع چنددهه‌ای در اقتصادسنجی، این پدیده هنوز یکی از نقاط کور بزرگ در یادگیری ماشین مدرن است. دانشمندان داده پیوسته مدل‌های پیش‌بینی مبتنی بر یادگیری عمیق را صرفاً بر پایه آماره خام ریشه میانگین مربعات خطا (RMSE) می‌سنجند و بدون آزمون‌های رسمی آماری مدعی پیروزی بر مدل‌های پایه می‌شوند.

در همان مواردی هم که آزمونی اجرا می‌شود، عمدتاً به آزمون‌های تی زوجی ساده یا اعتبارسنجی متقاطع استاندارد با فرض استقلال داده‌ها بسنده می‌کنند. وانگ پیرامون ادبیات استنباط مستقل از توزیع می‌گوید: «هیچ‌یک از روش‌های پیش‌بینی انطباقی این وابستگی بالقوه را در ساختار روش‌شناختی خود لحاظ نکرده‌اند.»[1]

چشم‌پوشی از این چارچوب مستقیماً به بحران تکرارپذیری در یادگیری ماشین سری‌های زمانی دامن زده است. مدل‌هایی که در مجموعه داده‌های محک به ظاهر عملکردی خیره‌کننده ثبت می‌کنند، در محیط واقعی شکست می‌خورند؛ چراکه برتری ظاهری آن‌ها سرابی برآمده از خودهمبستگی تعدیل‌نشده بوده است.

واقعیت ریاضی اجتناب‌ناپذیر است: تا زمانی که فرآیند ارزیابی به‌طور صریح همپوشانی اطلاعات را در پیش‌بینی‌های چندگامی جبران نکند، هرگونه ادعای برتری در پیش‌بینی از نظر آماری پوچ است. عیار واقعی یک مدل نه در خطای خام، بلکه در عملکردی است که با واریانس تعدیل‌شده و صادقانه محیط سنجیده شده باشد.