سازوکار «پی-هکینگ»: چگونه اعتبار آماری در تحقیقات علمی دستکاری می‌شود

وقتی مردم درباره «بحران بازتولید» در علم می‌شنوند – این درک نگران‌کننده که بسیاری از مطالعات برجسته قابل تکرار نیستند – اغلب تصور می‌کنند که این بحران ناشی از تقلب آشکار است. آنها دانشمندان متقلبی را تصور می‌کنند که برای تأمین بودجه و شهرت، داده‌ها را در آزمایشگاه‌های تاریک جعل می‌کنند.

با این حال، واقعیت بسیار پیش پا افتاده‌تر و در نتیجه بسیار فراگیرتر است. این بحران عمدتاً ناشی از یک پدیده آماری ظریف به نام «پی-هکینگ» است، جایی که محققان ناخودآگاه از انعطاف‌پذیری در تحلیل‌های خود سوءاستفاده می‌کنند تا از آستانه دلخواه معناداری آماری عبور کنند.[1][2]

برای درک سازوکار پی-هکینگ، ابتدا باید پی-مقدار (p-value) را فهمید. پی-مقدار که در دهه ۱۹۲۰ توسط آمارشناس بریتانیایی، رانلد فیشر، معرفی شد، هرگز قرار نبود یک آزمون قطعی برای حقیقت باشد. این صرفاً یک معیار غیررسمی بود تا مشخص کند آیا یک نتیجه تجربی به اندازه‌ای شگفت‌انگیز است که نیاز به بررسی مجدد داشته باشد یا خیر.

با این حال، امروزه، پی-مقدار کمتر از ۰٫۰۵ به نگهبان سخت‌گیر انتشار علمی تبدیل شده است. این مقدار نشان می‌دهد که اگر فرضیه صفر – یعنی فرض اینکه هیچ اثر واقعی وجود ندارد – درست باشد، احتمال مشاهده داده‌های جمع‌آوری شده کمتر از ۵ درصد است.[1][2]

از آنجایی که مجلات دانشگاهی با تأثیر بالا به شدت از نتایج جدید و دارای معناداری آماری حمایت می‌کنند، محققان تحت فشار زیادی قرار دارند تا پی-مقدارهایی زیر آستانه ۰٫۰۵ تولید کنند. نتایج خنثی یا «صفر» به ندرت منتشر می‌شوند، که یک سوگیری سیستمی در انتشار ایجاد می‌کند که آزمایش‌های شکست خورده را فیلتر کرده و ناهنجاری‌های آماری را تقویت می‌کند.

این فشار منجر به سوءاستفاده از آنچه آمارشناسان آن را «درجات آزادی محقق» می‌نامند، می‌شود. این‌ها تصمیمات خرد بی‌شماری هستند که در طول جمع‌آوری و تحلیل داده‌ها گرفته می‌شوند: چه زمانی جمع‌آوری داده متوقف شود، کدام متغیرها گنجانده شوند، چگونه با داده‌های پرت برخورد شود و کدام آزمون‌های آماری اعمال شوند.[3][4]

در یک مقاله مهم در سال ۲۰۱۱ با عنوان «روانشناسی مثبت کاذب» (False-Positive Psychology)، محققانی چون جوزف سیمونز، لیف نلسون و یوری سایمونسون دقیقاً نشان دادند که این درجات آزادی چگونه عمل می‌کنند. آنها نشان دادند که محققان تنها با اتخاذ انتخاب‌های تحلیلی قابل دفاع اما فاش نشده، می‌توانند تقریباً هر چیزی را «اثبات» کنند.

نویسندگان به طور مشهوری از داده‌های واقعی و شیوه‌های آماری استاندارد استفاده کردند تا یک فرضیه کاملاً غیرممکن را «اثبات» کنند: اینکه گوش دادن به آهنگ «وقتی شصت و چهار ساله هستم» از گروه بیتلز، در واقع سن تقویمی شنونده را کاهش می‌دهد. آنها این کار را نه با جعل داده‌ها، بلکه با گزارش انتخابی تنها متغیرهایی که نتیجه معناداری داشتند، به دست آوردند.[3]

سازوکار پی-هکینگ اشکال مختلفی دارد. یکی از رایج‌ترین آنها «توقف اختیاری» یا «نگاه دزدکی به داده‌ها» است. ممکن است یک محقق فرضیه خود را به طور مداوم در حین ورود داده‌ها آزمایش کند و دقیقاً در لحظه‌ای که پی-مقدار به زیر ۰٫۰۵ می‌رسد، آزمایش را متوقف کند، به جای اینکه منتظر حجم نمونه از پیش تعیین شده بماند.

مکانیسم دیگر، گزارش انتخابی متغیرهای وابسته است. اگر یک مطالعه ده نتیجه مختلف سلامتی را اندازه‌گیری کند، اما تنها یکی از آنها به دلیل شانس محض بهبود آماری معناداری نشان دهد، گزارش تنها آن نتیجه مثبت، تصویری عمیقاً گمراه‌کننده از اثربخشی دارو ایجاد می‌کند.[5]

به همین ترتیب، محققان ممکن است به طور انتخابی «داده‌های پرت» را که پی-مقدار آنها را بالا می‌برد، حذف کنند، یا از متغیرهای کمکی – مانند تنظیم برای سن، جنسیت یا درآمد – استفاده کنند تا زمانی که به معناداری مورد نظر دست یابند. هر یک از این تصمیمات ممکن است به تنهایی از نظر علمی موجه به نظر برسد، اما در کنار هم، اساس ریاضی آزمون را به شدت تحریف می‌کنند.

نکته مهم این است که پی-هکینگ لزوماً شامل نیت بدخواهانه نیست. بسیاری از محققان واقعاً به فرضیه‌های خود اعتقاد دارند و این تنظیمات تحلیلی را صرفاً «پاکسازی داده‌ها» یا یافتن سیگنال واقعی پنهان در نویز می‌دانند. مغز انسان برای یافتن الگوها سیم‌کشی شده است و محققان از سوگیری تأیید مصون نیستند.[4][5]

با این حال، پیامدهای ریاضی این اقدامات جدی است. در حالی که نرخ پایه مثبت کاذب قرار است ۵ درصد باشد، ترکیب چندین درجه آزادی محقق می‌تواند نرخ واقعی مثبت کاذب را تا ۶۱ درصد افزایش دهد، حتی زمانی که داده‌های زیربنایی کاملاً تصادفی باشند. این تورم آماری، موتور اصلی بحران بازتولید است. هنگامی که تیم‌های مستقل تلاش می‌کنند این آزمایش‌های پی-هک شده را بدون تنظیمات تحلیلی خاص محققان اصلی تکرار کنند، اثرات از بین می‌روند و نشان می‌دهند که «کشف» اولیه چیزی جز نویز آماری نبوده است.[1][3]

خوشبختانه، جامعه علمی در حال حاضر دستخوش یک تغییر ساختاری برای مبارزه با این سازوکارها است. برجسته‌ترین راه‌حل، «پیش‌ثبت‌نام» است، جایی که محققان باید فرضیه‌ها، روش‌شناسی و برنامه تحلیلی دقیق خود را قبل از جمع‌آوری حتی یک داده، به صورت عمومی مستند کنند. با تثبیت انتخاب‌های تحلیلی از قبل، پیش‌ثبت‌نام انعطاف‌پذیری را که پی-هکینگ را ممکن می‌سازد، از بین می‌برد. این امر تضمین می‌کند که پی-مقدار یکپارچگی ریاضی خود را حفظ کند و ادبیات علمی را مجبور می‌کند تا واقعیت را منعکس کند، نه مصنوعات دستکاری آماری را.[1][6]