آیا «بحران بازتولید» ثابت می‌کند که اکثر یافته‌های منتشرشده در علوم اجتماعی، در واقع مثبت‌های کاذب هستند؟

بیش از یک دهه است که یک جنگ داخلی به آرامی در درون علوم اجتماعی در جریان است. در یک سو، اصلاح‌طلبان روش‌شناختی قرار دارند که معتقدند ادبیات بنیادی روان‌شناسی، اقتصاد و جامعه‌شناسی مملو از «مثبت‌های کاذب» است. در سوی دیگر، مدافعانی هستند که اصرار دارند به اصطلاح «بحران بازتولید» اغراق‌آمیز است و صرفاً یک پیامد طبیعی مطالعه رفتار پیچیده انسان در بسترهای فرهنگی متغیر است. تنش میان این دو اردوگاه، هسته اصلی معنای «علم» بودن یک رشته را هدف قرار داده است.[6][8]

راه‌حل این تنش ناخوشایند اما ضروری است: اصلاح‌طلبان تا حد زیادی حق دارند. هنگامی که یافته‌های برجسته علوم اجتماعی تحت آزمایش‌های دقیق و مستقل قرار می‌گیرند، نسبت حیرت‌آوری از آن‌ها به سادگی محو می‌شوند. با این حال، این داستان تقلب علمی گسترده یا فریب بدخواهانه نیست. این داستان یک شکست ساختاری است؛ جایی که معماری نشر آکادمیک به شدت مشوق نتایج جدید و معنادار آماری بود، نه حقایق پایدار و شاید خسته‌کننده.[1][8]

برای درک مقیاس این فروپاشی، باید به تلاش‌های تجربی برای تأیید این ادبیات نگاه کرد. مشهورترین این تلاش‌ها توسط «همکاری علم باز» (Open Science Collaboration) انجام شد که سعی کرد ۱۰۰ مطالعه منتشر شده در مجلات برتر روان‌شناسی را بازتولید کند. روش‌شناسی کار بسیار دقیق بود و شامل هماهنگی صدها محقق در سراسر جهان برای بازآفرینی شرایط دقیق آزمایش‌های اصلی می‌شد.[2][3]

نتایج، شوکی لرزه‌خیز برای این رشته بود. در حالی که ۹۷ درصد از مطالعات اصلی نتایج معنادار آماری را گزارش کرده بودند، تنها ۳۶ درصد از بازتولیدها موفق به انجام این کار شدند. علاوه بر این، حتی زمانی که اثرات با موفقیت بازتولید شدند، بزرگی آن اثرات به طور متوسط نصف مقداری بود که در ابتدا گزارش شده بود. به نظر می‌رسید که بنیان علم روان‌شناسی مدرن بر روی شن ساخته شده است.[2]

چگونه ممکن است این همه مقاله داوری‌شده و پر استناد اشتباه باشند؟ پاسخ در مکانیک احتمال آماری و استفاده گسترده از «روش‌های پژوهشی مشکوک» (Questionable Research Practices) نهفته است که معمولاً به اختصار QRPs نامیده می‌شوند. یک مثبت کاذب زمانی رخ می‌دهد که مطالعه‌ای نتیجه بگیرد اثری وجود دارد، در حالی که در واقعیت چنین نیست. در یک سیستم کاملاً دقیق، آستانه استاندارد برای معناداری آماری، نرخ مثبت کاذب ۵ درصدی را ایجاب می‌کند.[1][4]

با این حال، مدل‌سازی‌های بنیادی نشان داد که وقتی محققان انعطاف‌پذیری لازم برای تغییر روش‌شناسی خود در میانه راه را دارند، نرخ واقعی مثبت کاذب به شدت افزایش می‌یابد. اگر یک محقق بتواند اندازه نمونه را دستکاری کند، داده‌های پرت نامناسب را حذف کند، یا متغیر اصلی اندازه‌گیری شده را پس از مشاهده داده‌ها تغییر دهد، تقریباً همیشه می‌تواند اعداد را شکنجه دهد تا از آستانه معناداری عبور کنند.[1]

این انعطاف‌پذیری در روش‌هایی مانند «دستکاری پی» (p-hacking) – انجام تحلیل‌های متعدد و گزارش دادن تنها آن‌هایی که «نتیجه می‌دهند» – یا HARKing، که مخفف فرضیه‌سازی پس از مشخص شدن نتایج است، نمود پیدا می‌کند. نظرسنجی‌ها از محققان روان‌شناسی نشان داده است که این شیوه‌ها نه استثنا، بلکه قاعده بوده‌اند. آن‌ها در دوره‌های تحصیلات تکمیلی به عنوان رویه‌های عملیاتی استاندارد آموزش داده می‌شدند و به سادگی به عنوان راهی برای «پیدا کردن داستان» پنهان در داده‌ها معرفی می‌شدند.[4]

با این حال، این روایت که QRPs تنها عامل شرور هستند، مورد پذیرش همگان نیست. برخی از فراتحقیقات نشان می‌دهند که اگرچه QRPs قطعاً مثبت‌های کاذب را افزایش می‌دهند، اما تأثیر ریاضیاتی آن‌ها بر قابلیت بازتولید کلی ممکن است کمتر از آن چیزی باشد که اصلاح‌طلبان تهاجمی‌تر در ابتدا مدل‌سازی کرده‌اند. این دیدگاه استدلال می‌کند که عوامل دیگری مانند قدرت آماری پایین و نویز ذاتی داده‌های انسانی، نقشی به همان اندازه بزرگ ایفا می‌کنند.[5]

علاوه بر این، مدافعان یافته‌های اصلی به «واقع‌گرایی ساختاری» و تعدیل‌کننده‌های پنهان اشاره می‌کنند. رفتار انسان به شدت وابسته به بافتار است. یک اثر «پرایمینگ اجتماعی» که در آزمایشگاه‌های آیوی لیگ در دهه ۱۹۹۰ مستند شده است، ممکن است واقعاً در یک نظرسنجی آنلاین در دهه ۲۰۲۰ بازتولید نشود؛ نه به این دلیل که یافته اصلی یک مثبت کاذب بوده، بلکه به این دلیل که بستر فرهنگی، دامنه توجه شرکت‌کنندگان یا محیط فیزیکی تغییر کرده است.[6][7]

این استدلال متقابل در موارد خاص و محدود وزن دارد، اما به عنوان یک دفاع کلی از ادبیات علمی شکست می‌خورد. اگر یک اثر روان‌شناختی آنقدر شکننده باشد که با تغییر دمای اتاق یا تغییر اندازه فونت در یک پرسشنامه ناپدید شود، نمی‌تواند به عنوان یک پایه قوی برای نظریه‌های گسترده رفتار انسان، چه رسد به مداخلات سیاست عمومی، عمل کند.[6][8]

بنابراین، بحران بازتولید چیزی عمیق‌تر از صرف وجود مثبت‌های کاذب را ثابت می‌کند. این بحران نشان می‌دهد که آستانه سنتی برای کشف علمی در علوم اجتماعی اساساً کالیبره نشده بود. این سیستم به محققان برای عمل کردن به عنوان مدافعان نظریه‌های خود پاداش می‌داد، نه به عنوان حسابرسان بی‌طرف واقعیت.[1][3]

پاسخ به این بحران، ظهور سریع و ضروری جنبش «علم باز» بوده است. ابتکاراتی که توسط سازمان‌هایی مانند «مرکز علم باز» (Center for Open Science) رهبری می‌شوند، اصلاحات ساختاری را پیش برده‌اند که انگیزه‌های دستکاری پی و HARKing را از بین می‌برند. برجسته‌ترین این اصلاحات، «پیش‌ثبت‌نام» (preregistration) است.[3]

پیش‌ثبت‌نام، با وادار کردن محققان به تعهد علنی به فرضیه‌ها، اندازه‌های نمونه و طرح‌های تحلیلی خود پیش از جمع‌آوری حتی یک داده، انعطاف‌پذیری‌ای را که به مثبت‌های کاذب اجازه رشد می‌دهد، از بین می‌برد. اگر داده‌ها از فرضیه پیش‌ثبت‌شده حمایت نکنند، محقق باید آن را به عنوان یک یافته پوچ گزارش دهد و وسوسه بازنویسی روایت پس از وقوع را سلب کند.[3][8]

گذار به این عصر جدید دقت و سخت‌گیری، دردناک است. کل زیرشاخه‌های علمی، مانند «پرایمینگ اجتماعی» و «تخلیه نفس» (ego depletion)، شاهد بازنویسی یا کنار گذاشته شدن بی‌سروصدای کتاب‌های درسی بنیادی خود بوده‌اند، زیرا پدیده‌های اصلی آن‌ها تحت شرایط پیش‌ثبت‌شده بازتولید نمی‌شوند. مشاغلی که بر اساس یافته‌های شکننده و پر زرق و برق ساخته شده بودند، متوقف شده‌اند.[6]

اما این تخریب در نهایت یک عمل سازنده است. بحران بازتولید مرگ علوم اجتماعی نیست؛ بلکه بلوغ دردناک و ضروری آن است. این رشته با رویارویی آشکار با نقص‌های روش‌شناختی خود، در حال ساختن یک بنیان جدید است—بنیانی که شاید در تولید تیترهای خبری کندتر باشد، اما احتمال تولید حقیقت در آن بسیار بیشتر است.[3][7][8]