چگونه تنظیمات بونفرونی و نرخ کشف کاذب از مثبت‌های کاذب در مجموعه‌داده‌های عظیم جلوگیری می‌کنند

لحظه‌ای که یک محقق آستانه معنی‌داری را در مجموعه‌ای از آزمون‌های آماری تعیین می‌کند، نتیجه آزمایش به طور ریاضی قفل می‌شود. اگر یک کارآزمایی دارویی یا یک بررسی ژنومیک ۱۰۰ متغیر مستقل را در سطح معنی‌داری استاندارد ۵٪ بدون تنظیم ارزیابی کند، ریاضیات احتمال، پنج کشف کاذب را تضمین می‌کند. روش تنظیمی که دقیقاً در این مرحله انتخاب می‌شود، تعیین می‌کند که آیا یک سیگنال بیولوژیکی واقعی توسط ریاضیات سختگیرانه مدفون شود یا یک سیگنال کاذب به عنوان یک دستاورد بزرگ منتشر گردد.[6]

این پدیده به عنوان تورم خطای نوع اول یا مشکل مقایسه‌های چندگانه شناخته می‌شود. یک آزمون آماری واحد با آستانه پی-مقدار ۰.۰۵، خطر ۵٪ مثبت کاذب را به همراه دارد. اما همانطور که مجله بیماری‌های قفسه سینه در بررسی شواهد خود تشریح می‌کند، انجام تنها ۲۰ آزمون مستقل، احتمال تولید حداقل یک مثبت کاذب را به ۶۴.۱٪ می‌رساند.[2]

در عصر بیوانفورماتیک مدرن، که در آن یک ریزآرایه می‌تواند ۱۰٬۰۰۰ ژن را به طور همزمان آزمایش کند، آمار تنظیم‌نشده به طور کامل از کار می‌افتد. در این مقیاس، نرخ خطای ۵٪، ۵۰۰ ارتباط بیولوژیکی معنی‌دار آماری اما کاملاً کاذب تولید می‌کند و پی-مقدارهای خام را بی‌معنی می‌سازد.[6]

برای جلوگیری از این فروپاشی داده‌ها، آمارشناسان اصلاحات چندگانگی را اعمال می‌کنند که مشهورترین آن‌ها اصلاح بونفرونی است. این روش که به نام کارلو امیلیو بونفرونی، ریاضیدان ایتالیایی نامگذاری شده، به طرز وحشیانه‌ای ساده است: سطح آلفای هدف را بر تعداد کل آزمون‌های انجام شده تقسیم کنید.[3]

برای یک مطالعه ۱۰٬۰۰۰ ژنی که هدف آن سطح معنی‌داری ۰.۰۵ است، اصلاح بونفرونی برای اینکه هر ژنی معنی‌دار اعلام شود، به پی-مقدار ۰.۰۰۰۰۰۵ نیاز دارد. این رویکرد نرخ خطای خانوادگی (FWER) – احتمال انجام حتی یک کشف کاذب در کل آزمایش – را به شدت کنترل می‌کند.[3]

با این حال، این سختگیری به قیمت گزافی برای قدرت آماری تمام می‌شود. همانطور که MetricGate در تحلیل مقایسه‌ای خود شرح می‌دهد، بونفرونی آنقدر محافظه‌کار است که اغلب محققان را مجبور می‌کند اثرات بیولوژیکی واقعی را صرفاً به این دلیل که نمی‌توانند از آستانه میکروسکوپی پی-مقدار مورد نیاز مجموعه‌داده‌های عظیم عبور کنند، کنار بگذارند.[3]

این محدودیت، تغییر پارادایم را در سال ۱۹۹۵ اجباری کرد، زمانی که آمارشناسان یوآو بنجامینی و یوسف هاچبرگ مقاله‌ای برجسته را در مجله انجمن سلطنتی آمار، سری B، منتشر کردند. آن‌ها به جای تلاش برای جلوگیری از یک مثبت کاذب در کل آزمایش، کنترل نرخ کشف کاذب (FDR) را پیشنهاد کردند.[1]

بنجامینی و هاچبرگ نرخ کشف کاذب (FDR) را به عنوان «نسبت مورد انتظار فرضیه‌های صفر رد شده که در واقع درست هستند» تعریف کردند. اگر محققی نرخ کشف کاذب ۵٪ را بپذیرد، صراحتاً می‌پذیرد که ۵٪ از کشف‌های اعلام شده آن‌ها کاذب خواهند بود، به شرطی که ۹۵٪ باقیمانده سیگنال‌های واقعی باشند.[1]

رویه بنجامینی-هاچبرگ (BH) با رتبه‌بندی تمام پی-مقدارهای به دست آمده از کوچکترین تا بزرگترین کار می‌کند. سپس هر پی-مقدار رتبه‌بندی شده را با یک آستانه متحرک مقایسه می‌کند که با ضرب نرخ کشف کاذب (FDR) هدف در رتبه، تقسیم بر تعداد کل آزمون‌ها محاسبه می‌شود.[1]

این مقیاس متحرک، قدرت آماری را نجات می‌دهد. Nature Methods اشاره می‌کند که کنترل نرخ کشف کاذب (FDR) اکنون استاندارد زیست‌شناسی با توان عملیاتی بالا، مانند توالی‌یابی RNA و fMRI است، جایی که کشف یک شبکه گسترده از سیگنال‌های واقعی بسیار ارزشمندتر از تضمین صفر مثبت کاذب است.[4]

انتخاب بین نرخ خطای خانوادگی (FWER) و نرخ کشف کاذب (FDR) صرفاً آکادمیک نیست؛ بلکه واقعیت نظارتی و بالینی را دیکته می‌کند. سازمان غذا و داروی ایالات متحده (FDA) در سال ۲۰۲۲ دستورالعمل‌های به‌روزرسانی شده‌ای را صادر کرد که صراحتاً به نحوه مدیریت این انتخاب توسط شرکت‌های دارویی در کارآزمایی‌های بالینی می‌پردازد.[5]

سازمان غذا و دارو (FDA) در دستورالعمل ۲۰۲۲ خود هشدار می‌دهد که «عدم توجه به چندگانگی می‌تواند منجر به نتیجه‌گیری‌های مثبت کاذب در مورد اثربخشی یک دارو شود.» برای کارآزمایی‌های محوری فاز III که نقاط پایانی اصلی یک دارو را ارزیابی می‌کنند، نهادهای نظارتی عموماً کنترل سختگیرانه نرخ خطای خانوادگی (FWER) را طلب می‌کنند که اغلب از بونفرونی یا رویه گام به گام هولم که کمی قدرتمندتر است، استفاده می‌شود.[5]

در مقابل، نقاط پایانی اکتشافی و بررسی‌های ژنومی عظیم تقریباً منحصراً به نرخ کشف کاذب (FDR) متکی هستند. بسته شواهد پیرامون این روش‌ها یک دوشاخگی واضح را نشان می‌دهد: بونفرونی از مردم در برابر داروهای بی‌اثر محافظت می‌کند، در حالی که نرخ کشف کاذب (FDR) به دانشمندان اجازه می‌دهد تا ژنوم را بدون کنار گذاشتن اکثریت یافته‌های خود نقشه‌برداری کنند.[4][5]

محدودیت هر دو روش در مفروضات آن‌ها در مورد استقلال داده‌ها نهفته است. بونفرونی فرض می‌کند که تمام آزمون‌ها کاملاً مستقل هستند، که به ندرت در شبکه‌های بیولوژیکی همبسته صادق است و منجر به جریمه بیش از حد شدید می‌شود، زمانی که متغیرها به طور طبیعی با هم حرکت می‌کنند.[2]

مرز بین یک مصنوع آماری و یک کشف برنده جایزه نوبل اغلب نه توسط داده‌های خامی که در آزمایشگاه جمع‌آوری شده‌اند، بلکه توسط معادله‌ای که محققان برای ترسیم خط از آن استفاده کرده‌اند، تعیین می‌شود. یک کارآزمایی بالینی تنها به اندازه تنظیم چندگانگی که خروجی نهایی آن را هدایت می‌کند، قابل اعتماد است.[6]