مقیاس‌پذیری توان آماری: راهکار بنجامینی-هاچبرگ برای مشکل مقایسه‌های چندگانه

در سال ۱۹۹۵، مجله انجمن سلطنتی آمار یک مقاله ۱۲ صفحه‌ای از یوآو بنجامینی و یوسف هاچبرگ، آماردانان دانشگاه تل‌آویو، منتشر کرد. در آن زمان، جامعه علمی در حال برخورد با محدودیت‌های داده‌های با توان عملیاتی بالا بود. محققی که یک کارآزمایی بالینی منفرد را اجرا می‌کرد، می‌توانست به راحتی از آستانه معناداری استاندارد ۵ درصدی استفاده کند. اما با ورود ریزآرایه‌ها و توالی‌یابی خودکار، زیست‌شناسان ناگهان در حال آزمایش همزمان ۱۰,۰۰۰ ژن بودند.

با نرخ خطای ۵ درصد، یک مجموعه داده کاملاً تصادفی با این اندازه، صرفاً بر اساس تصادف ریاضی، ۵۰۰ کشف «معنادار» تولید می‌کرد. دفاع استاندارد در برابر این مشکل - یعنی تصحیح بونفرونی - تقسیم نرخ خطا بر تعداد آزمون‌ها بود. برای ۱۰,۰۰۰ ژن، این آستانه به ۰.۰۰۰۰۰۵ سقوط می‌کرد. این روش جلوی مثبت‌های کاذب را می‌گرفت، اما همزمان سیگنال‌های واقعی بیولوژیکی را نیز پاک می‌کرد و محققان را با دستانی خالی رها می‌ساخت.[1][3]

بنجامینی و هاچبرگ یک مصالحه ساختاری را پیشنهاد دادند که در نهایت به یکی از پرارجاع‌ترین مقالات در آمار مدرن تبدیل شد. آن‌ها به جای کنترل نرخ خطای خانواده (FWER) - یعنی احتمال بروز حتی یک مثبت کاذب در کل آزمایش - مفهوم نرخ کشف کاذب (FDR) را معرفی کردند. همان‌طور که در ادبیات بنیادین آن اشاره شده است، FDR به عنوان «رویکردی کمتر محافظه‌کارانه و مسلماً مناسب‌تر برای شناسایی معدود اثرات مهم از میان انبوه اثرات بی‌اهمیت آزمایش‌شده» طراحی شد.

FDR مخرج کسر را تغییر داد. به جای پرسش درباره احتمال وقوع هرگونه مثبت کاذب، FDR می‌پرسد چه نسبتی از اکتشافات ادعا شده در واقع کاذب هستند. اگر محققی FDR معادل ۵ درصد را بپذیرد، در واقع می‌پذیرد که ۵ مورد از هر ۱۰۰ پیشرفت ادعا شده اشتباه خواهد بود، اما در ازای آن، توانایی پیدا کردن ۹۵ مورد واقعی دیگر را به دست می‌آورد.[1][2]

مکانیسمی که آن‌ها برای دستیابی به این هدف طراحی کردند و اکنون به عنوان رویه بنجامینی-هاچبرگ (BH) شناخته می‌شود، یک الگوریتم مرحله‌ای ظریف است که به صورت پویا با داده‌ها مقیاس‌پذیر می‌شود. این روش با گرفتن تمام مقادیر p (p-values) تولید شده توسط یک آزمایش و مرتب‌سازی صعودی آن‌ها، از معنادارترین تا کم‌اهمیت‌ترین، آغاز می‌شود.

به هر آزمون یک رتبه اختصاص داده می‌شود که با i نشان داده می‌شود. سپس این رویه با استفاده از فرمول (i/m) × Q، که در آن m تعداد کل آزمون‌ها و Q نرخ کشف کاذب هدف است، یک مقدار بحرانی منحصربه‌فرد برای تک‌تک آزمون‌ها محاسبه می‌کند.[4]

این رتبه‌بندی یک مقیاس لغزان از سخت‌گیری ایجاد می‌کند. معنادارترین نتیجه (رتبه ۱) با آستانه‌ای بی‌رحمانه روبرو می‌شود: برای ۱۰,۰۰۰ آزمون با FDR معادل ۵ درصد، باید از سد ۰.۰۰۰۰۰۵ عبور کند - دقیقاً مشابه تصحیح بونفرونی. اما هرچه الگوریتم در لیست پایین‌تر می‌رود، آستانه نرم‌تر می‌شود.

تا صدمین مقدار p رتبه‌بندی شده، مقدار بحرانی تا ۰.۰۰۰۵ کاهش می‌یابد. این رویه لیست مرتب‌شده را به سمت پایین اسکن می‌کند تا بزرگترین رتبه‌ای را پیدا کند که در آن مقدار p واقعی از مقدار بحرانی محاسبه‌شده‌اش کوچکتر باشد. سپس یک خط می‌کشد و فرضیه صفر را برای آن آزمون و تمام آزمون‌های بالاتر از آن رد می‌کند.[4][5]

قابلیت عملی این آستانه لغزان بسیار عظیم است. در اوایل دهه ۲۰۰۰، زمانی که ژنومیک از مطالعات هدفمند به سمت مطالعات ارتباط سراسر ژنوم (GWAS) گذار کرد، رویه BH به فیلتر پیش‌فرض برای کشف حقایق بیولوژیکی تبدیل شد. بدون آن، نویز آماری ناشی از آزمایش میلیون‌ها پلی‌مورفیسم تک‌نوکلئوتیدی (SNPs)، داده‌ها را غیرقابل خواندن می‌کرد. این رویه به محققان اجازه داد تا با پذیرش مقدار مشخص و کمّی از آلودگی داده‌ها، کلان‌داده‌ها را غربال کرده و ارتباطات ژنتیکی واقعی را استخراج کنند.[2][3]

پذیرش کنترل FDR بسیار فراتر از ژنتیک گسترش یافت. مرکز ملی آمار آموزش ایالات متحده در سال ۱۹۹۸ رویه BH را در ارزیابی ملی پیشرفت آموزشی (NAEP) ادغام کرد و از آن برای ارزیابی تفاوت‌های عملکرد جمعیتی بدون ایجاد هشدارهای کاذب در صدها مقایسه زیرگروهی استفاده کرد.

امروزه، پلتفرم‌های تجاری تست A/B مانند Optimizely از نسخه‌های لایه‌بندی شده رویه BH برای ارزیابی معیارهای وب‌سایت استفاده می‌کنند تا از راه‌اندازی طراحی‌های مجدد توسط مدیران محصول بر اساس توهمات آماری - زمانی که ده‌ها تغییر را به طور همزمان آزمایش می‌کنند - جلوگیری کنند.[5]

با این حال، رویه BH یک حلال همه‌کاره برای طراحی‌های آزمایشی ضعیف نیست و زبان بازاریابی «معناداری تعدیل‌شده با FDR» اغلب محدودیت‌های آن را پنهان می‌کند. اثبات اولیه در سال ۱۹۹۵ فرض را بر این گذاشته بود که آزمون‌های چندگانه از نظر آماری مستقل هستند.

در واقعیت، ژن‌ها در شبکه‌ها با هم بیان می‌شوند و معیارهای وب‌سایت به شدت به هم همبستگی دارند. زمانی که آزمون‌ها وابستگی مثبت دارند، رویه BH همچنان معتبر است، اما تحت وابستگی دلخواه یا منفی، می‌تواند بیش از حد خوش‌بینانه عمل کند و اجازه دهد نرخ کشف کاذب واقعی از هدف Q فراتر رود.[2][3]

برای رفع این مشکل، آماردانان در سال ۲۰۰۱ رویه بنجامینی-یکوتیلی (BY) را توسعه دادند که یک جریمه هارمونیک را به آستانه اعمال می‌کند تا کنترل FDR را تحت هر ساختار وابستگی تضمین کند. با این وجود، از آنجا که تصحیح BY به طور قابل‌توجهی محافظه‌کارانه‌تر است، بسیاری از بسته‌های نرم‌افزاری و محققان به طور پیش‌فرض از همان رویه استاندارد BH استفاده می‌کنند و گاهی اوقات همبستگی پنهان در داده‌های خود را نادیده می‌گیرند. قابلیت این الگوریتم به شدت محدود به مفروضات داده‌هایی است که به آن خورانده می‌شود.[2][5]

در سال ۲۰۰۳، جان استوری و رابرت تیبشیرانی، آماردانان برجسته، با معرفی مقدار q (q-value) چارچوب FDR را گسترش دادند. این کار، رویه BH را از یک آستانه خشک و ثابت به یک معیار پیوسته تبدیل کرد. همان‌طور که مستندات روش‌شناسی سلامت جمعیت دانشگاه کلمبیا آن را تعریف می‌کند: «مقدار q نسبت مورد انتظار مثبت‌های کاذب در میان تمام ویژگی‌هایی است که به اندازه ویژگی مشاهده‌شده یا بیشتر از آن افراطی هستند.»

به جای تعیین یک FDR معادل ۵ درصد و بررسی اینکه چه چیزی از آن عبور می‌کند، یک محقق می‌تواند به یک ژن خاص نگاه کند و بداند که ادعای کشف آن، حامل ۳.۲ درصد نرخ کشف کاذب است. این امتیازدهی پیوسته به خروجی استاندارد برای خطوط لوله بیوانفورماتیک مدرن تبدیل شد.[3][5]

میراث رویه بنجامینی-هاچبرگ، تغییری بنیادین در نحوه تعریف قطعیت توسط علم است. این روش اذعان داشت که در عصر کلان‌داده‌ها، تقاضای محافظت مطلق در برابر هرگونه مثبت کاذب، یک بن‌بست ریاضی است. چارچوب FDR با کمّی‌سازی و بودجه‌بندی برای خطا به جای تلاش برای حذف کامل آن، زیرساخت ریاضیاتی را فراهم کرد که اکتشافات با توان عملیاتی بالا را ممکن ساخت.

مرز بعدی برای آزمون‌های چندگانه در الگوریتم‌های تطبیقی نهفته است که نسبت زیربنایی فرضیه‌های صفر واقعی را پیش از اعمال آستانه تخمین می‌زنند و مرزهای توان آماری را حتی فراتر از این می‌برند.[1][2]