چگونه تابع آلفا-اسپندینگ از نتایج مثبت کاذب در نظارت مستمر بر تست‌های A/B جلوگیری می‌کند

اعتبار آماری یک تست A/B نه در زمان جمع‌آوری داده‌ها، بلکه دقیقاً در لحظه‌ای تعیین می‌شود که یک تحلیلگر تصمیم می‌گیرد به داشبورد نگاه کرده و آزمایش را متوقف کند. در یک طراحی استاندارد با افق ثابت (fixed-horizon)، ریاضیات حاکم بر تست فرض می‌کنند که داده‌ها دقیقاً یک بار و تنها پس از رسیدن کامل به حجم نمونه از پیش تعیین‌شده، ارزیابی خواهند شد. این ارزیابی واحد، همان شرط مرزی است که آستانه معناداری ۵ درصدی را معنادار می‌کند. وقتی یک مدیر محصول یا دانشمند داده داشبورد زنده‌ای را باز می‌کند تا ببیند آیا ویژگی جدید در حال پیروزی است یا خیر، آنها صرفاً در حال مشاهده یک اندازه‌گیری پایدار نیستند. آنها در حال انجام یک آزمون آماری مستقل روی داده‌های در حال انباشت هستند. اگر از آن بررسی موقت برای توقف زودهنگام تست استفاده کنند، صرفاً به این دلیل که نتایج مطلوب به نظر می‌رسند، اساساً احتمال اعلام یک نتیجه مثبت کاذب را تغییر می‌دهند. این نقطه تصمیم‌گیری همان جایی است که یکپارچگی آزمایش یا حفظ می‌شود و یا از بین می‌رود.

این پدیده در سراسر صنعت به عنوان «مشکل سرک کشیدن» (peeking problem) شناخته می‌شود و پیامدهای ریاضی آن شدید است. از آنجا که داده‌های اولیه ذاتاً پرنویز هستند، معیارها پیش از انباشت مشاهدات کافی برای تثبیت برآوردها، نوسانات قابل‌توجهی دارند. هر بررسی که با قصد توقف انجام شود، فرصت دیگری را برای واریانس تصادفی فراهم می‌کند تا صرفاً بر حسب شانس از آستانه معناداری عبور کند. اگر یک تحلیلگر در طول یک آزمایش پنج بار نتایج را بررسی کند و از آستانه استاندارد و اصلاح‌نشده ۵ درصد استفاده کند، نرخ واقعی مثبت کاذب به ۱۴.۲ درصد افزایش می‌یابد. اگر آنها ده بار سرک بکشند، نرخ مثبت کاذب به ۱۹ درصد نزدیک می‌شود. وعده بازه اطمینان ۹۵ درصدی تبخیر می‌شود و تیم‌ها را به حال خود رها می‌کند تا ویژگی‌هایی را مستقر کنند که هیچ کاری انجام نمی‌دهند — یا فعالانه به نرخ تبدیل آسیب می‌رسانند — در حالی که ابزارهای گزارش‌دهی آنها به دروغ ادعای یک پیروزی معنادار آماری را دارند.

برای حل این مشکل بدون اینکه تیم‌ها مجبور شوند هفته‌ها کورکورانه عمل کنند، آماردانان به چارچوب‌های تست متوالی (sequential testing) تکیه می‌کنند. تست متوالی به جای ممنوع کردن کامل بررسی‌های موقت، با تنظیم آستانه معناداری در هر بررسی، از نظر ریاضی آنها را در نظر می‌گیرد. مکانیزمی که این تنظیم را کنترل می‌کند، تابع آلفا-اسپندینگ (alpha-spending function) است. این تابع که برای اولین بار در سال ۱۹۸۳ توسط آماردانان کی.کی. گوردون لان (K.K. Gordon Lan) و دیوید دمتس (David DeMets) معرفی شد، یک قانون از پیش تعیین‌شده است که دقیقاً مشخص می‌کند چه مقدار از بودجه کلی خطای نوع اول یک کارآزمایی — معمولاً ۵ درصد یا آلفای ۰.۰۵ — می‌تواند در هر بررسی موقت «خرج» شود. با در نظر گرفتن نرخ خطا به عنوان یک بودجه محدود، این تابع تضمین می‌کند که احتمال تجمعی یک نتیجه مثبت کاذب در تمام بررسی‌ها، از جمله تحلیل نهایی، هرگز از آلفای اسمی تجاوز نکند.[3]

تابع آلفا-اسپندینگ روی معیاری به نام کسر اطلاعات (information fraction) که با t نشان داده می‌شود، عمل می‌کند. کسر اطلاعات نشان‌دهنده نسبتی از کل اطلاعات آماری برنامه‌ریزی‌شده — مانند حداکثر حجم نمونه یا تعداد کل تبدیل‌های مورد نیاز — است که تاکنون جمع‌آوری شده است. خود این تابع که به صورت α(t) نوشته می‌شود، یک منحنی پیوسته و غیرنزولی است که کسر اطلاعات از ۰ تا ۱ را در برابر آلفای تجمعی خرج‌شده از ۰ تا ۰.۰۵ نگاشت می‌کند. از آنجا که این تابع خطای تجمعی را بر اساس کسر اطلاعات تحقق‌یافته ارزیابی می‌کند و نه زمان تقویمی، به کمیته‌های نظارت بر داده‌ها یا پلتفرم‌های خودکار تست A/B اجازه می‌دهد تا تحلیل‌های موقت را در فواصل زمانی انعطاف‌پذیر و برنامه‌ریزی‌نشده انجام دهند، بدون اینکه تضمین نرخ خطای کلی نقض شود.[1]

واژه‌نامه گوگل کلاد (Google Cloud) درباره تست متوالی خاطرنشان می‌کند: «تابع آلفا-اسپندینگ از پیش تعیین می‌کند که چه مقدار از احتمال خطای نوع اول باید در هر یک از آزمون‌های متعدد خرج شود. به این ترتیب، به عنوان یک طراحی تطبیقی، صرف‌نظر از فرکانس رسیدن تکه‌های داده یا حجم نمونه تجمعی موجود در هر آزمون، تابع آلفا-اسپندینگ امکان یافتن آستانه‌های متناسب را فراهم می‌کند.» این انعطاف‌پذیری همان چیزی است که رویکرد لان-دمتس را به استاندارد طلایی برای نظارت مستمر مدرن تبدیل می‌کند و جایگزین روش‌های متوالی گروهی قدیمی‌تر می‌شود که نیازمند ثابت بودن دقیق تعداد و زمان‌بندی بررسی‌های موقت پیش از شروع آزمایش بودند.[1]

هنگام پیاده‌سازی یک تابع آلفا-اسپندینگ، آزمایش‌گران معمولاً بین دو شکل مرزی کلاسیک انتخاب می‌کنند: نوع اوبراین-فلمینگ (O'Brien-Fleming) و نوع پوکوک (Pocock). تابع اسپندینگ اوبراین-فلمینگ در مراحل اولیه یک آزمایش بسیار محافظه‌کارانه عمل می‌کند. زمانی که کسر اطلاعات پایین است، تقریباً هیچ‌یک از بودجه آلفا را خرج نمی‌کند، که منجر به مقادیر بحرانی بسیار سخت‌گیرانه‌ای برای بررسی‌های موقت اولیه می‌شود. به عنوان مثال، در کسر اطلاعات ۲۰ درصدی، امتیاز Z مورد نیاز برای اعلام معناداری ممکن است آنقدر بالا باشد که تنها یک اثر عظیم و غیرقابل انکار بتواند از آن عبور کند. از آنجا که این مرز بودجه خطا را احتکار می‌کند، مرز اوبراین-فلمینگ تقریباً تمام توان آماری را برای تحلیل نهایی حفظ می‌کند و آن را به انتخاب ارجح زمانی تبدیل می‌کند که توقف زودهنگام تنها برای اثربخشی قاطع مطلوب باشد.

برعکس، تابع اسپندینگ نوع پوکوک بودجه آلفا را بسیار یکنواخت‌تر در طول مدت آزمایش توزیع می‌کند. مرز پوکوک با خرج کردن زودهنگام بخش بیشتری از بودجه خطا، توقف تست را در طول بررسی‌های موقت اولیه از نظر ریاضی آسان‌تر می‌کند. با این حال، این ملایمت اولیه هزینه گزافی دارد. از آنجا که بخش قابل‌توجهی از بودجه ۵ درصدی قبلاً توسط بررسی‌های موقت مصرف شده است، مقدار بحرانی مورد نیاز در تحلیل نهایی به طور قابل‌توجهی بالاتر از امتیاز Z استاندارد ۱.۹۶ است. آزمایشی که برای یک تست با افق ثابت اندازه‌گیری شده اما با مرز پوکوک تحلیل می‌شود، در بررسی نهایی دچار افت محسوس توان آماری خواهد شد و اغلب برای جبران آن به حداکثر حجم نمونه ۱۰ تا ۲۵ درصد بزرگتر نیاز دارد.[3]

در حالی که توابع آلفا-اسپندینگ فراوانی‌گرا بر کارآزمایی‌های بالینی و بسیاری از پلتفرم‌های تجاری تست A/B تسلط دارند، رویکردهای جایگزینی نیز برای نظارت مستمر وجود دارد. محققان مایکروسافت به تفصیل توضیح داده‌اند که چگونه توقف اختیاری بیزی (Bayesian optional stopping) مکانیزم متفاوتی را برای جلوگیری از مشکل سرک کشیدن ارائه می‌دهد. در یک چارچوب بیزی، تحلیل به جای کنترل دقیق نرخ خطای نوع اول فراوانی‌گرا، بر به‌روزرسانی احتمال پسین (posterior probability) یک اثر با رسیدن داده‌های جدید تمرکز دارد. از آنجا که توزیع پسین به عنوان خلاصه‌ای معتبر از شواهد در هر لحظه در نظر گرفته می‌شود، برخی از روش‌های بیزی اجازه نظارت مستمر را بدون نیاز صریح به جریمه آلفا-اسپندینگ می‌دهند، اگرچه آنها برای جلوگیری از اشکال خاص سوگیری خود، نیازمند تعیین دقیق توزیع‌های پیشین (prior distributions) هستند.[2]

با وجود ظرافت ریاضی تست متوالی، پیاده‌سازی آن در محیط‌های تجاری نیازمند نظم سازمانی دقیقی است. تابع آلفا-اسپندینگ باید پیش از بررسی هرگونه داده‌ای از پیش مشخص شود. اگر یک تحلیلگر تستی را راه‌اندازی کند، به داده‌ها سرک بکشد و تازه در آن زمان تصمیم بگیرد که برای توجیه توقف زودهنگام یک مرز متوالی اعمال کند، تضمین آماری باطل می‌شود. این تابع یک قانون سفت و سخت برای توزیع بودجه خطا است، نه یک توجیه پس از وقوع (post-hoc) برای یک نتیجه دلخواه. با این حال، زمانی که تابع آلفا-اسپندینگ به درستی اعمال شود، تست A/B را از یک بازی انتظار خشک و بی‌روح به یک فرآیند پویا و تحت نظارت مستمر تبدیل می‌کند و به شرکت‌ها اجازه می‌دهد تا ویژگی‌های برنده را سریع‌تر عرضه کنند، در حالی که خطرات مثبت کاذب ناشی از مشکل سرک کشیدن را از نظر ریاضی خنثی می‌کنند.

ریشه‌های تابع آلفا-اسپندینگ نه در توسعه نرم‌افزار، بلکه در محیط پرمخاطره کارآزمایی‌های بالینی نهفته است. در دهه‌های ۱۹۷۰ و ۱۹۸۰، محققان پزشکی دریافتند که اگر داده‌های اولیه به طور قاطع ثابت کنند که یک داروی جدید مؤثر است، ادامه تجویز دارونما به بیماران غیراخلاقی است، یا برعکس، ادامه تجویز دارویی که آشکارا باعث آسیب می‌شود نیز غیراخلاقی است. گزارش گرینبرگ (Greenberg Report) که در سال ۱۹۶۷ نهایی شد، دستورالعمل اخلاقی برای نظارت موقت را پایه‌گذاری کرد، اما ابزارهای آماری برای انجام این کار بدون افزایش نتایج مثبت کاذب هنوز در مراحل ابتدایی خود بودند. توسعه تابع اسپندینگ لان-دمتس در سال ۱۹۸۳ پیشرفت ریاضیاتی را فراهم کرد که به هیئت‌های نظارت بر ایمنی داده‌ها اجازه داد تا با خیال راحت به داده‌ها سرک بکشند.

گذار این روش‌ها از پزشکی بالینی به تست دیجیتال A/B در دهه ۲۰۱۰ شتاب گرفت که ناشی از مقیاس عظیم آزمایش‌های آنلاین بود. شرکت‌های فناوری که هزاران تست همزمان را اجرا می‌کردند، نمی‌توانستند ناکارآمدی طراحی‌های با افق ثابت را تحمل کنند. انتظار چند هفته‌ای برای پایان یک تست، زمانی که یک ویژگی از قبل افزایش ۲۰ درصدی در نرخ تبدیل را نشان می‌داد، به معنای از دست دادن درآمد قابل‌توجهی بود. با اتخاذ تست متوالی و توابع آلفا-اسپندینگ، پلتفرم‌های آزمایش به تیم‌های محصول امکان دادند تا نتایج را به طور مستمر نظارت کنند. بودجه خطا دیگر به طور تصادفی از طریق رفرش کردن بی‌انضباط داشبورد خرج نمی‌شد؛ بلکه به طور عمدی و تحت کنترل یک منحنی ریاضی خرج می‌شد که از یکپارچگی تصمیم‌گیری کلی پلتفرم محافظت می‌کرد.[3]

برای درک تأثیر دقیق این مرزها، مقادیر بحرانی مورد نیاز برای اعلام معناداری را در نظر بگیرید. در یک تست استاندارد با افق ثابت با آلفای ۵ درصد، امتیاز Z بحرانی دوطرفه ۱.۹۶ است. اگر تیمی از تابع آلفا-اسپندینگ اوبراین-فلمینگ استفاده کند و داده‌ها را دقیقاً در ۵۰ درصد از حجم نمونه برنامه‌ریزی‌شده بررسی کند، امتیاز Z مورد نیاز برای توقف زودهنگام تست به حدود ۲.۹۶ جهش می‌کند. این مانع بلند تضمین می‌کند که تنها یک اثر واقعاً عظیم می‌تواند باعث استقرار زودهنگام شود. تا زمانی که تست به ۱۰۰ درصد حجم نمونه خود برسد، امتیاز Z مورد نیاز دوباره به حدود ۱.۹۷ کاهش می‌یابد که تقریباً مشابه آستانه اصلاح‌نشده است و توانایی تست را برای تشخیص دستاوردهای کوچکتر و حاشیه‌ای حفظ می‌کند.

در مقابل، مرز پوکوک یک مقدار بحرانی نسبتاً مسطح را در تمام بررسی‌های موقت حفظ می‌کند. اگر همان تست با یک تابع اسپندینگ نوع پوکوک در پنج تحلیل موقت با فواصل مساوی نظارت شود، امتیاز Z مورد نیاز برای هر بررسی، از جمله بررسی نهایی، در حدود ۲.۴۱ باقی می‌ماند. در حالی که این امر توقف تست را در کسر اطلاعات ۲۰ یا ۴۰ درصدی بسیار آسان‌تر می‌کند، اما تحلیل نهایی را به شدت جریمه می‌کند. متغیری که در پایان آزمایش به امتیاز Z برابر با ۲.۱۰ دست یابد، تحت یک طراحی با افق ثابت یا مرز اوبراین-فلمینگ به عنوان یک برنده معنادار آماری اعلام می‌شود، اما تحت مرز پوکوک به عنوان یک شکست رد خواهد شد.

این مبادله (trade-off) نشان می‌دهد که چرا انتخاب یک تابع آلفا-اسپندینگ یک تصمیم تجاری حیاتی است و نه فقط یک جزئیات فنی آماری. اگر شرکتی در حال آزمایش یک ویژگی با ریسک بالا و پاداش بالا است — مانند طراحی مجدد کامل جریان پرداخت — ممکن است مرز پوکوک را ترجیح دهد تا سریع شکست بخورد یا سریع پیروز شود. اگر آنها در حال آزمایش تغییرات ظریف الگوریتمی هستند که در آن دستاوردهای کوچک و تدریجی انتظار می‌رود، مرز اوبراین-فلمینگ بسیار برتر است، زیرا از توان تست برای تشخیص آن افزایش‌های کوچک در تحلیل نهایی محافظت می‌کند. تابع اسپندینگ باید با مشخصات ریسک و اندازه اثر مورد انتظار آزمایش همسو باشد.[3]

در نهایت، تابع آلفا-اسپندینگ نشان‌دهنده پیروزی مهندسی آماری بر بی‌صبری انسان است. این تابع می‌پذیرد که تمایل به سرک کشیدن به داده‌های در حال انباشت اجتناب‌ناپذیر است و به جای مبارزه با آن میل روان‌شناختی، یک چارچوب ریاضی برای تطبیق ایمن با آن می‌سازد. با مجبور کردن آزمایش‌گران به اعلام استراتژی نظارتی خود از پیش و جیره‌بندی دقیق بودجه خطای نوع اول در سراسر کسر اطلاعات، تست متوالی تضمین می‌کند که وقتی یک داشبورد سبز می‌شود، این نتیجه ناشی از رفتار واقعی کاربر است تا توهم آماری مشکل سرک کشیدن.[1]