چگونه حداقل اثر قابل‌تشخیص، توان آماری و آلفا، حجم نمونه مورد نیاز برای تست A/B را تعیین می‌کنند

مدیران محصول و بازاریابان اغلب ادعا می‌کنند که اجرای یک تست A/B صرفاً نیازمند صبر کردن است تا داشبورد یک نتیجه از نظر آماری معنادار را نشان دهد، و با حجم نمونه به عنوان یک مسئله ثانویه و انعطاف‌پذیر برخورد می‌کنند. با این حال، واقعیت ریاضی طراحی آزمایش با این رویکرد در تضاد است. حجم نمونه مورد نیاز، یک خروجی قطعی ریاضی است که حتی پیش از آغاز تست تعیین می‌شود و توسط سه محدودیت درهم‌تنیده دیکته می‌گردد: حداقل اثر قابل‌تشخیص (MDE)، توان آماری، و سطح معناداری (آلفا).

اگر یک آزمایشگر تستی را بدون تنظیم قبلی این سه اهرم آغاز کند، خطر اجرای یک تست کم‌توان را به جان می‌خرد که نتایج منفی کاذب یا برنده‌های توهمی تولید می‌کند؛ برنده‌هایی که پس از استقرار کامل ناپدید می‌شوند. همان‌طور که مستندات آماری ویکی‌پدیا اشاره می‌کند، توان تابعی از نوع تست استفاده‌شده، حجم نمونه و اندازه اثر است [۵].[5]

اولین و حساس‌ترین اهرم، حداقل اثر قابل‌تشخیص است. MDE نشان‌دهنده کوچک‌ترین اندازه اثر واقعی است که یک مطالعه می‌تواند با احتمالی مشخص و با توجه به حجم نمونه در دسترس، تشخیص دهد [۱]. این مفهوم در واقع یک تصمیم تجاری است که به زبان ریاضیات ترجمه شده است: کوچک‌ترین تغییر در نرخ تبدیل که هزینه مهندسی پیاده‌سازی نسخه برنده را توجیه کند، چقدر است؟[1]

بسیاری از تیم‌ها اندازه اثری را که انتظار دارند مشاهده کنند، بیش از حد برآورد می‌کنند که این امر یکی از دلایل اصلی تست‌های کم‌توان است. از آنجا که MDE با معکوس ریشه دوم حجم نمونه مقیاس می‌شود، جریمه جستجو برای اثرهای کوچک‌تر بسیار سنگین است [۱]. بر اساس مستندات تست MetricGate، نصف کردن MDE نیازمند چهار برابر شدن حجم نمونه است [۱].[1]

اهرم دوم توان آماری است که به عنوان خط دفاعی آزمایش در برابر نتایج منفی کاذب یا خطاهای نوع دوم عمل می‌کند. توان، احتمال یافتن تفاوت بین عملکرد نسخه کنترل و نسخه جایگزین است، با این فرض که یک تفاوت واقعی واقعاً وجود داشته باشد [۳].[3]

شرکت SplitMetrics در راهنمای تست سال ۲۰۲۳ خود خاطرنشان می‌کند که سطح توان ۰.۸۰ به عنوان بهترین رویه استاندارد در سراسر صنعت در نظر گرفته می‌شود [۳]. این بدان معناست که اگر تفاوت معناداری وجود داشته باشد، تست ۸۰٪ شانس شناسایی آن را دارد و یک ریسک ۲۰ درصدی باقی می‌ماند که یک بهبود واقعی تشخیص داده نشود.[3]

برخی از تیم‌های علم داده زمانی که از دست دادن یک اثر واقعی از نظر مالی پرهزینه باشد، برای توان ۹۰٪ پافشاری می‌کنند، اگرچه این امر نیازمند حجم نمونه بسیار بزرگ‌تری است [۴]. انتخاب بین توان ۸۰٪ و ۹۰٪ مستقیماً بر مدت زمان آزمایش و تخصیص ترافیک مورد نیاز تأثیر می‌گذارد.[4]

اهرم سوم سطح معناداری است که معمولاً با نام آلفا شناخته می‌شود و نرخ مثبت کاذب یا خطاهای نوع اول را کنترل می‌کند. آلفا همان شواهد آماری مورد نیاز پیش از اعلام معنادار بودن یک نتیجه است که معمولاً روی ۵٪ تنظیم می‌شود [۲]. این بدان معناست که آزمایشگر یک ریسک ۵ درصدی را می‌پذیرد که اثری را تشخیص دهد که کاملاً ناشی از واریانس تصادفی است.[2]

سخت‌گیرانه‌تر کردن آلفا از ۵٪ به ۱٪، مثبت‌های کاذب را کاهش می‌دهد اما همزمان توان آماری را نیز پایین می‌آورد، مگر اینکه آزمایشگر با افزودن داده‌های بسیار بیشتر آن را جبران کند [۴]. این سه اهرم یعنی MDE، توان و آلفا یک محدودیت ریاضی چهارگانه را با حجم نمونه تشکیل می‌دهند؛ ثابت کردن هر سه مورد، به طور خودکار مورد چهارم را تعیین می‌کند [۱].[1][4]

پلتفرم MetricGate یک مثال ملموس در سال ۲۰۲۶ از عملکرد این محدودیت ارائه می‌دهد: فرض کنید نرخ تبدیل پایه شما ۵٪ است، ۱۰,۰۰۰ کاربر در هر گروه دارید، آلفا مساوی ۰.۰۵ و توان مساوی ۰.۸۰ است. با استفاده از تقریب نرمال برای نسبت‌ها، MDE حدود ۰.۶ واحد درصد خواهد بود [۱].[1]

در آن سناریو، تست می‌تواند با اطمینان تغییری از ۵.۰٪ به ۵.۶٪ را تشخیص دهد. اگر کوچک‌ترین بهبودی که راه‌اندازی ویژگی جدید را توجیه می‌کند ۰.۳ واحد درصد باشد، آزمایشی که به این شکل طراحی شده است به سادگی نمی‌تواند آن را تشخیص دهد [۱]. ریاضیات این اجازه را نمی‌دهد، صرف‌نظر از اینکه داشبورد چه مدت در حال اجرا باشد.[1]

برای حل این بن‌بست ریاضی، تیم‌ها باید یا کاربران بیشتری جمع‌آوری کنند، تست را طولانی‌تر اجرا کنند، به یک متریک هدف حساس‌تر روی بیاورند، یا واریانس را از طریق تکنیک‌های پیشرفته آماری مانند CUPED کاهش دهند [۱]. حجم نمونه همچنان به عنوان عوارض اجتناب‌ناپذیری باقی می‌ماند که برای پیمایش بده‌بستان‌های میان ریسک از دست دادن یک برنده و هزینه عملیاتی انتظار برای داده‌ها پرداخت می‌شود.[1]