مکانیسم تست A/B: مقایسه رویکردهای فرکوئنتیست و بیزی در طراحی آزمایش

مدیر محصول داشبورد را به‌روز می‌کند: دکمه جدید پرداخت، افزایش ۴.۲ درصدی در نرخ تبدیل را نشان می‌دهد. غریزه حکم می‌کند که این تغییر فوراً اعمال شود. اما اینکه آیا این ۴.۲ درصد یک تغییر رفتاری واقعی است یا صرفاً نویز آماری تصادفی، کاملاً به موتور ریاضیاتی بستگی دارد که در زیر پوست این آزمایش در حال اجرا است.[9]

تست A/B داور نامرئی اینترنت مدرن است و همه چیز را از فیدهای الگوریتمی گرفته تا طراحی پورتال‌های مراقبت‌های بهداشتی تعیین می‌کند. با این حال، صنعت علم داده در مورد نحوه محاسبه قطعیت، عمیقاً دچار اختلاف نظر است و بین دو چارچوب آماری بنیادی تقسیم شده است: فرکوئنتیست و بیزی.[7]

رویکرد فرکوئنتیست، که در اوایل قرن بیستم توسعه یافت، پایه و اساس سنتی تحقیقات علمی است. این رویکرد بر اساس یک مکانیسم سختگیرانه عمل می‌کند: شما فرض می‌کنید که هیچ تفاوتی بین نسخه کنترل و نسخه متغیر (که «فرضیه صفر» نامیده می‌شود) وجود ندارد، و سپس محاسبه می‌کنید که اگر این فرض درست باشد، داده‌های مشاهده‌شده شما چقدر غیرمحتمل خواهند بود.[2]

این عدم احتمال به صورت «مقدار پی» (p-value) بیان می‌شود. اگر مقدار پی به زیر یک آستانه از پیش تعیین شده، که معمولاً ۵٪ است، کاهش یابد، نتیجه از نظر آماری معنادار تلقی می‌شود. این چارچوب کنترل دقیق و تضمین‌شده‌ای را بر مثبت‌های کاذب (خطاهای نوع اول) و منفی‌های کاذب (خطاهای نوع دوم) فراهم می‌کند.[6][7]

با این حال، موتور فرکوئنتیست محیط عملیاتی سخت و غیرقابل انعطافی را طلب می‌کند. قبل از شروع آزمایش، آزمایش‌کنندگان باید حجم نمونه ثابتی را بر اساس حداقل تأثیر قابل تشخیص که می‌خواهند مشاهده کنند، محاسبه کنند. آزمایش باید بدون وقفه تا رسیدن به آن حجم نمونه دقیق ادامه یابد.[8]

این موضوع «مشکل سرک کشیدن» (Peeking Problem) را ایجاد می‌کند. اگر یک مدیر محصول در نیمه راه نتایج را بررسی کند و آزمایش را زودتر متوقف کند، زیرا به نظر می‌رسد نتیجه معنادار است، اساساً محاسبات ریاضی را نقض کرده است. نظارت مستمر در یک تنظیمات استاندارد فرکوئنتیست، نرخ مثبت کاذب را به شدت افزایش می‌دهد و شرکت‌ها را به سمت عرضه نسخه‌هایی سوق می‌دهد که در واقع بازنده هستند.[2][4]

علاوه بر این، خروجی این روش به طور مشهوری غیرشهودی است. مقدار پی ۰.۰۴ به این معنی نیست که ۹۶٪ احتمال دارد که نسخه متغیر بهتر باشد؛ بلکه به این معنی است که ۴٪ احتمال داشت که این نتایج مشاهده شوند اگر نسخه متغیر در واقع با نسخه کنترل یکسان بود. این اصطکاک شناختی اغلب منجر به تفسیر نادرست داده‌ها توسط رهبران کسب‌وکار می‌شود.[3]

در مقابل، چارچوب بیزی وارد می‌شود، که مکانیسم را به طور کامل برعکس می‌کند. آمار بیزی به جای فرض فرضیه صفر، با یک «پیشین» (Prior) شروع می‌کند—یک باور اولیه در مورد احتمال موفقیت بر اساس داده‌های تاریخی، آزمایش‌های گذشته یا قضاوت متخصصان.[1]

همانطور که داده‌های جدید از تست A/B سرازیر می‌شوند، موتور بیزی به طور مستمر این باور پیشین را به‌روزرسانی می‌کند و یک توزیع «پسین» (Posterior) تولید می‌کند. این یک محاسبه پویا و زنده است که با انباشت شواهد تغییر می‌کند و احتمال را به عنوان معیاری برای قطعیت در نظر می‌گیرد، نه یک فراوانی در بلندمدت.[6]

مزیت اصلی رویکرد بیزی در خروجی آن است: این روش مستقیماً به سؤالی پاسخ می‌دهد که کاربران کسب‌وکار واقعاً می‌پرسند. این روش یک احتمال سرراست ارائه می‌دهد، مانند «۸۷٪ احتمال دارد که نسخه B بهتر از نسخه A باشد»، در کنار زیان مورد انتظار در صورت انتخاب اشتباه.[4]

از آنجا که احتمالات بیزی به صورت پویا به‌روزرسانی می‌شوند، این چارچوب تحمل بسیار بیشتری نسبت به نظارت مستمر دارد. تیم‌های محصول می‌توانند روزانه به داشبورد سرک بکشند و تصمیمات زودهنگام برای حذف نسخه‌های فاجعه‌بار بگیرند، بدون اینکه مفروضات آماری زیربنایی را به شکلی که روش‌های فرکوئنتیست نقض می‌کنند، زیر پا بگذارند.[1][8]

اما تست بیزی نیز بدون آسیب‌پذیری‌های ساختاری خود نیست. الزام به تعریف یک «پیشین»، ذهنیت‌گرایی (سوبژکتیویته) را وارد محاسبات می‌کند. اگر پیشین بیش از حد خوش‌بینانه باشد، می‌تواند نتایج را سوگیری‌دار کند؛ اگر از یک پیشین «غیرآگاهی‌دهنده» برای جلوگیری از سوگیری استفاده شود، ممکن است آزمایش برای رسیدن به نتیجه به همان اندازه داده نیاز داشته باشد که در رویکرد فرکوئنتیست لازم است.[3][7]

بار محاسباتی به‌روزرسانی بیزی نیز به طور قابل توجهی بالاتر است و برای محاسبه توزیع‌های پسین به شبیه‌سازی‌های پیچیده نیاز دارد. با این حال، محاسبات ابری مدرن و پلتفرم‌های تخصصی تست، تا حد زیادی این مانع را برای کاربران نهایی خنثی کرده‌اند.[6]

با درک اصطکاک بین انعطاف‌ناپذیری فرکوئنتیست و ذهنیت‌گرایی بیزی، پارادایم سومی در آزمایش‌های سازمانی مورد توجه قرار گرفته است: «تست متوالی» (Sequential Testing). این رویکرد تلاش می‌کند تا شکاف بین کنترل دقیق خطا و تمایل به سرعت را پر کند.[5]

تست متوالی به عنوان یک مکانیسم ترکیبی عمل می‌کند. این روش کنترل‌های دقیق مثبت کاذب چارچوب فرکوئنتیست را حفظ می‌کند، اما آستانه‌های اهمیت را به صورت ریاضی و در زمان واقعی تنظیم می‌کند، و به آزمایش‌کنندگان اجازه می‌دهد که به طور مستمر به داده‌ها سرک بکشند و در صورت ظهور یک برنده واضح، آزمایش‌ها را زودتر متوقف کنند.[5]

در نهایت، انتخاب موتور آماری، فرهنگ آزمایش را دیکته می‌کند. روش‌های فرکوئنتیست انضباط و برنامه‌ریزی دقیق از پیش را تحمیل می‌کنند، که آن‌ها را برای تغییرات پرمخاطره—مانند مدل‌های قیمت‌گذاری یا مداخلات پزشکی—که در آن‌ها مثبت‌های کاذب بسیار پرهزینه هستند، ایده‌آل می‌سازد.[2]

در مقابل، روش‌های بیزی برای سرعت، تصمیم‌گیری شهودی و مدیریت ریسک بهینه‌سازی شده‌اند و با چرخه‌های توسعه نرم‌افزار چابک (Agile) که در آن‌ها عرضه سریع و تکرار بر قطعیت مطلق ریاضی ارجحیت دارد، همسو هستند.[1]

با این حال، هیچ چارچوب آماری نمی‌تواند یک آزمایش بد طراحی شده را نجات دهد. چه در حال محاسبه مقدار پی باشید و چه احتمالات پسین، یکپارچگی آزمایش کاملاً به خطوط لوله داده تمیز، تخصیص تصادفی ترافیک و آزمایش فرضیه‌هایی که واقعاً برای تجربه کاربر اهمیت دارند، وابسته است.[9]