چرا معیار F1 (اف-وان) عدم توازن شدید بین دقت (Precision) و فراخوانی (Recall) را در یادگیری ماشین جریمه می‌کند؟

در سال ۱۹۷۹، در چهارمین کنفرانس بین‌المللی ذخیره‌سازی و بازیابی اطلاعات در بوستون، سی. جی. ون رایزبرگن (C.J. van Rijsbergen)، دانشمند علوم کامپیوتر، یک تابع ریاضی را برای حل یک مشکل رو به رشد در بازیابی خودکار متن معرفی کرد. محققان در تلاش بودند تا سیستمی را ارزیابی کنند که اسناد بسیار مرتبطی را باز می‌گرداند اما بیشتر آرشیو را از دست می‌داد، در مقابل سیستمی که همه چیز را باز می‌گرداند اما کاربر را زیر انبوهی از اطلاعات بی‌ارزش دفن می‌کرد. معیاری که او پیشنهاد کرد، که در ابتدا «معیار E» (E-measure) نامیده می‌شد، پایه‌ای را بنا نهاد که دانشمندان داده امروزی برای ارزیابی مدل‌های طبقه‌بندی از آن استفاده می‌کنند.[5]

تنش اصلی در هر وظیفه طبقه‌بندی—چه شناسایی ایمیل‌های اسپم، تشخیص بیماری‌ها، یا علامت‌گذاری رأی‌دهندگان احتمالی در یک نظرسنجی سیاسی—بین دو معیار رقیب قرار دارد: دقت (Precision) و فراخوانی (Recall). دقت، کیفیت پیش‌بینی‌های مثبت را اندازه‌گیری می‌کند. اگر یک مدل نظرسنجی ۱۰۰ پاسخ‌دهنده را به عنوان رأی‌دهنده احتمالی علامت‌گذاری کند و ۹۰ نفر از آن‌ها واقعاً رأی داده باشند، دقت ۹۰٪ است.[2]

در مقابل، فراخوانی، کمیت کلاس مثبت واقعی را که مدل با موفقیت شناسایی کرده است، اندازه‌گیری می‌کند. اگر در آن جمعیت مورد بررسی ۲۰۰ رأی‌دهنده واقعی وجود داشته باشد و مدل تنها ۹۰ نفر از آن‌ها را پیدا کرده باشد، فراخوانی ۴۵٪ است. یک مدل می‌تواند به راحتی با طبقه‌بندی کردن تک تک پاسخ‌دهندگان به عنوان رأی‌دهنده احتمالی، به فراخوانی ۱۰۰٪ دست یابد، اما دقت آن به نرخ مشارکت پایه سقوط خواهد کرد.[3]

راه‌حل واضح برای ارزیابی عملکرد کلی یک مدل ممکن است میانگین‌گیری از این دو عدد به نظر برسد. اما میانگین حسابی شکست‌های فاجعه‌بار را پنهان می‌کند. اگر یک الگوریتم تشخیص تقلب با علامت‌گذاری تنها یک تراکنش تقلبی بسیار آشکار از میان ۱۰,۰۰۰ تراکنش، به دقت ۱۰۰٪ دست یابد، فراخوانی آن ۰.۰۱٪ است. میانگین حسابی ۱۰۰٪ و ۰.۰۱٪، عدد قابل قبول ۵۰.۰۰۵٪ است که این واقعیت را پنهان می‌کند که مدل عملاً بی‌فایده است.