فیلترهای ویرایشی و یادگیری ماشین ویکی‌پدیا واقعاً چطور تشخیص خرابکاری را خودکار می‌کنند؟

لحظه‌ای که یک ویرایشگر ویکی‌پدیا روی «انتشار تغییرات» کلیک می‌کند، سرنوشت مشارکت او بلافاصله توسط یک خواننده انسانی تعیین نمی‌شود. پیش از آنکه متن به پایگاه داده عمومی برسد یا در فید «تغییرات اخیر» ظاهر شود، باید از سد مجموعه‌ای از الگوریتم‌های اکتشافی خودکار به نام AbuseFilter (فیلتر سوءاستفاده) بگذرد. این ارزیابیِ کسری از ثانیه‌ای، گام تعیین‌کننده در مسیر نظارت پلتفرم است؛ چرا که مشخص می‌کند آیا یک ویرایش اصلاً اجازه حیات دارد، برای بررسی دقیق‌تر نشانه‌گذاری می‌شود، یا در سکوت کامل حذف می‌گردد.[1]

برای ویکی‌پدیای انگلیسی که در هر دقیقه صدها ویرایش را پردازش می‌کند، تکیه صرف بر ناظران انسانی برای کشف خرابکاری از نظر ریاضی غیرممکن است. بنیاد ویکی‌مدیا در سال ۲۰۲۳ گزارش داد که این پلتفرم به جامعه‌ای متشکل از نزدیک به ۲۶۰ هزار ناظر داوطلب متکی است. با این حال، توجه انسان منبعی محدود است و بقای پلتفرم به فیلتر کردن این سیلاب اطلاعاتی پیش از غرق کردن ناظران بستگی دارد.[7]

مکانیسم دفاعی اصلی، افزونه AbuseFilter است که در سال ۲۰۰۹ در ویکی‌پدیای انگلیسی فعال شد. این سیستم که در میان کاربران محلی اغلب با نام «فیلتر ویرایش» (Edit Filter) شناخته می‌شود، یک سیستم قطعی و مبتنی بر قانون است. این افزونه هر ویرایش ورودی را با مجموعه سخت‌گیرانه‌ای از شروط نوشته‌شده به زبان «عبارات باقاعده سازگار با پرل» (regex) تطبیق می‌دهد تا الگوهای شناخته‌شده اخلال‌گری را پیدا کند.[1]

نگهداری از این فیلترها بر عهده گروه بسیار محدودی متشکل از حدود ۲۲۰ «مدیر فیلتر ویرایش» (EFM) در پروژه انگلیسی است. از آنجا که تنها یک کاراکتر جابه‌جا شده در یک رشته regex می‌تواند به‌طور ناخواسته هزاران ویرایش مشروع را مسدود کند، تخصص فنی لازم برای تصدی این نقش بسیار بالاست. مدیران فیلتر باید بین دستگیری خرابکاران و یک بودجه عملکردیِ سخت‌گیرانه تعادل ایجاد کنند؛ چرا که هر فیلتر به محدودیت ۱۰۰۰ شرطی مقید شده است تا از توقف سرورها در مرحله ارزیابی جلوگیری شود.[1][6]

فیلترها در طیفی از شدت عمل می‌کنند. در پایین‌ترین سطح، یک فیلتر ممکن است صرفاً ویرایشی را برای بررسی‌های بعدی ثبت کند، بدون اینکه مزاحمتی برای کاربر ایجاد نماید. یک پله بالاتر، ممکن است به کاربر اخطار دهد و از او بخواهد برای تایید اینکه متوجه مشکل احتمالی مشارکت خود شده است، برای بار دوم روی «انتشار» کلیک کند.[1]

در بالاترین سطح از شدت، فیلتر در حالت «عدم اجازه» (disallow) عمل می‌کند. ویرایش به‌طور کامل رد شده و کاربر یک پیام خطا دریافت می‌کند. همان‌طور که مستندات مدیاویکی (MediaWiki) توضیح می‌دهد، قوانین می‌توانند طوری پیکربندی شوند که «کاربران با کمتر از ۵۰۰ ویرایش از انتقال صفحات به عناوینی که با این عبارت باقاعده مطابقت دارند، منع شوند». این حالت برای واضح‌ترین خرابکاری‌ها با ضریب اطمینان بالا، مانند سوءاستفاده از انتقال صفحه یا خالی کردن دسته‌جمعی صفحات رزرو شده است که طبق مستندات، معمولاً تنها ۲ تا ۳ مثبت کاذب (خطای تشخیص) در سال به همراه دارد.[1]

با این وجود، قوانین قطعی ذاتاً شکننده هستند. فیلتری که برای مسدود کردن کلمات رکیک طراحی شده، ممکن است به‌طور ناخواسته یک مشارکت مشروع را گیر بیندازد. به عنوان مثال، یک مثبت کاذبِ مستند در اکتبر ۲۰۱۹ رخ داد؛ زمانی که یک فیلتر، کاربران ناشناس را از افزودن رشته "Ass'n" (مخفف حقوقی استاندارد برای Association) مسدود کرد، زیرا حاوی یک زیررشته ممنوعه بود. کاربر در تلاش بود تا به مقالات موجودی مانند "American Booksellers Ass'n, Inc. v. Hudnut" لینک دهد، اما قانون regex قادر به تشخیص بافتار و زمینه متن نبود.[2]

برای مدیریت ظرایفی که regex از پس آن برنمی‌آید، ویکی‌پدیا سیستم دومی را روی AbuseFilter لایه‌بندی می‌کند: «سرویس ارزیابی عینی نسخه‌ها» (ORES). این سیستم که حوالی سال ۲۰۱۵ به جامعه معرفی شد، با یک پایه ریاضی کاملاً متفاوت به مسئله نزدیک می‌شود.[3][4]

برخلاف AbuseFilter، سیستم ORES یک مدل احتمالی یادگیری ماشین است. این مدل به دنبال رشته‌های متنی خاص نمی‌گردد؛ در عوض، احتمال آماری مخرب بودن یک ویرایش را بر اساس ویژگی‌های استخراج‌شده ارزیابی می‌کند. این ویژگی‌ها شامل طول ویرایش، وجود کاراکترهای تکراری، اضافه شدن یا نشدن منبع و سن حساب کاربری است.[3]

با عبور یک ویرایش از سیستم، ORES در لحظه یک امتیاز «کیفیت ویرایش» محاسبه می‌کند. اما پیاده‌سازی این امتیاز، فلسفه بنیادین ویکی‌پدیا در مورد حکمرانی الگوریتمی را آشکار می‌سازد. پوشش‌های رسانه‌ای خارجی اغلب با هیاهو از ORES به عنوان یک «ویراستار هوش مصنوعی» که دانشنامه را پلیسی می‌کند، یاد می‌کنند. اما واقعیتی که به اجرا درآمده، بسیار محدودتر از این حرف‌هاست.[5]

به ORES هرگز اختیار رد کردن یک ویرایش داده نمی‌شود. در حالی که AbuseFilter قطعی می‌تواند یک اقدام را مستقیماً مسدود کند، مدل احتمالی ORES صرفاً یک ابزار مشاوره‌ای است. همان‌طور که شعبه بروکسل ویکی‌مدیا اشاره می‌کند: «تصمیم‌گیری در مورد اینکه آیا یک ویرایش حفظ شود یا به حالت قبل برگردد، توسط الگوریتم گرفته نمی‌شود، بلکه همیشه بر عهده ناظر انسانی است.»

در عوض، ORES به عنوان یک مکانیسم تریاژ (اولویت‌بندی) عمل می‌کند. وقتی یک داوطلب فید «تغییرات اخیر» خود را باز می‌کند یا از ابزارهای ضدخرابکاری مانند Huggle بهره می‌برد، امتیازات ORES ویرایش‌هایی را که بیشترین احتمال مخرب بودن را دارند، برجسته می‌کند. این کار به ناظر انسانی اجازه می‌دهد تا توجه محدود خود را روی پرخطرترین تغییرات متمرکز کند و تصمیم نهایی را برای بازگردانی ویرایش یا تایید آن بگیرد.[4][5]

این تفکیک دقیق قوا (قوانین قطعی برای مسدودسازی خودکار و مدل‌های احتمالی برای تریاژ انسانی) از سانسور بی‌سروصدای مشارکت‌کنندگانِ باحسن‌نیت توسط سوگیری‌های الگوریتمی جلوگیری می‌کند. یک مدل یادگیری ماشین ممکن است ویرایشی را با احتمال ۸۵ درصد به عنوان خرابکاری نشانه‌گذاری کند، اما برای کشیدن ماشه نهایی به یک انسان نیاز است.[5][7]

این سیستم در حال حاضر یک تغییر معماری عظیم را تجربه می‌کند. تیم یادگیری ماشین بنیاد ویکی‌مدیا در حال کنار گذاشتن زیرساخت قدیمی ORES به نفع یک پلتفرم مدرن‌تر به نام LiftWing است. هدف LiftWing ارائه همان قابلیت‌های «یادگیری ماشین به عنوان سرویس» است، اما با مقیاس‌پذیری و یکپارچگی بهتر در تمام پروژه‌های ویکی‌مدیا.[3]

گذار به LiftWing بازتابی از پیچیدگی روزافزون نظارت بر پلتفرم‌هاست. با اجرایی شدن «قانون خدمات دیجیتال» (DSA) اتحادیه اروپا برای ویکی‌پدیا در آگوست ۲۰۲۳، بنیاد موظف شد گزارش‌های شفافیت دقیقی درباره ابزارهای خودکار نظارت بر محتوای خود، از جمله میزان دقت و پادمان‌های ابزارهایی مانند AbuseFilter و ORES منتشر کند.[7]

درس ماندگار معماری ویکی‌پدیا این است که اتوماسیون در خدمت جامعه است، نه برعکس. الگوریتم‌ها دانشنامه را نمی‌نویسند و مرجع نهایی برای تعیین آنچه به آن تعلق دارد نیز نیستند. آن‌ها صرفاً نویزها را فیلتر می‌کنند تا فضای کار را برای ادامه فعالیت داوطلبان انسانی به اندازه کافی تمیز نگه دارند.[7]