چگونه پیش از خرید اشتراک سازمانی، بنچمارک‌های هوش مصنوعی را ارزیابی کنیم

وقتی توسعه‌دهندگان تجاری هوش مصنوعی مانند OpenAI و Anthropic جدیدترین اشتراک‌های سازمانی خود را تبلیغ می‌کنند، استراتژی فروششان بر یک ادعای آشنا استوار است: دیواری از امتیازهای بنچمارک که ثابت می‌کند سیستم جدیدشان به‌طور عینی هوشمندتر از نسخه قبلی است. این تبلیغات ادعا می‌کنند که کسب امتیاز ۹۰ درصد در آزمون درک زبان چندوظیفه‌ای عظیم (MMLU) تضمین‌کننده استدلال برتر در محیط عملیاتی است. اما برای خریداران سازمانی که تصمیم می‌گیرند هزاران دلار از بودجه نرم‌افزاری خود را کجا خرج کنند، این اعداد روزبه‌روز بی‌معنی‌تر می‌شوند. این مدل‌ها لزوماً مهارت‌های حل مسئله بهتری پیدا نکرده‌اند؛ بلکه در بسیاری از موارد، صرفاً سؤالات آزمون را از قبل دیده‌اند.[1][2]

این پدیده که با نام «آلودگی داده‌ها» شناخته می‌شود، کاربرد بنچمارک‌های ثابت هوش مصنوعی را اساساً از بین می‌برد. آلودگی زمانی رخ می‌دهد که داده‌های آموزشی یک مدل به‌طور ناخواسته شامل سؤالات دقیق، پاسخ‌ها یا نسخه‌های مشابه آزمون‌هایی باشد که برای ارزیابی آن استفاده می‌شود. پرداخت هزینه برای اشتراک هوش مصنوعی بر اساس امتیاز آلوده MMLU، معادل استخدام یک کارجو است فقط به این دلیل که توانسته سؤالات مصاحبه را از قبل به دست آورد. این امتیاز میزان حفظیات را می‌سنجد، نه توانایی واقعی را.[2][3]

در سال ۲۰۲۶، گستردگی این مشکل به‌قدری جدی است که جدول‌های رده‌بندی سنتی را برای تصمیم‌گیری‌های خرید منسوخ می‌کند. تحلیلگران صنعت مستند کرده‌اند که آلودگی داده‌ها می‌تواند امتیاز بنچمارک‌ها را بین ۵ تا ۱۵ واحد درصد افزایش دهد. مدلی که به نظر می‌رسد در یک آزمون کدنویسی ۱۰ امتیاز از رقیب خود جلوتر است، ممکن است در واقعیت توانایی‌های یکسان یا حتی ضعیف‌تری داشته باشد، اما از مجموعه داده‌های آموزشی بهره برده که تصادفاً بخش بیشتری از منابع آن بنچمارک را استخراج کرده است.[1][2]

پیامدهای مالی برای کسب‌وکارها فوری است. تیم‌هایی که یک فروشنده را بر اساس این امتیازهای متورم و آلوده انتخاب می‌کنند، اغلب متوجه می‌شوند که مدل در وظایف واقعی و اختصاصی آن‌ها عملکرد ضعیفی دارد. یک شرکت ممکن است به سطح اشتراک ویژه ارتقا یابد و هزینه‌های بسیار بالاتری به ازای هر میلیون توکن بپردازد، اما در نهایت کشف کند که هوش مصنوعی در بررسی کدهای داخلی یا خلاصه‌سازی اسناد مالی محرمانه آن‌ها مشکل دارد؛ وظایفی که هرگز بخشی از داده‌های آموزشی آن نبوده‌اند.[1][2]

آزمون‌های خاصی که دستکاری می‌شوند، همان‌هایی هستند که بیشتر در مطالب بازاریابی به آن‌ها استناد می‌شود. آزمون MMLU که ۵۷ موضوع از ریاضیات ابتدایی تا حقوق حرفه‌ای را پوشش می‌دهد، یک آزمون چندگزینه‌ای ثابت است. از آنجا که محتوای آن سال‌هاست در اینترنت در دسترس عموم قرار دارد، خزنده‌های وب به‌طور معمول آن را در مجموعه داده‌های عظیمی که برای آموزش مدل‌های جدید استفاده می‌شود، جذب می‌کنند. در نتیجه، MMLU اکنون بیشتر به‌عنوان آزمونی برای یادآوری داده‌ها عمل می‌کند تا معیاری برای استدلال، و برای ارزیابی نحوه برخورد مدل با مشکلات جدید تجاری کاملاً بی‌فایده است.[2][3]

حتی بنچمارک‌هایی که برای سنجش مهارت‌های عملی طراحی شده‌اند نیز آسیب‌پذیرند. بنچمارک SWE-bench، یک ارزیابی محبوب که از مدل‌ها می‌خواهد مشکلات نرم‌افزاری واقعی را از GitHub حل کنند، از آلودگی زمانی رنج می‌برد. از آنجا که این بنچمارک از مخازن عمومی که پیش از تاریخ توقف آموزش مدل‌ها وجود داشته‌اند استفاده می‌کند، سیستم‌های هوش مصنوعی اغلب گزارش‌های باگ دقیق و راه‌حل‌های نوشته‌شده توسط انسان را از قبل بلعیده‌اند. ارزیاب‌ها نرخ آلودگی حدود ۱۲ درصدی را برای مدل‌های پیشرفته در این آزمون‌های کدنویسی ثبت کرده‌اند که فضای رقابتی را منحرف می‌کند.[1][2]

برای مقابله با این موضوع، ارزیاب‌های مستقل در حال کنار گذاشتن آزمون‌های ثابت و روی آوردن به بنچمارک‌گیری پویا هستند. پلتفرم‌هایی مانند LiveCodeBench و DeepSWE به‌طور خاص مسائل برنامه‌نویسی و مشکلات GitHub را جمع‌آوری می‌کنند که پس از تاریخ توقف آموزش مدل منتشر شده‌اند. با اطمینان از اینکه مواجهه قبلی با داده‌ها از نظر ساختاری غیرممکن است، این آزمون‌های پویا ارزیابی بسیار سخت‌گیرانه‌تر اما بسیار دقیق‌تری از توانایی مدل در تولید کد و خودترمیمی ارائه می‌دهند.[2]

افت عملکرد در این آزمون‌های غیرآلوده بسیار شدید است. در حالی که مدل‌های پرچمدار به‌طور معمول در MMLU امتیازی بالای ۸۵ درصد کسب می‌کنند، نرخ موفقیت آن‌ها در ارزیابی‌های پویا به‌شدت سقوط می‌کند. در «آخرین آزمون بشریت» (HLE) — بنچمارکی که توسط کارشناسان طراحی شده تا با حفظ کردن غیرقابل‌حل باشد — مدل‌های پیشرفته اغلب امتیازی زیر ۵۰ درصد می‌گیرند. این شکاف عظیم بین امتیازهای ثابت و پویا نشان می‌دهد که تا چه حد تبلیغات بازاریابی از قابلیت‌های واقعی هوش مصنوعی پیشی گرفته است.[1][2]

علاوه بر این، فروشندگان اغلب محیط آزمایش را دستکاری می‌کنند تا اعداد اصلی خود را به حداکثر برسانند. امتیاز یک مدل می‌تواند صرفاً بر اساس تنظیمات تلاش برای استدلال یا مجوزهای استفاده از ابزار که در طول ارزیابی داده می‌شود، چندین واحد درصد تغییر کند. همان‌طور که تحلیل سپتامبر ۲۰۲۶ رسانه PCMag نتیجه‌گیری می‌کند: «امتیازهای بنچمارک برای GPT-5.6، Fable 5.1 و Opus 5 به عملکرد در دنیای واقعی ترجمه نمی‌شوند. اگر دقیق‌تر نگاه کنید، آزمون‌های خودارزیابی‌شده، اعداد از قلم افتاده و صرفاً تبلیغات بازاریابی را خواهید یافت.»[1][2]

برای خریداران سازمانی، نکته کاربردی این است که هنگام تصمیم‌گیری برای خرید، جدول‌های رده‌بندی عمومی را کاملاً نادیده بگیرند. تنها راه قابل‌اعتماد برای ارزیابی یک مدل هوش مصنوعی، آزمایش ترکیبی و داخلی است. کسب‌وکارها باید مدل‌های کاندیدا را با داده‌های اختصاصی خودشان — ویکی‌های داخلی، پایگاه‌های کد خصوصی و گزارش‌های خدمات مشتری — با استفاده از یک چارچوب کالیبره‌شده «مدل زبانی بزرگ به‌عنوان داور» در کنار بررسی انسانی آزمایش کنند.[2]

خریداران همچنین باید هزینه واقعی عملکرد را بسنجند. مدل‌های جدیدتر که برای استدلال طولانی‌مدت طراحی شده‌اند ممکن است در بنچمارک‌های پیچیده ریاضی امتیاز بالاتری کسب کنند، اما می‌توانند تا ۳۰ برابر کندتر و به ازای هر توکن به‌طور قابل‌توجهی گران‌تر از مدل‌های استاندارد باشند. یک برتری جزئی در جدول رده‌بندی عمومی به‌ندرت افزایش عظیم در هزینه‌های عملیاتی را توجیه می‌کند، مگر اینکه مدل بتواند بهره‌وری متناسبی را در حجم کاری خاص یک شرکت ارائه دهد.[1][2]

صنعت هوش مصنوعی در حال حاضر قانون گودهارت را در زمان واقعی تجربه می‌کند: وقتی یک معیار به یک هدف تبدیل می‌شود، دیگر معیار خوبی نیست. تا زمانی که صنعت حول ارزیابی‌های پویا و ضدآلودگی استاندارد نشود، خریداران باید نمودارهای بنچمارک ارائه‌شده توسط فروشندگان را به‌عنوان آگهی تبلیغاتی در نظر بگیرند. هوشمندانه‌ترین استراتژی خرید، درخواست اثبات مفهوم روی داده‌های خصوصی است تا اطمینان حاصل شود که بودجه نرم‌افزاری صرف توانایی واقعی حل مسئله می‌شود، نه حفظیات پیشرفته.[1][2][4]