پایان دوران آزمون‌های تئوری؛ نظرسنجی جدید اوپن‌ای‌آی هوش مصنوعی را در کارهای روزمره می‌سنجد

در دوم نوامبر ۲۰۲۶، شرکت اوپن‌ای‌آی (OpenAI) با معرفی بنچمارک جدیدی به نام «لایف‌ول» (LifeVal)، مسیر ارزیابی هوش مصنوعی را تغییر داد. این ابزار به جای سنجش توانایی مدل‌ها در حل معادلات پیچیده ریاضی یا نوشتن کدهای برنامه‌نویسی، بر یک پرسش ساده تمرکز دارد: آیا هوش مصنوعی می‌تواند کارهای روزمره انسان‌ها را انجام دهد؟[1][3]

این تغییر رویکرد از آنجا نشأت می‌گیرد که بیش از یک میلیارد کاربر فعال هفتگی چت‌جی‌پی‌تی (ChatGPT)، بیشتر به دنبال کمک‌های عملی هستند تا پاسخ‌های تئوری. اوپن‌ای‌آی برای درک دقیق این نیازها، به جای تکیه بر حدس و گمان مهندسان خود، به سراغ داده‌های واقعی و نظرسنجی‌های گسترده رفت.[1][2]

هسته اصلی این بنچمارک بر پایه یک نظرسنجی جامع از ۳ هزار و ۹۹۵ کاربر با ترکیب جمعیتی متنوع بنا شده است. این پژوهش میدانی مشخص کرد که مردم در زندگی روزمره خود، بیش از همه تمایل دارند کدام دسته از کارهای خسته‌کننده و زمان‌بر را به یک دستیار هوشمند بسپارند.[3]

پژوهشگران اوپن‌ای‌آی نتایج این نظرسنجی را با دو پایگاه داده معتبر جهانی ترکیب کردند. «بررسی استفاده از زمان در آمریکا» (ATUS) و «مطالعه چندملیتی استفاده از زمان» (MTUS)، دو منبعی بودند که نشان می‌دادند شهروندان کشورهای مختلف، ساعات روزانه خود را دقیقاً صرف چه فعالیت‌هایی می‌کنند.[2][4]

این پایگاه‌های داده نشان دادند که بخش عمده‌ای از زمان شهروندان صرف اموری می‌شود که به ظاهر ساده اما در عمل بسیار فرسایشی هستند. از جست‌وجو برای یافتن خدمات مناسب گرفته تا مقایسه قیمت‌ها و پر کردن فرم‌های اداری، همگی بخش بزرگی از انرژی روزانه افراد را مصرف می‌کنند.[2]

عبور از حرف به عمل

ترکیب این داده‌های آماری به طراحی ۱۶۹ کار عملیاتی و عامل‌محور منجر شد. این وظایف در هفت دسته اصلی شامل مراقبت از اعضای خانواده، سلامت، آموزش، مدیریت امور خانه، امور مالی شخصی، خرید و استفاده از خدمات دولتی طبقه‌بندی شده‌اند.[2]

تفاوت کلیدی لایف‌ول با آزمون‌های قبلی در این است که هوش مصنوعی باید کار را از ابتدا تا انتها به سرانجام برساند. به عنوان مثال، در یکی از سناریوها، مدل باید بتواند یک خانه مناسب با بودجه و شرایط رفت‌وآمد کاربر پیدا کرده و سند آن را برای بررسی نهایی در یک سبد خرید آنلاین قرار دهد.[2][3]

جنی یانگ (Jenny Yang)، یکی از پژوهشگران ارشد اوپن‌ای‌آی، درباره این رویکرد می‌گوید: «هدف ما شناسایی مسئولیت‌های روزمره‌ای بود که مردم واقعاً می‌خواهند به یک دستیار بسپارند. این ارزیابی نشان می‌دهد که مدل‌های ما در کجا پیشرفت کرده‌اند و در چه بخش‌هایی هنوز کاستی دارند.»[3]

در این آزمون‌ها، مدل‌ها باید بتوانند به طور مستقل در مرورگرهای اینترنتی جست‌وجو کنند، با محیط سیستم‌عامل رایانه تعامل داشته باشند و از ابزارهای مختلف استفاده کنند. تنها ارائه یک راهنمای متنی یا نصیحت کردن کاربر، در این بنچمارک نمره قبولی به همراه نخواهد داشت.[4]

طراحی دقیق معیارهای سنجش

برای اطمینان از کیفیت ارزیابی‌ها، اوپن‌ای‌آی از حدود ۱۰۰ فرد متخصص برای طراحی سناریوها و معیارهای نمره‌دهی کمک گرفت. این افراد باید ثابت می‌کردند که در انجام آن کار خاص در دنیای واقعی تجربه کافی دارند و می‌دانند یک نتیجه مطلوب دقیقاً چه ویژگی‌هایی دارد.[3]

تمام ۱۶۹ سناریوی طراحی‌شده، پیش از ورود به مجموعه نهایی لایف‌ول، حداقل سه مرحله کنترل کیفیت انسانی را پشت سر گذاشته‌اند. این سخت‌گیری تضمین می‌کند که هوش مصنوعی در شرایطی کاملاً مشابه با پیچیدگی‌های زندگی واقعی و با اطلاعات ناقص یا مبهم آزمایش شود.[1]

نتایج اولیه منتشر شده توسط اوپن‌ای‌آی نشان‌دهنده پیشرفت چشمگیر مدل‌های جدید است. بر اساس گزارش‌ها، مدل «جی‌پی‌تی-۶ آسترا» (GPT-6 Astra) موفق شده است در این بنچمارک به میانگین امتیاز ۸۰٫۶ درصد دست پیدا کند که نشان‌دهنده توانایی بالای آن در اجرای وظایف چندمرحله‌ای است.[2][4]

این امتیاز در مقایسه با عملکرد مدل‌های قبلی یک جهش بزرگ محسوب می‌شود. برای مقایسه، مدل جی‌پی‌تی-۵٫۲ در دسامبر سال ۲۰۲۵ تنها توانسته بود امتیاز ۴۹٫۳ درصد را در آزمون‌های مشابه کسب کند. این رشد نشان می‌دهد که تمرکز بر قابلیت‌های عملیاتی نتیجه‌بخش بوده است.[4]

موفقیت در سناریوهای پیچیده

در برخی از سناریوهای خاص، عملکرد مدل‌های جدید خیره‌کننده بوده است. به عنوان مثال، در سناریوی هماهنگی نیروهای داوطلب برای امدادرسانی در سیل، هوش مصنوعی توانست امتیاز ۹۸ درصد را کسب کند. همچنین در فرایند ثبت‌نام مهدکودک، امتیاز ۹۳٫۱ درصد به ثبت رسید.[4]

یکی دیگر از وظایف پیچیده‌ای که در این بنچمارک مورد ارزیابی قرار گرفت، فرایند جست‌وجوی مسکن بود. هوش مصنوعی توانست با موفقیت صد درصدی، خانه‌ای را در منطقه لوزرن کانتری (Luzerne County) پیدا کند که دقیقاً با بودجه کاربر و الزامات مسیر رفت‌وآمد او مطابقت داشت و حتی مالیات نقل‌وانتقال را نیز محاسبه کرد.[2]

یکی دیگر از وظایف موفق، برنامه‌ریزی غذایی برای والدینی بود که به تازگی با تشخیص بیماری دیابت مواجه شده‌اند. هوش مصنوعی در این سناریو با در نظر گرفتن محدودیت‌های پزشکی و بودجه خانواده، برنامه‌ای دقیق ارائه داد و امتیاز ۹۰٫۴ درصد را به دست آورد.[4]

با وجود این موفقیت‌ها، کارشناسان هشدار می‌دهند که نباید این درصدها را به معنای بی‌نقص بودن هوش مصنوعی در تمام شرایط دانست. پلتفرم تحلیل داده «رمی‌آی» (Remio.ai) در گزارشی تأکید کرده است که یک نمره بالا در شرایط آزمایشگاهی، لزوماً تضمین‌کننده موفقیت در پیچیدگی‌های خاص هر خانواده نیست.[5]

شفافیت و چالش‌های پیش‌رو

یکی از انتقاداتی که به این بنچمارک وارد شده، عدم انتشار عمومی مجموعه داده‌ها و کدهای ارزیابی است. برخی از تحلیلگران مستقل اشاره کرده‌اند که تا زمانی که این آزمون‌ها توسط نهادهای شخص ثالث تکرار نشوند، باید در مقایسه مدل‌های مختلف با یکدیگر محتاط بود.[3]

با این حال، نفس ایجاد چنین معیاری یک گام رو به جلو برای صنعت فناوری محسوب می‌شود. تا پیش از این، شرکت‌ها تنها وعده می‌دادند که محصولاتشان زندگی را آسان‌تر می‌کند، اما اکنون یک متر و معیار مشخص برای سنجش این ادعاها وجود دارد.[3]

ارزش اقتصادی کارهایی که لایف‌ول آن‌ها را پوشش می‌دهد، سالانه بیش از ۱٫۷ تریلیون دلار برآورد شده است. این رقم نشان می‌دهد که چرا شرکت‌های بزرگ فناوری رقابت سنگینی را برای ساخت دستیارهای هوشمند شخصی و عامل‌محور آغاز کرده‌اند.[1]

ارزش اصلی این بنچمارک در مشخص کردن مرز بین «پاسخ دادن» و «انجام دادن» نهفته است. یک دستیار واقعی باید بداند که ارائه یک لیست طولانی از دستورالعمل‌ها کافی نیست؛ بلکه باید فرم‌ها را پر کند، نوبت‌ها را رزرو کند و تنها تصمیم‌گیری نهایی را به کاربر بسپارد.[2]

AI

اوپن‌ای‌آی اعلام کرده است که قصد دارد در آینده با توجه به تغییر نیازهای کاربران و ظهور چالش‌های جدید در زندگی روزمره، سناریوهای لایف‌ول را به‌روزرسانی کند. این پویایی به توسعه‌دهندگان کمک می‌کند تا محصولات خود را همگام با نیازهای واقعی جامعه پیش ببرند.[4]

آینده دستیارهای شخصی

پیش از معرفی لایف‌ول، بنچمارک‌هایی مانند «وب‌آرنا» (WebArena) و «اواس‌ورلد» (OSWorld) تلاش کرده بودند عملکرد عامل‌های هوشمند را در محیط وب و سیستم‌عامل بسنجند. اما آن آزمون‌ها بیشتر بر کارهای اداری و شرکتی تمرکز داشتند و نیازهای شخصی و خانوادگی کاربران عادی را نادیده می‌گرفتند.[1]

در نظرسنجی ۳ هزار و ۹۹۵ نفری اوپن‌ای‌آی، مشخص شد که کاربران بیش از هر چیز به حفظ حریم خصوصی و کنترل نهایی بر تصمیمات اهمیت می‌دهند. به همین دلیل، در سناریوهای لایف‌ول، هوش مصنوعی موظف است پیش از نهایی کردن خریدهای گران‌قیمت یا ارسال اطلاعات حساس، تأیید کاربر را دریافت کند.[2][3]

حفظ امنیت اطلاعات شخصی در انجام کارهای اداری و مالی، یکی از خطوط قرمز اصلی در طراحی این سناریوها بوده است. توسعه‌دهندگان اوپن‌ای‌آی تأکید کرده‌اند که تمام اطلاعات شخصی استفاده شده در طراحی این آزمون‌ها، برای محافظت از حریم خصوصی افراد، به صورت مصنوعی تولید یا کاملاً ناشناس شده‌اند.[1]

معرفی این بنچمارک نشان‌دهنده بلوغ فناوری هوش مصنوعی است. ما در حال عبور از دورانی هستیم که در آن چت‌بات‌ها صرفاً به عنوان موتورهای جست‌وجوی پیشرفته عمل می‌کردند. نسل جدید مدل‌ها، ابزارهایی هستند که می‌توانند به عنوان یک نماینده دیجیتال، وظایف خسته‌کننده را بر عهده بگیرند.

انتظار می‌رود با استاندارد شدن ارزیابی‌هایی مانند لایف‌ول، سایر شرکت‌های بزرگ فناوری نیز مجبور شوند عملکرد محصولات خود را در دنیای واقعی شفاف‌تر کنند. این رقابت در نهایت به نفع مصرف‌کنندگانی تمام خواهد شد که به دنبال راهی برای مدیریت بهتر زمان و کاهش استرس‌های روزمره هستند.[4]