رفتن به محتوای اصلی

روند کامل رویداد

اوپن‌ای‌آی جی‌پی‌تی-۶ «آسترا» با قابلیت‌های عامل خودکار را برای مشتریان سازمانی منتخب مستقر می‌کند

مدل پرچمدار جدید OpenAI با استفاده از یک مهاربند حافظه سفارشی، در یک آزمون استدلال مهم امتیاز ۹۹.۹ درصد را کسب کرد، اما این رقم در شرایط تست استاندارد به ۶۲.۷ درصد سقوط کرد.

تحریریه کوهستان· به‌روزرسانی

«اوپن‌ای‌آی جی‌پی‌تی-۶ «آسترا» با قابلیت‌های عامل خودکار را برای مشتریان سازمانی منتخب مستقر می‌کند» را در اپ کوهستان دنبال کنید تا از خبرهای تازه‌اش باخبر شوید. دریافت اپ

آزمایش‌های مستقل نشان می‌دهد که عملکرد بنچمارک GPT-6 Astra به شدت به مهاربند نرم‌افزاری پیرامون آن وابسته است.از گزارش: ارزیابان مستقل از اختلاف ۳۷ امتیازی در بنچمارک هوش مصنوعی GPT-6 Astra پرده برداشتند

این خبر را به اشتراک بگذارید

تازه‌ترین گزارش

ارزیابان مستقل از اختلاف ۳۷ امتیازی در بنچمارک هوش مصنوعی GPT-6 Astra پرده برداشتند

مدل پرچمدار جدید OpenAI با استفاده از یک مهاربند حافظه سفارشی، در یک آزمون استدلال مهم امتیاز ۹۹.۹ درصد را کسب کرد، اما این رقم در شرایط تست استاندارد به ۶۲.۷ درصد سقوط کرد. این اختلاف فاحش نشان می‌دهد که چگونه داربست‌های نرم‌افزاری اکنون به شدت بر معیارهای عملکرد هوش مصنوعی تاثیر می‌گذارند.

برای اینکه یک بنچمارک هوش مصنوعی بتواند قابلیت‌های خام را بسنجد، محیط تست — یعنی مهاربند نرم‌افزاری که مدل را احاطه کرده — نباید هیچ‌گونه میان‌بر حافظه یا استدلالی ارائه دهد که خود مدل قادر به تولید آن نیست. در مورد مدل تازه‌منتشرشده GPT-6 Astra از شرکت OpenAI، این شرط به طور یکسان صدق نمی‌کند و تفاوت در محیط‌های تست، اختلافی ۳۷ درصدی در یک ارزیابی پرچمدار به همراه دارد.[1][6]

زمانی که OpenAI مدل GPT-6 Astra را در ۳ سپتامبر ۲۰۲۶ عرضه کرد، این شرکت آن را به عنوان یک جهش نسلی در استدلال و کارهای عامل‌محور معرفی نمود. ادعای اصلی به شدت بر امتیاز تقریباً کامل ۹۹.۹ درصدی در ARC-AGI-3 استوار بود؛ یک آزمون بسیار دشوار در حل معماهای انتزاعی که نیازمند استنتاج قوانین در محیط‌های جدید توسط هوش مصنوعی است.[2][6]

با این حال، آزمایش‌های مستقل توسط بنیاد ARC Prize نشان داد که این امتیاز تقریباً کامل، کاملاً به نحوه اجازه دادن به مدل برای به خاطر سپردن گام‌های قبلی‌اش بستگی دارد. وقتی این مدل تحت یک مهاربند استاندارد و مستقل از ارائه‌دهنده آزمایش شد — که مدل را مجبور می‌کند تنها به یادداشت‌هایی تکیه کند که صراحتاً خودش برای نوشتن انتخاب می‌کند — امتیاز GPT-6 Astra به ۶۲.۷ درصد کاهش یافت.[1][6]

نتیجه ۹۹.۹ درصدی با استفاده از یک مهاربند سفارشی به نام «Provider Adapter» به دست آمده بود. این محیط تخصصی، وضعیت‌های استدلال پنهان مدل را بین درخواست‌ها حفظ می‌کند و با استفاده از فشرده‌سازی پس‌زمینه، کارهای محاسباتی قبلی را دوباره به کار می‌گیرد؛ سازوکاری که در عمل یک حلقه حافظه پیوسته و پنهان به هوش مصنوعی می‌دهد تا نیازی به استخراج مجدد پاسخ‌ها از نقطه صفر نداشته باشد.[1]

این شکاف ۳۷ امتیازی یک نقص در مدل نیست، بلکه معیاری است برای سنجش اینکه Astra تا چه حد به حفظ استدلال‌های پنهان خود در طول نوبت‌های مختلف متکی است. این موضوع یک واقعیت رو به رشد را در هوش مصنوعی برجسته می‌کند: داربست پیرامون یک مدل اکنون به اندازه خود شبکه عصبی در عملکرد آن حیاتی است.[1][6]

این اختلاف پس از انتشار مدل، به بخشی از یک گفتگوی گسترده‌تر درباره شفافیت بنچمارک‌ها تبدیل شد. تنها چند روز پس از عرضه، OpenAI بی‌سروصدا چندین آمار منتشرشده در سایت خود را اصلاح کرد؛ از جمله نصف کردن نرخ توهم گزارش‌شده Astra از ۴.۲ درصد به ۲.۰ درصد، پیش از آنکه دوباره آن را به عدد اولیه بازگرداند.[3][5]

در واکنش به این تغییر آمارها، یکی از سخنگویان OpenAI اعلام کرد: «ما همیشه ارزیابی‌ها را پیش از انتشار بررسی می‌کنیم، بنابراین اصلاحات بین نسخه پیش‌نویس و نهایی طبیعی است.» با این وجود، این بازبینی‌ها نشان می‌دهند که معیارهای اصلی تا چه حد به تغییرات جزئی در پیکربندی حساس هستند.[5]

از آن زمان، ارزیابان مستقل هوش خام Astra را در یک چارچوب مشخص قرار داده‌اند. پلتفرم Artificial Analysis که یک شاخص هوش استاندارد را در سطح صنعت اجرا می‌کند، در ۹ سپتامبر ۲۰۲۶ به GPT-6 Astra امتیاز ۶۱.۲ داد. این امر پرچمدار جدید را عملاً در جایگاهی برابر با نسخه قبلی خود یعنی GPT-5.6 Sol با امتیاز ۶۰.۹، و کمی پایین‌تر از Claude Fable 5.1 شرکت Anthropic با امتیاز ۶۵.۷ قرار می‌دهد.[4]

جایی که Astra بدون شک در آن برتری دارد، کارایی عامل‌محور و استفاده از کامپیوتر است. در شاخص عامل کدنویسی Artificial Analysis، مدل Astra با Fable 5.1 برابری می‌کند، در حالی که با حدود ۶۰ درصد هزینه کمتر به ازای هر وظیفه عمل کرده و از توکن‌های خروجی بسیار کمتری برای رسیدن به همان نتایج استفاده می‌کند.[4]

این مدل همچنین در محیط ARC-AGI-3 از خط پایه کارایی-عملکرد انسانی پیشی گرفت و ۹۶.۰ درصد از مراحل آزمون را با استفاده از اقداماتی کمتر از میانگین شرکت‌کنندگان انسانی به پایان رساند.[1]

ظهور این شکاف ۳۷ امتیازی، نشان‌دهنده تغییری در نحوه ارزیابی قابلیت‌های هوش مصنوعی است. از آنجا که مدل‌ها برای انجام وظایف طولانی‌مدت توانمندتر می‌شوند، مرز میان وزن‌های خام یک مدل و معماری نرم‌افزاری پیرامون آن در حال محو شدن است؛ موضوعی که تعیین اینکه الگوریتم کجا به پایان می‌رسد و ابزار از کجا آغاز می‌شود را بر دوش حسابرسان مستقل می‌گذارد.[1][4][6]

منابع

  1. [1]Ofox AI — GPT-6 Astra Review: The 37-Point Benchmark and the Thinking You Can't See مطالعه در Ofox AI →
  2. [2]OpenAI — GPT-6 Astra: The next generation in intelligence for work مطالعه در OpenAI →
  3. [3]explainx.ai — OpenAI Changed GPT-6 Astra's Benchmark Numbers After Launch مطالعه در explainx.ai →
  4. [4]Artificial Analysis — Benchmarking GPT-6 Astra مطالعه در Artificial Analysis →
  5. [5]EdgeX Exchange — OpenAI Quietly Revised Multiple GPT-6 Astra Benchmark Scores After Launch مطالعه در EdgeX Exchange →
  6. [6]Securing AI — No, GPT-6 Astra is not AGI. Nvidia's CEO is wrong. مطالعه در Securing AI →

آنچه باید زیر نظر داشت

  • چگونگی مدیریت ریسک‌های اجرای مستقل و آسیب‌پذیری‌های شبکه‌ای معرفی شده توسط قابلیت‌های عامل خودکار مدل همچنان مورد بحث است.
  • نتیجه بحث‌های صنعتی درباره اینکه آیا سیستم جی‌پی‌تی-۶ آسترا از آستانه هوش عمومی مصنوعی عبور کرده است یا خیر، نامشخص است.

نمودارها، نقشه‌ها و تصاویر

آسترا یک پنجره زمینه ۲ میلیون توکنی و مکانیسم‌های خوداصلاحی را معرفی می‌کند.از گزارش: اوپن‌ای‌آی جی‌پی‌تی-۶ «آسترا» با قابلیت‌های عامل خودکار را برای مشتریان سازمانی منتخب مستقر می‌کند ·
محققان امنیت سایبری هشدار می‌دهند که قابلیت‌های اجرای خودکار اساساً چشم‌انداز تهدید سازمانی را تغییر می‌دهند.از گزارش: اوپن‌ای‌آی جی‌پی‌تی-۶ «آسترا» با قابلیت‌های عامل خودکار را برای مشتریان سازمانی منتخب مستقر می‌کند ·

شهریور ۱۴۰۵

  1. ارزیابان مستقل از اختلاف ۳۷ امتیازی در بنچمارک هوش مصنوعی GPT-6 Astra پرده برداشتند
  2. مدل GPT-6 Astra واقعاً چگونه کار می‌کند و OpenAI دقیقاً چه چیزی را منتشر کرده است؟
  3. اوپن‌ای‌آی جی‌پی‌تی-۶ «آسترا» با قابلیت‌های عامل خودکار را برای مشتریان سازمانی منتخب مستقر می‌کند

روند رویداد تا امروز

روند عرضه مدل جی‌پی‌تی-۶ آسترا در ۳ سپتامبر ۲۰۲۶ آغاز شد و کاربران پرو و توسعه‌دهندگان سازمانی را هدف قرار داد. پیش از راه‌اندازی، مستندات رابط برنامه‌نویسی کاربردی به طور خلاصه پس گرفته شد، رویدادی که به عنوان یک شروع کاذب توصیف شد.

تا ساعت ۰۸:۵۹ در ۴ سپتامبر ۲۰۲۶، شرکت اوپن‌ای‌آی این مدل نسل بعدی خود را در اختیار گروه محدودی از مشتریان سازمانی قرار داد. این عرضه نشان‌دهنده تغییر تمرکز از تعاملات گفتگومحور به کارکرد خودکار با کامپیوتر بود و قابلیت‌های عامل خودکار را معرفی کرد.

معماری عمق بازگشتی، توکن‌ها را چندین بار از لایه‌های یکسان عبور می‌دهد تا ظرفیت استدلال را افزایش دهد.از گزارش: مدل GPT-6 Astra واقعاً چگونه کار می‌کند و OpenAI دقیقاً چه چیزی را منتشر کرده است؟ ·

این مدل برای کار با رابط‌های کاربری کامپیوتر طراحی شده است و می‌تواند گردش کارهای چند مرحله‌ای را به صورت مستقل اجرا کند. جی‌پی‌تی-۶ آسترا قادر است کد بنویسد و خطاها را بدون نیاز به فرمان انسانی، خوداصلاح کند و دستاوردهای قابل‌توجهی در بهره‌وری نشان داده است.

با وجود این قابلیت‌ها، کارشناسان امنیت سایبری هشدار دادند که اجرای خودکار این مدل، آسیب‌پذیری‌های شبکه‌ای قابل توجهی را معرفی می‌کند. اوپن‌ای‌آی این عرضه را به عنوان آغاز عصر هوش عمومی مصنوعی بازاریابی کرد، ادعایی که بحث‌های شدیدی را در صنعت برانگیخت.

توسعه‌دهندگان API با نرخ استاندارد ۱۰ دلار به ازای هر یک میلیون توکن ورودی به GPT-6 Astra دسترسی دارند.از گزارش: مدل GPT-6 Astra واقعاً چگونه کار می‌کند و OpenAI دقیقاً چه چیزی را منتشر کرده است؟ ·

با گذشت زمان، شکاف پیچیده‌ای بین امتیازات بنچمارک‌ها و کاربرد عملی این مدل در دنیای واقعی نمایان شد.