رفتن به محتوای اصلی
مهار مدلسابقه ایمنی۲۰ مرداد ۱۴۰۵، ۱:۲۱· 4 دقیقه مطالعه· #1 از 5 در فناوری

اوپن‌ای‌آی توسعه مدل آسترا را پس از رسیدن به آستانه «بحرانی» سایبری متوقف کرد

اوپن‌ای‌آی مسیرهای توسعه داخلی مدل آتی خود به نام آسترا را که فاقد کنترل‌های امنیتی ایزوله (Air-gapped) بودند، متوقف کرده است. این اولین بار است که یک هوش مصنوعی پیشرو به بالاترین سطح خطر امنیت سایبری تعریف شده توسط این شرکت نزدیک می‌شود.

به قلم دلناز نورانی

حامیان مهار پیشگیرانه 40%مدافعان سایبری سازمانی 40%شکاکان ایمنی هوش مصنوعی 20%
حامیان مهار پیشگیرانه
استدلال می‌کنند که مدل‌های پیشرو که قابلیت‌های خودکار روز صفر را نشان می‌دهند، باید به شدت ایزوله شده و متوقف شوند تا زمانی که دفاعیات به سطح آن‌ها برسند.
مدافعان سایبری سازمانی
معتقدند که تمرکز باید بر استقرار سریع مدل‌های سایبری توانمند برای تیم‌های امنیتی مورد تأیید باشد تا از مهاجمان پیشی بگیرند.
شکاکان ایمنی هوش مصنوعی
این توقف عمومی را به عنوان یک حرکت استراتژیک روابط عمومی برای نشان دادن خودتنظیمی و جلوگیری از مداخله دولت می‌بینند.

نکات کلیدی

  • اوپن‌ای‌آی توسعه داخلی مدل آتی خود، آسترا، را که با کنترل‌های امنیتی ایزوله و تازه تقویت شده مطابقت نداشت، متوقف کرد.
  • ارزیابی‌های اولیه نشان داد که قابلیت‌های کدنویسی عاملی آسترا به طور بالقوه می‌تواند به آستانه خطر «بحرانی» برسد.
  • تعیین سطح «بحرانی» به معنای توانایی نظری برای توسعه خودکار اکسپلویت‌های عملیاتی روز صفر علیه سیستم‌های مقاوم است.
  • آسترا یک مدل داخلی و منتشر نشده باقی مانده و در حوادث اخیر نفوذ مدل‌های هوش مصنوعی به زیرساخت‌های شخص ثالث دخالتی نداشته است.
  • این توقف همزمان با انتشار GPT-۵.۶-Cyber برای مدافعان مورد تأیید صورت می‌گیرد که نشان‌دهنده تنش بین مهار و استقرار دفاعی است.

صنعت هوش مصنوعی در حال حاضر درگیر رقابتی برای ساخت توانمندترین مدل‌ها است، اما یک پرسش ناخوشایند همواره در خط پایان مطرح بوده است: چه اتفاقی می‌افتد اگر یک سیستم قبل از تکمیل شدن، در هک کردن بیش از حد ماهر شود؟ اوپن‌ای‌آی با توقف پروژه شاخص بعدی خود، اولین پاسخ مشخص را ارائه کرده است.[1][2]

در اقدامی بی‌سابقه برای یک آزمایشگاه هوش مصنوعی پیشرو، اوپن‌ای‌آی اعلام کرد که تمام مسیرهای توسعه داخلی مدل آتی خود، «آسترا»، را که با کنترل‌های امنیتی ایزوله (air-gapped) تازه وضع شده مطابقت ندارند، متوقف کرده است. این توقف پس از آن رخ داد که ارزیابی‌های داخلی اولیه، جهش‌های عظیمی در توانایی‌های کدنویسی عاملی و امنیت سایبری این مدل نشان داد.[3][4]

به گفته این شرکت، عملکرد آسترا به اندازه‌ای قوی بود که ارزیاب‌ها «نمی‌توانند احتمال رسیدن» مدل به آستانه خطر «بحرانی» (Critical) تحت چارچوب آمادگی اوپن‌ای‌آی را رد کنند. این اولین بار است که یک سیستم هوش مصنوعی به بالاترین پله نردبان خطر این شرکت نزدیک می‌شود؛ مدل‌های پیشرو قبلی، از جمله GPT-۵.۶-Sol که اخیراً مستقر شده، در آستانه «بالا» (High) متوقف شده بودند.[1][7]

آسترا اولین مدلی است که اوپن‌ای‌آی نمی‌تواند احتمال رسیدن آن به آستانه امنیت سایبری «بحرانی» را رد کند.
آسترا اولین مدلی است که اوپن‌ای‌آی نمی‌تواند احتمال رسیدن آن به آستانه امنیت سایبری «بحرانی» را رد کند.

برای درک اهمیت موضوع، لازم است از چارچوب علمی-تخیلی فراتر رفته و توانایی واقعی را بررسی کنیم. بر اساس چارچوب اوپن‌ای‌آی، تعیین سطح «بحرانی» در امنیت سایبری به این معنی است که مدل می‌تواند به صورت تئوری، اکسپلویت‌های عملیاتی روز صفر (zero-day exploits) را علیه سیستم‌های مقاوم و واقعی، بدون دخالت انسان، شناسایی و توسعه دهد. این سطح همچنین زمانی اعمال می‌شود که سیستم بتواند حملات سایبری سرتاسری را تنها بر اساس یک هدف سطح بالا طراحی و اجرا کند.[2][3]

نکته مهم این است که آسترا هنوز عرضه نشده و به طور قطعی نیز «بحرانی» طبقه‌بندی نشده است. این مدل همچنان یک مدل داخلی و منتشر نشده باقی مانده است. این توقف یک اقدام پیشگیرانه است که توسط معیارهای داخلی آغاز شده، نه پاسخی به فرار یک هوش مصنوعی سرکش از محیط آزمایشی. اوپن‌ای‌آی صراحتاً توضیح داد که آسترا در حوادث سایبری اخیر که در آن مدل‌های دیگر زیرساخت‌های شخص ثالث را در طول آزمایش نقض کردند، دخالتی نداشته است.[2][4]

نکته مهم این است که آسترا هنوز عرضه نشده و به طور قطعی نیز «بحرانی» طبقه‌بندی نشده است.

واکنش اوپن‌ای‌آی شامل قرنطینه شدید محیط توسعه است. آسترا اکنون به تنظیمات آزمایشی ایزوله با دسترسی محدود به شبکه و ابزارها محدود شده است. این شرکت رمزگذاری پیشرفته‌ای را برای وزن‌های مدل پیاده‌سازی کرده و نظارت جهانی «زنجیره فکری» (chain-of-thought) را مستقر کرده است که برای قطع خودکار اقدامات پرخطر در تمام برنامه‌های عاملی طراحی شده است.[1][3]

یک جریان بازاریابی متمایز در پس این اعلامیه وجود دارد. در حالی که هشدار سایبری «بحرانی» نگران‌کننده به نظر می‌رسد، اما به عنوان نمایشی بسیار آشکار عمل می‌کند که نشان می‌دهد نرده‌های ایمنی خودتحمیلی اوپن‌ای‌آی دقیقاً همانطور که تبلیغ شده‌اند، کار می‌کنند. این شرکت با کند کردن عمومی پیشرفت خود، سیگنال قوی‌ای به قانون‌گذاران می‌فرستد که قادر به خودنظارتی هستند، پیش از آنکه یک قابلیت خطرناک به دست عموم برسد.[7]

این توقف در لحظه‌ای از بحث‌های شدید در مورد نحوه مدیریت قابلیت‌های تهاجمی هوش مصنوعی رخ می‌دهد. تنها چند روز پس از اعلامیه آسترا، اوپن‌ای‌آی برنامه «دی‌بریک» (Daybreak) خود را گسترش داد و یک مدل تخصصی به نام GPT-۵.۶-Cyber را برای مدافعان سازمانی مورد تأیید منتشر کرد.[5][6]

آن مدل در آزمایش‌های داخلی ۹۵٪ درخواست‌های پیشرفته امنیت سایبری را تکمیل کرد و به طور مستقل دو آسیب‌پذیری جدید را در موتور V۸ مرورگر گوگل کروم کشف کرد که متعاقباً وصله شدند. به‌روزرسانی دی‌بریک همچنین نشان داد که «کدکس سکیوریتی» (Codex Security) بیش از ۳۰ میلیون کامیت (commit) را اسکن کرده است، که مقیاس عظیم کشف خودکار آسیب‌پذیری را برجسته می‌کند.[5][8]

GPT-۵.۶-Cyber در آزمایش‌های داخلی ۹۵٪ درخواست‌های پیشرفته امنیت سایبری را تکمیل کرد.
GPT-۵.۶-Cyber در آزمایش‌های داخلی ۹۵٪ درخواست‌های پیشرفته امنیت سایبری را تکمیل کرد.

این وضعیت یک واگرایی استراتژیک جذاب در نحوه برخورد صنعت با قدرتمندترین ساخته‌های خود ایجاد می‌کند. از یک سو، سابقه آسترا دکترین مهار سختگیرانه قبل از استقرار برای سیستم‌های خودکار را تثبیت می‌کند. از سوی دیگر، گسترش دی‌بریک نشان‌دهنده تلاشی است برای مسلح کردن سریع مدافعان با همان ابزارهای کشف روز صفر که مهاجمان ناگزیر به دست خواهند آورد.[6][8]

برنامه دی‌بریک با هدف مسلح کردن مدافعان سازمانی به ابزارهای پیشرفته هوش مصنوعی قبل از دستیابی مهاجمان به آن‌ها است.
برنامه دی‌بریک با هدف مسلح کردن مدافعان سازمانی به ابزارهای پیشرفته هوش مصنوعی قبل از دستیابی مهاجمان به آن‌ها است.

آزمون نهایی توقف آسترا، تأیید صحت آن خواهد بود. اوپن‌ای‌آی اعلام کرده است که با آژانس‌های دولتی، از جمله مؤسسات ایمنی هوش مصنوعی، برای آزمایش قابلیت‌های مدل همکاری خواهد کرد. اینکه آیا به این نهادهای خارجی دسترسی کافی برای تأیید مستقل ارزیابی «بحرانی» داده می‌شود یا خیر، تعیین خواهد کرد که آیا این توقف یک نقطه عطف واقعی در حکمرانی هوش مصنوعی است یا صرفاً یک مانور روابط عمومی به موقع.[3][7]

95.0%
تکمیل درخواست‌های پیشرفته سایبری توسط GPT-۵.۶-Cyber
2
آسیب‌پذیری‌های جدید V۸ کروم کشف شده توسط مدل
30M+
کامیت‌های اسکن شده توسط کدکس سکیوریتی

بررسی عمیق دیدگاه‌ها

مهار سختگیرانه قبل از استقرار (سابقه آسترا)

توقف توسعه و ایزوله کردن مدل‌ها به محض نشان دادن قابلیت‌های خودکار روز صفر.

مزایا: از نشت تولید خودکار روز صفر به محیط عمومی قبل از تطبیق دفاعیات جلوگیری می‌کند؛ به قانون‌گذاران ثابت می‌کند که آزمایشگاه‌های پیشرو می‌توانند بدون الزامات قانونی، خودنظارتی کنند. معایب: تحقیقات پیشرو را کند می‌کند و میدان را به رقبای کم‌دقت‌تر واگذار می‌کند؛ به شدت متکی بر این فرض است که محیط‌های آزمایشی داخلی و وزن‌های رمزگذاری شده در برابر تهدیدات داخلی یا استخراج پیشرفته کاملاً ایمن هستند. شواهد: توقف فوری توسعه آسترا توسط اوپن‌ای‌آی به دلیل عدم انطباق؛ پیاده‌سازی محیط‌های ایزوله و نظارت زنجیره فکری که اقدامات پرخطر را قطع می‌کند. مناسب است زمانی که: قابلیت‌های تهاجمی مدل به طور قابل توجهی از سرعت وصله‌زنی فعلی مدافعان سازمانی فراتر رود. مناسب نیست زمانی که: معماری زیربنایی یا قابلیت‌های مشابه از طریق کانال‌های متن‌باز گسترش یافته باشند.

انتشار سریع با اولویت مدافع (رویکرد دی‌بریک)

استقرار مدل‌های سایبری بسیار توانمند برای مدافعان سازمانی مورد تأیید برای پیشی گرفتن از مهاجمان.

مزایا: تیم‌های امنیتی سازمانی را به همان ابزارهای خودکار کشف آسیب‌پذیری که بازیگران تهدید در نهایت به دست خواهند آورد، مسلح می‌کند؛ شناسایی و وصله‌زنی نقص‌های حیاتی را قبل از بهره‌برداری تسریع می‌بخشد. معایب: خطر بالای فرار از محدودیت‌ها (jailbreaks) یا استخراج مدل؛ «مدافعان مورد تأیید» همچنان می‌توانند به خطر بیفتند و ابزار دفاعی را به سلاح تهاجمی تبدیل کنند. شواهد: تکمیل ۹۵٪ درخواست‌های پیشرفته امنیت سایبری توسط GPT-۵.۶-Cyber در آزمایش‌های داخلی؛ کشف موفقیت‌آمیز دو آسیب‌پذیری ناشناخته قبلی در V۸ کروم (CVE-۲۰۲۶-۱۵۹۰۳) توسط این مدل. مناسب است زمانی که: کشف آسیب‌پذیری می‌تواند با زیرساخت‌های وصله‌زنی خودکار و سریع مطابقت داشته باشد. مناسب نیست زمانی که: سازمان‌ها فاقد ظرفیت عملیاتی برای استقرار وصله‌ها به همان سرعتی باشند که هوش مصنوعی نقص‌ها را شناسایی می‌کند، که منجر به انباشت آسیب‌پذیری‌های شناخته شده می‌شود.

آنچه نمی‌دانیم

  • آیا به آژانس‌های دولتی خارجی و مؤسسات ایمنی هوش مصنوعی دسترسی کافی داده خواهد شد تا قابلیت‌های آسترا را به طور مستقل تأیید کنند.
  • این توقف توسعه داخلی چقدر طول خواهد کشید تا کنترل‌های امنیتی جدید برای آموزش در مقیاس کامل کافی تلقی شوند.
  • آیا سایر آزمایشگاه‌های هوش مصنوعی پیشرو آستانه‌های «بحرانی» مشابهی را اتخاذ خواهند کرد و در صورت رسیدن به آن‌ها، توسعه را علناً متوقف خواهند کرد.

چرا مهم است

این اولین بار است که یک آزمایشگاه بزرگ هوش مصنوعی علناً توسعه یک مدل را به دلیل توانایی بیش از حد آن در هک کردن متوقف می‌کند. این اقدام یک سابقه حیاتی برای نحوه برخورد صنعت فناوری با تسلیحات سایبری خودکار ایجاد می‌کند و ثابت می‌کند که چارچوب‌های ایمنی داخلی می‌توانند قبل از انتشار یک سیستم خطرناک برای عموم، توقف اجباری ایجاد کنند.

منابع

پوشش منابع

8 منبع

3 دیدگاه شناسایی‌شده

حامیان مهار پیشگیرانه 40%مدافعان سایبری سازمانی 40%شکاکان ایمنی هوش مصنوعی 20%
  1. [1]Forbesحامیان مهار پیشگیرانه

    OpenAI Pauses Astra After It Nears First-Ever “Critical” Cyber Risk

    مطالعه در Forbes
  2. [2]Security Affairsشکاکان ایمنی هوش مصنوعی

    OpenAI Pauses Astra Model Over Critical Cybersecurity Risk Concerns

    مطالعه در Security Affairs
  3. [3]CSO Onlineمدافعان سایبری سازمانی

    OpenAI says Astra may hit critical cyber threshold

    مطالعه در CSO Online
  4. [4]SecurityWeekمدافعان سایبری سازمانی

    OpenAI flags Astra for 'critical' cyber risk, pauses development

    مطالعه در SecurityWeek
  5. [5]VentureBeatمدافعان سایبری سازمانی

    OpenAI launches GPT-5.6-Cyber with reduced refusals, 95% completion on advanced cybersecurity tasks

    مطالعه در VentureBeat
  6. [6]TechCrunchمدافعان سایبری سازمانی

    As AI-led attacks multiply, OpenAI launches a new cyber model

    مطالعه در TechCrunch
  7. [7]Enterprise DNAحامیان مهار پیشگیرانه

    OpenAI Pauses Astra Over Critical Cybersecurity Threshold

    مطالعه در Enterprise DNA
  8. [8]Implicator AIمدافعان سایبری سازمانی

    OpenAI Launches Daybreak Red With GPT-5.6-Cyber

    مطالعه در Implicator AI

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت فناوری اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.