رفتن به محتوای اصلی
توضیح کوهستانپیمان ایمنی هوش مصنوعیتصمیم سیاستی۱۳ مرداد ۱۴۰۵، ۱۶:۲۰· 5 دقیقه مطالعه

امضای تفاهم‌نامه تاریخی آمریکا و بریتانیا برای یکپارچه‌سازی تست‌های ایمنی هوش مصنوعی و ارزیابی مشترک مدل‌ها

ایالات متحده و بریتانیا یک توافق‌نامه تاریخی را برای یکپارچه‌سازی چارچوب‌های تست ایمنی هوش مصنوعی خود امضا کردند و یک خط لوله ارزیابی مشترک برای مدل‌های پیشرو ایجاد نمودند. هدف این مشارکت، ایجاد یک استاندارد جهانی بالفعل برای ارزیابی خطرات فاجعه‌بار مانند سنتز سلاح‌های بیولوژیکی و بهره‌برداری سایبری است.

به قلم آرش رضایی

مقامات امنیت ملی 40%عمل‌گرایان صنعت 35%شکاکان شفافیت 25%
مقامات امنیت ملی
استدلال می‌کنند که ارزیابی‌های واحد و تحت حمایت دولت برای جلوگیری از حملات فاجعه‌بار با کمک هوش مصنوعی ضروری است.
عمل‌گرایان صنعت
از این تفاهم‌نامه به عنوان راهی برای کاهش پراکندگی نظارتی و ساده‌سازی انطباق حمایت می‌کنند.
شکاکان شفافیت
امنیت محیط‌های امن دولتی و فقدان ممیزی‌های مستقل برای فرآیند تست را زیر سؤال می‌برند.
32
مراحل در مسیرهای شبیه‌سازی مشترک حمله سایبری
2
کشورهایی که چارچوب‌های تست هوش مصنوعی خود را یکپارچه می‌کنند
41
آسیب‌پذیری‌های روز صفر در تست‌های مشترک ExploitBench

نکات کلیدی

  • آمریکا و بریتانیا یک تفاهم‌نامه برای همسوسازی دائمی چارچوب‌های تست ایمنی هوش مصنوعی خود امضا کردند.
  • ارزیابی‌ها به طور مشترک توسط CAISI آمریکا و مؤسسه امنیت هوش مصنوعی بریتانیا انجام خواهد شد.
  • تست‌ها منحصراً بر خطرات فاجعه‌بار، از جمله امنیت زیستی و بهره‌برداری پیشرفته سایبری، تمرکز دارند.
  • هدف این توافق ایجاد یک استاندارد واحد غربی برای انطباق با ایمنی هوش مصنوعی است.
  • تست‌های مشترک اخیر بر روی مدل کیمی K3 شرکت مون‌شات هوش مصنوعی، قابلیت عملیاتی این مشارکت را اثبات کرد.

چرا مهم است

آمریکا و بریتانیا با ادغام پروتکل‌های تست ایمنی هوش مصنوعی خود، در حال ایجاد یک استاندارد جهانی بالفعل برای ارزیابی خطرات فاجعه‌بار در مدل‌های پیشرو هستند. این رویکرد واحد، توسعه‌دهندگان بزرگ هوش مصنوعی را مجبور می‌کند تا قبل از انتشار قدرتمندترین سیستم‌های خود به عموم، از یک مسیر امنیتی واحد و بسیار سخت‌گیرانه عبور کنند.

روند رویداد

  1. Nov 2023

    آمریکا و بریتانیا ایجاد مؤسسات ایمنی هوش مصنوعی مربوطه خود را در اجلاس بلچلی پارک اعلام کردند.

  2. Apr 2024

    دو کشور توافق اولیه برای همکاری در تحقیقات ایمنی هوش مصنوعی و به اشتراک‌گذاری تخصص فنی را امضا کردند.

  3. Jul 2026

    CAISI و AISI بریتانیا اولین ارزیابی مشترک بزرگ خود را بر روی مدل کیمی K3 شرکت مون‌شات هوش مصنوعی انجام دادند.

  4. Aug 2026

    آمریکا و بریتانیا یک تفاهم‌نامه تاریخی را برای همسوسازی دائمی چارچوب‌های تست پیش از استقرار خود امضا کردند.

ایالات متحده و بریتانیا یک تفاهم‌نامه (MOU) تاریخی را برای همسوسازی دائمی چارچوب‌های تست ایمنی هوش مصنوعی خود رسمی کردند. این توافق که در ۴ آگوست ۲۰۲۶ امضا شد، مرکز استانداردها و نوآوری هوش مصنوعی آمریکا (CAISI) و مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) را به یک خط لوله ارزیابی واحد برای مدل‌های پیشرو هوش مصنوعی متصل می‌کند.[1][2]

این پیمان، همکاری‌های موردی و پراکنده دو کشور را به یک موضع نظارتی ساختاریافته و مشترک تبدیل می‌کند. بر اساس این تفاهم‌نامه، هر مدل پیشرویی که برای تست پیش از استقرار در هر یک از این دو حوزه قضایی ارائه شود، تحت یک فرآیند ارزیابی همزمان قرار می‌گیرد که در آن متدولوژی‌ها، مدل‌های تهدید و پرسنل فنی به اشتراک گذاشته می‌شوند.[3][5]

این توافق نشان‌دهنده مهم‌ترین تجمیع نظارت بر هوش مصنوعی در خارج از اتحادیه اروپا است. واشنگتن و لندن با ادغام پروتکل‌های تست خود، قصد دارند یک استاندارد جهانی بالفعل برای ایمنی هوش مصنوعی ایجاد کنند، که ضمن کاهش اصطکاک انطباق برای توسعه‌دهندگان، سخت‌گیری ارزیابی‌های امنیت زیستی و امنیت سایبری را افزایش می‌دهد.[2][6]

دستورالعمل اصلی این توافق، ایجاد یک چارچوب ارزیابی مشترک پیش از استقرار است. بر اساس اسناد بنیادی منتشر شده توسط NIST و وزارت علوم، نوآوری و فناوری بریتانیا، این دو مؤسسه، تست‌های مشترک «رد تیمینگ» (Red-Teaming) را بر روی تمام مدل‌های دارای وزن بسته (Closed-Weight) که به صورت داوطلبانه ارائه می‌شوند و همچنین مدل‌های در دسترس عموم، انجام خواهند داد.[1][2]

خط لوله ارزیابی یکپارچه که توسط مؤسسات ایمنی هوش مصنوعی ایالات متحده و بریتانیا ایجاد شده است.
خط لوله ارزیابی یکپارچه که توسط مؤسسات ایمنی هوش مصنوعی ایالات متحده و بریتانیا ایجاد شده است.

شواهد قوی‌ای از موفقیت‌های عملیاتی اخیر، قابلیت اجرای این رژیم مشترک را تأیید می‌کند. در جولای ۲۰۲۶، CAISI و AISI بریتانیا با موفقیت یک ارزیابی مشترک از مدل کیمی K3 شرکت مون‌شات هوش مصنوعی (Moonshot AI) را اجرا کردند و به طور خاص قابلیت‌های تهاجمی سایبری آن را بررسی کردند.[1][4]

در طول آن ارزیابی، مؤسسات از «محدوده‌های سایبری» مشترک استفاده کردند—شبکه‌های شرکتی شبیه‌سازی شده و تخصصی که برای اندازه‌گیری توانایی یک مدل در اجرای مستقل حملات سایبری سرتاسری طراحی شده‌اند. اجرای بی‌نقص تست کیمی K3 نشان داد که همکاری فنی فرامرزی بر روی وزن‌های مدل بسیار حساس، عملاً قابل دستیابی است.[1][6]

نکته حیاتی این است که تفاهم‌نامه صراحتاً دامنه ارزیابی‌های مشترک را به بردارهای تهدید با ریسک بالا محدود می‌کند. این چارچوب واحد، به جای نظارت بر رفتار الگوریتمی عمومی، بر تکثیر خودمختار، سنتز سلاح‌های شیمیایی و بیولوژیکی، و بهره‌برداری پیشرفته سایبری تمرکز دارد.[2][3]

شواهد این رویکرد هدفمند در معیارهایی که توسط هر دو مؤسسه پذیرفته شده، مشهود است. ExploitBench متعلق به CAISI، که مدل‌ها را بر اساس آسیب‌پذیری‌های پس از سال ۲۰۲۳ در موتورهای نرم‌افزاری آزمایش می‌کند، اکنون مستقیماً در مجموعه تست استاندارد AISI بریتانیا ادغام خواهد شد و تضمین می‌کند که هر دو کشور ریسک فاجعه‌بار را با استفاده از یک معیار دقیق اندازه‌گیری می‌کنند.[1][5]

ارزیابی‌های مشترک اخیر از محدوده‌های سایبری مشترک برای آزمایش قابلیت‌های حمله خودکار استفاده می‌کنند.
ارزیابی‌های مشترک اخیر از محدوده‌های سایبری مشترک برای آزمایش قابلیت‌های حمله خودکار استفاده می‌کنند.
شواهد این رویکرد هدفمند در معیارهایی که توسط هر دو مؤسسه پذیرفته شده، مشهود است.

آمریکا و بریتانیا با تمرکز انحصاری بر خطرات فاجعه‌بار، به جای مسائل گسترده‌تری مانند سوگیری الگوریتمی یا نقض حق چاپ، تلاش می‌کنند تا خط متمایزی بین ایمنی وجودی و حمایت عمومی از مصرف‌کننده ترسیم کنند. این تمرکز با دستورالعمل‌های اصلی تعیین شده در اجلاس ایمنی هوش مصنوعی بلچلی پارک همسو است.[6]

استدلال اصلی سیاست‌گذاران این است که این چارچوب واحد، اصطکاک صنعت را به طور قابل توجهی کاهش خواهد داد. تفاهم‌نامه بر این فرض استوار است که با همسوسازی استانداردهای آمریکا و بریتانیا، توسعه‌دهندگان هوش مصنوعی تنها باید یک مجموعه از معیارهای ایمنی را برای دسترسی به هر دو بازار بزرگ غربی رعایت کنند.[3][4]

واکنش صنعت شواهد متوسطی برای حمایت از این نتیجه مورد نظر ارائه می‌دهد. آزمایشگاه‌های بزرگ پیشرو قبلاً فقدان قوانین ارزیابی مشترک را به عنوان یک گلوگاه برای به اشتراک‌گذاری دسترسی پیش از استقرار ذکر کرده بودند، و یک چارچوب واحد CAISI-AISI از لحاظ نظری به شرکت‌ها اجازه می‌دهد مدل‌های خود را به یک محیط امن واحد ارسال کنند.[3][5]

با این حال، عدم قطعیت شفافی در مورد نحوه تعامل این توافق دوجانبه با قانون هوش مصنوعی اتحادیه اروپا که اخیراً تصویب شده است، باقی می‌ماند. در حالی که آمریکا و بریتانیا ارزیابی‌های فنی خود را همسو می‌کنند، اتحادیه اروپا الزامات انطباق سخت‌گیرانه و الزام‌آور قانونی خود را حفظ کرده است، به این معنی که توسعه‌دهندگان همچنان در سطح جهانی با یک محیط نظارتی چندقطبی روبرو هستند.[6]

ادعای حیاتی دیگری در این تفاهم‌نامه این است که اشتراک‌گذاری اطلاعات، وزن‌های اختصاصی مدل‌ها را به خطر نخواهد انداخت. برای رفع نگرانی‌های توسعه‌دهندگان، این توافق شامل تدابیر حفاظتی رمزنگاری و رویه‌ای خاصی است که برای محافظت از اسرار تجاری چند میلیارد دلاری هنگام ارزیابی مشترک مدل‌ها طراحی شده‌اند.[1][2]

شواهد این امنیت بیشتر متکی بر تضمین‌های آژانس‌ها است تا ممیزی‌های فنی عمومی. CAISI و AISI بریتانیا اعلام کرده‌اند که از محیط‌های امن (Secure Enclaves) و محیط‌های تست فدرال استفاده خواهند کرد و اطمینان می‌دهند که هیچ دولتی—و هیچ پیمانکار شخص ثالثی—نمی‌تواند وزن‌های شبکه عصبی زیربنایی را خارج کند.[1][4]

با وجود این تضمین‌ها، پروتکل‌های دقیق برای اشتراک‌گذاری داده‌های فرامرزی تحت این تفاهم‌نامه، تحت ممیزی‌های مستقل امنیت سایبری قرار نگرفته‌اند. این امر سؤالاتی را در مورد مقاومت این محیط‌های امن دولتی در برابر جاسوسی تحت حمایت دولت، که ریسکی است که توسعه‌دهندگان همچنان بر آن تأکید می‌کنند، باز می‌گذارد.[4][6]

فراتر از ارزیابی‌های فنی، این تفاهم‌نامه یک کارکرد ژئوپلیتیکی متمایز را ایفا می‌کند. این ائتلاف با تثبیت یک استاندارد مشترک آمریکا و بریتانیا، تلاش می‌کند تا از مدل‌های حکمرانی رقیب، به ویژه آنهایی که از سازمان بین‌دولتی هوش مصنوعی تازه تأسیس چین ظهور می‌کنند، پیشی بگیرد.[3][6]

شواهد این مانور استراتژیک قوی است. تغییر نام سریع مؤسسه ایمنی هوش مصنوعی آمریکا به CAISI در سال ۲۰۲۵، و تغییر بریتانیا به مؤسسه امنیت هوش مصنوعی، نشان‌دهنده سخت‌تر شدن چارچوب امنیت ملی پیرامون مدل‌های پیشرو است و از تحقیقات صرفاً آکادمیک ایمنی فاصله می‌گیرد.[4]

در نهایت، این تفاهم‌نامه تعهدات نظری سه سال گذشته را به یک واقعیت عملیاتی الزام‌آور تبدیل می‌کند. در حالی که مکانیسم‌های اجرایی در ایالات متحده عمدتاً داوطلبانه باقی می‌مانند، جاذبه بازار ترکیبی آمریکا و بریتانیا تضمین می‌کند که هیچ توسعه‌دهنده بزرگ هوش مصنوعی نمی‌تواند از دوراهی تست جدید و واحد، اجتناب کند.[2][5][6]

بررسی عمیق دیدگاه‌ها

مقامات امنیت ملی

استدلال می‌کنند که ارزیابی‌های مشترک برای جلوگیری از حملات سایبری و سنتز سلاح‌های بیولوژیکی با کمک هوش مصنوعی حیاتی هستند.

مقامات امنیتی مدل‌های پیشرو هوش مصنوعی را فناوری‌های دوگانه (Dual-Use) شبیه به مهمات پیشرفته می‌دانند. آنها استدلال می‌کنند که تست‌های پراکنده به توسعه‌دهندگان اجازه می‌دهد تا به دنبال حوزه‌های قضایی سهل‌گیر باشند. آنها معتقدند با یکپارچه‌سازی چارچوب‌های آمریکا و بریتانیا، می‌توانند یک تور امنیتی اجتناب‌ناپذیر برای خطرات فاجعه‌بار ایجاد کنند و تضمین کنند که هیچ مدلی بدون «رد تیمینگ» سخت‌گیرانه تحت حمایت دولت مستقر نمی‌شود.

توسعه‌دهندگان هوش مصنوعی پیشرو

از استانداردهای واحد برای کاهش اصطکاک انطباق حمایت می‌کنند اما نسبت به مالکیت فکری محتاط هستند.

آزمایشگاه‌های بزرگ هوش مصنوعی عموماً از این تفاهم‌نامه استقبال می‌کنند، زیرا وصله کاری مقررات ملی را با یک مجموعه واحد از معیارها جایگزین می‌کند. با این حال، آنها در مورد امنیت محیط‌های امن دولتی که وزن‌های اختصاصی مدل‌هایشان را میزبانی می‌کنند، نگرانی‌های عمیقی دارند. توسعه‌دهندگان استدلال می‌کنند که هرگونه نقض این تأسیسات تست مشترک می‌تواند منجر به سرقت فاجعه‌بار مالکیت فکری چند میلیارد دلاری توسط عوامل تحت حمایت دولت شود.

حامیان متن‌باز

نگرانند که رژیم‌های تست سخت‌گیرانه تحت حمایت دولت برای ممنوعیت مدل‌های دارای وزن باز (Open-Weight) مورد استفاده قرار گیرند.

جامعه متن‌باز با شک و تردید شدید به مشارکت CAISI-AISI نگاه می‌کند. آنها استدلال می‌کنند که معیارهای مورد استفاده در این ارزیابی‌های مشترک—مانند تست‌های ۳۲ مرحله‌ای محدوده سایبری—منحصراً برای مدل‌های عظیم و دارای وزن بسته طراحی شده‌اند. حامیان هشدار می‌دهند که اعمال همین چارچوب‌های ریسک فاجعه‌بار بر توسعه‌دهندگان متن‌باز، موانع نظارتی غیرقابل عبوری ایجاد خواهد کرد و عملاً تحقیقات غیرمتمرکز هوش مصنوعی را غیرقانونی می‌کند.

اصطلاحات کلیدی

مدل‌های پیشرو هوش مصنوعی
سیستم‌های هوش مصنوعی بسیار توانمند و در مقیاس بزرگ که با قابلیت‌های پیشرفته‌ترین مدل‌های موجود برابری کرده یا از آنها فراتر می‌روند.
رد تیمینگ (Red-Teaming)
یک روش ارزیابی امنیتی که در آن کارشناسان فعالانه تلاش می‌کنند تا از تدابیر حفاظتی یک سیستم عبور کنند تا آسیب‌پذیری‌ها و قابلیت‌های خطرناک را کشف کنند.
محدوده سایبری (Cyber Range)
یک شبکه شرکتی یا دولتی شبیه‌سازی شده که برای آزمایش توانایی یک مدل هوش مصنوعی در اجرای مستقل یا دفاع در برابر حملات سایبری استفاده می‌شود.
مدل دارای وزن بسته (Closed-Weight Model)
یک سیستم هوش مصنوعی که کد زیربنایی و وزن‌های شبکه عصبی آن توسط توسعه‌دهنده محرمانه نگه داشته می‌شود و تنها از طریق یک API قابل دسترسی است.

آنچه نمی‌دانیم

  • هنوز مشخص نیست که آمریکا و بریتانیا چگونه وزن‌های اختصاصی مدل‌ها را در طول ارزیابی‌های فرامرزی به صورت فیزیکی ایمن خواهند کرد.
  • این تفاهم‌نامه مشخص نمی‌کند که این چارچوب دوجانبه چگونه با الزامات الزام‌آور قانونی قانون هوش مصنوعی اتحادیه اروپا تعامل خواهد داشت.
  • معلوم نیست که آیا سایر کشورهای متحد در این خط لوله تست خاص ادغام خواهند شد یا مؤسسات جداگانه‌ای را حفظ خواهند کرد.

پرسش‌های متداول

توافق جدید هوش مصنوعی آمریکا و بریتانیا چه کاری انجام می‌دهد؟

این توافق چارچوب‌های تست ایمنی هوش مصنوعی هر دو کشور را همسو می‌کند، به این معنی که مدل‌های پیشرو قبل از استقرار، تحت یک فرآیند ارزیابی مشترک و واحد برای خطرات فاجعه‌بار قرار خواهند گرفت.

کدام آژانس‌ها این تست‌ها را انجام می‌دهند؟

ارزیابی‌ها به طور مشترک توسط مرکز استانداردها و نوآوری هوش مصنوعی آمریکا (CAISI) و مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) مدیریت می‌شوند.

آیا این تست برای شرکت‌های هوش مصنوعی اجباری است؟

در آمریکا، مشارکت تحت قوانین فعلی عمدتاً داوطلبانه باقی می‌ماند، اگرچه فشار بازار و قوانین تدارکات دولتی انگیزه بالایی برای انطباق ایجاد می‌کنند.

آنها به طور خاص چه خطراتی را آزمایش می‌کنند؟

ارزیابی‌های مشترک بر تهدیدات با ریسک بالا تمرکز دارند، از جمله توانایی یک هوش مصنوعی برای راه‌اندازی مستقل حملات سایبری یا کمک به ایجاد سلاح‌های بیولوژیکی.

منابع

پوشش منابع

6 منبع

3 دیدگاه شناسایی‌شده

مقامات امنیت ملی 40%عمل‌گرایان صنعت 35%شکاکان شفافیت 25%
  1. [1]National Institute of Standards and Technology (NIST)مقامات امنیت ملی

    U.S. CAISI and UK AISI Sign Memorandum of Understanding on AI Safety

    مطالعه در National Institute of Standards and Technology (NIST)
  2. [2]UK Department for Science, Innovation and Technologyمقامات امنیت ملی

    UK and US sign landmark agreement to align AI safety testing

    مطالعه در UK Department for Science, Innovation and Technology
  3. [3]Reutersعمل‌گرایان صنعت

    US and UK formalize joint AI safety testing in landmark agreement

    مطالعه در Reuters
  4. [4]FedScoopشکاکان شفافیت

    U.S. and U.K. AI safety bodies cement joint evaluation framework

    مطالعه در FedScoop
  5. [5]TechRadarعمل‌گرایان صنعت

    US and UK sign agreement to test the safety of AI models

    مطالعه در TechRadar
  6. [6]تیم سردبیری کوهستانشکاکان شفافیت

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت هوش مصنوعی اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.