رفتن به محتوای اصلی
Koohestun
ایمنی هوش مصنوعیتغییر سیاست· 5 دقیقه مطالعه· در فناوری

سیگنال اوپن‌ای‌آی و آنتروپیک برای کاهش سرعت توسعه هوش مصنوعی در پی افزایش نگرانی‌های ایمنی

آزمایشگاه‌های پیشرو هوش مصنوعی در حال بررسی سازوکارهایی برای هماهنگی در کاهش سرعت توسعه مدل‌های پیشرفته هستند. این تغییر رویه پس از استعفاهای داخلی به دلیل خطرات وجودی و قوانین جدید برای سیستم‌های خودکار رخ داده است.

به قلم ایمان شریعتی

شرکت‌های تجاری هوش مصنوعی 40%پژوهشگران ایمنی هوش مصنوعی 35%سیاست‌گذاران ایالتی 25%
شرکت‌های تجاری هوش مصنوعی
تمایل خود را برای کاهش هماهنگ سرعت به دلایل ایمنی ابراز می‌کنند، اما همچنان در قید و بند رقابت در بازار و قوانین ضدانحصار هستند که ادامه توسعه را تحمیل می‌کند.
پژوهشگران ایمنی هوش مصنوعی
استدلال می‌کنند که سرعت فعلی توسعه، یک خطر وجودی غیرقابل قبول ایجاد می‌کند و توسعه باید متوقف شود تا تکنیک‌های هم‌سویی به آن برسند.
سیاست‌گذاران ایالتی
بر آسیب‌های فوری و ملموس مانند سوءاستفاده از جوانان و سوگیری الگوریتمی تمرکز کرده و در حالی که هماهنگی فدرال عقب مانده است، محدودیت‌های قانونی را اعمال می‌کنند.

دیدگاه‌هایی که این گزارش پوشش نداده

  • توسعه‌دهندگان هوش مصنوعی متن‌باز
  • سازمان‌های پذیرنده هوش مصنوعی

چرا مهم است

بحث بر سر توسعه هوش مصنوعی از مقالات نظری به سیاست‌های واقعی شرکت‌ها و قوانین دولتی کشیده شده است. اگر آزمایشگاه‌های بزرگ بتوانند برای کاهش سرعت با هم هماهنگ شوند، روند سریع عرضه محصولات هوش مصنوعی کند شده و جدول زمانی پذیرش آن توسط سازمان‌ها و مصرف‌کنندگان به طور اساسی تغییر خواهد کرد.

محدودیت اصلی برای توقف هماهنگ توسعه هوش مصنوعی، قوانین ضدانحصار است. برای اینکه یک آزمایشگاه به تنهایی و به طور عمدی آموزش یک مدل پیشرفته را به تاخیر بیندازد، باید از نظر ریاضی مطمئن باشد که رقبایش نیز دقیقاً همین کار را می‌کنند؛ در غیر این صورت، به سادگی بازار را واگذار کرده است. در حال حاضر، چنین شرایطی وجود ندارد. اگر مدیران ارشد اوپن‌ای‌آی، آنتروپیک و گوگل دیپ‌مایند همین امروز روی یک سقف توسعه هماهنگ توافق کنند، بلافاصله با اتهامات فدرال تبانی مواجه خواهند شد.[2]

در ۱۱ سپتامبر ۲۰۲۶، سم آلتمن، مدیرعامل اوپن‌ای‌آی، در جمع کارکنان خود اعلام کرد که شرکت آماده است تا سرعت توسعه پیشرفته‌ترین سیستم‌های خود را کاهش دهد. او صراحتاً ابراز امیدواری کرد که آزمایشگاه‌های رقیب نیز رویه مشابهی را در پیش بگیرند. این ارتباط داخلی نشان‌دهنده یک چرخش تند از موضع تاریخی شرکت مبنی بر توسعه تهاجمی است و بازتاب‌دهنده نگرانی فزاینده در میان مهندسان درباره مسیر حرکت این فناوری است.[1]

مانع فوری بر سر راه این امیدواری، موانع قانونی است. رهبری اوپن‌ای‌آی در حال بررسی فعالانه این موضوع است که آیا توافق در سطح صنعت برای کاهش سرعت توسعه، ناقض قوانین ضدانحصار خواهد بود یا خیر. پارادوکس فضای نظارتی کنونی این است که قوانینی که برای جلوگیری از تثبیت قیمت‌ها طراحی شده‌اند، همزمان مانع از تعیین سقف توسعه مبتنی بر ایمنی نیز می‌شوند. بدون معافیت رسمی از سوی وزارت دادگستری، آزمایشگاه‌های بزرگ نمی‌توانند به طور قانونی برای آتش‌بس در این مسابقه تسلیحاتیِ پردازشی هماهنگ شوند.[2]

فشار داخلی برای کاهش سرعت دیگر به مقالات نظری محدود نمی‌شود. این فشار اکنون خود را در قالب استعفاهای پرسروصدا در سراسر این بخش نشان می‌دهد. جیکوب کاکسون، پژوهشگر آنتروپیک، در اوایل سپتامبر ۲۰۲۶ در اعتراض مستقیم به سرعت توسعه شرکت استعفا داد. خروج او نشان‌دهنده شکاف در اجماع درون آزمایشگاه‌هایی است که این مدل‌ها را می‌سازند.[3][4]

رشد نمایی پارامترهای مدل‌ها از توسعه تکنیک‌های هم‌سویی و ایمنی پیشی گرفته است.

کاکسون در گفتگو با ان‌پی‌آر در ۱۰ سپتامبر، مدل‌های تهدید خاصی را که باعث این مخالفت‌های داخلی شده‌اند، تشریح کرد. او استدلال کرد که مسابقه برای بهبود مدل‌ها به معنای «قمار با جان ماست» و به خطر سرکش شدن سیستم‌های خودکار در صورتی که توانمندی‌ها سریع‌تر از تکنیک‌های هم‌سویی رشد کنند، اشاره کرد. جدول زمانی ارائه‌شده توسط پژوهشگران مستعفی به شدت کوتاه است و برخی از آن‌ها نسبت به اختلالات شدید جهانی تا سال ۲۰۳۰ هشدار می‌دهند.[4][7]

خود شرکت آنتروپیک نیز با انتشار یک گزارش اطلاعاتی تهدیدات در ۱۵۴ صفحه در ۱۰ سپتامبر، شواهدی از این نقاط اصطکاک ارائه کرد. این سند بردارهای دقیق سوءاستفاده را که در حال حاضر در دنیای واقعی مشاهده شده‌اند، به تفصیل بیان می‌کند. این گزارش تایید کرد که گروه‌های تحت حمایت دولت‌ها، فروشندگان جاسوس‌افزار و مبلغان سیاسی به طور فعال تلاش کرده‌اند از مدل‌های آنتروپیک برای طراحی عوامل بیماری‌زای بیولوژیکی و نظارت بر مخالفان استفاده کنند.[5]

خود شرکت آنتروپیک نیز با انتشار یک گزارش اطلاعاتی تهدیدات در ۱۵۴ صفحه در ۱۰ سپتامبر، شواهدی از این نقاط اصطکاک ارائه کرد.

در اینجا باید بین کاری که مدل‌ها واقعاً امروز می‌توانند انجام دهند و آنچه بازاریابیِ مبتنی بر سناریوهای آخرالزمانی ادعا می‌کند، تمایز قائل شد. گزارش آنتروپیک تلاش‌های مجرمان برای تولید طرح‌های موشکی و نقشه‌های عوامل بیماری‌زا را مستند می‌کند. اما نمی‌گوید که این مدل‌ها موفق شده‌اند داده‌های علمی جدید و قابل اجرایی ارائه دهند که این افراد نمی‌توانستند از طریق موتورهای جستجوی سنتی پیدا کنند. توانمندی‌های نهفته واقعی هستند، اما تهدید وجودی فوری اغلب توسط همان پژوهشگرانی که این ابزارها را می‌سازند، بیش از حد بزرگ‌نمایی می‌شود.[5]

نشریه پلتفرمر در ۱۱ سپتامبر این چرخش فرهنگی را «تغییر حال و هوای ایمنی هوش مصنوعی» توصیف کرد. خطر وجودی که زمانی یک وسواس حاشیه‌ای در انجمن‌های خردگرایان منطقه خلیج سان‌فرانسیسکو بود، اکنون به ارز رایج گفتگو در میان مهندسانی تبدیل شده است که واقعاً کدها را می‌نویسند. این تغییر لحن، مدیران ارشد را مجبور کرده تا به طور علنی به سناریوهایی بپردازند که تا همین ۲۴ ماه پیش علمی‌تخیلی محسوب می‌شدند.[3]

نیروهای قانونی و بازاری که مانع از کاهش هماهنگ سرعت در این صنعت می‌شوند.

ورود این جدول زمانی به جریان اصلی، سیاست‌گذاران را مجبور به واکنش می‌کند، حتی اگر علم زیربنایی آن به شدت گمانه‌زنی باشد. نیویورک تایمز بخشی از پوشش فناوری خود را در ۱۰ سپتامبر به بررسی این موضوع اختصاص داد که آیا هوش مصنوعی واقعاً می‌تواند تا سال ۲۰۳۰ باعث انقراض بشر شود. وقتی معتبرترین روزنامه کشور یک جدول زمانی چهار ساله برای انقراض را به عنوان یک پیش‌فرض معتبر برای بحث می‌پذیرد، دستگاه نظارتی چاره‌ای جز ورود به ماجرا ندارد.[7]

در حالی که هماهنگی فدرال از نظر قانونی همچنان مبهم است، مقررات در سطح ایالتی از قبل اجرایی شده‌اند. در ۱۰ سپتامبر ۲۰۲۶، فرماندار کالیفرنیا مجموعه‌ای از قوانین را امضا کرد که استقرار چت‌بات‌های هوش مصنوعی و الگوریتم‌های رسانه‌های اجتماعی را هدف قرار می‌دهد. این قانون‌گذاری به طور کامل از بحث‌های وجودی عبور کرده و در عوض بر آسیب‌های فوری و قابل اندازه‌گیری تمرکز دارد.[6]

قوانین کالیفرنیا به طور خاص با هدف محافظت از افراد زیر سن قانونی در برابر سوءاستفاده‌های الگوریتمی تدوین شده است. این قوانین محدودیت‌های سخت‌گیرانه‌ای را برای نحوه تعامل سیستم‌های زایشی با کاربران زیر ۱۸ سال الزامی می‌کند و شرکت‌ها را مجبور می‌سازد تا تایید سن و محدودیت‌های رفتاری را در سطح رابط برنامه‌نویسی کاربردی پیاده‌سازی کنند. این قوانین با مخالفت شدید صنعت مواجه هستند، اما یک خط پایه انطباق ایجاد می‌کنند که شرکت‌ها اکنون باید محصولات خود را بر اساس آن مهندسی کنند.[6]

کالیفرنیا با عبور از بحث خطرات وجودی، قوانین فوری و ملموسی را برای چت‌بات‌های هوش مصنوعی تصویب کرده است.

کاهش سرعت صرفاً به معنای کشیدن دوشاخه واحدهای پردازش گرافیکی نیست. توسعه یک مدل پیشرفته نیازمند هماهنگ‌سازی ده‌ها هزار تراشه در طول چندین ماه است. کاهش سرعت عمدی به معنای تغییر چرخه هزینه‌های سرمایه‌ای است. اگر اوپن‌ای‌آی یا آنتروپیک واقعاً یک دوره آموزش مدل را متوقف کنند، باز هم باید هزینه ظرفیت پردازشی اجاره‌شده را بپردازند که به صدها میلیون دلار می‌رسد.

نقطه بررسی قابل تایید بعدی این است که آیا اوپن‌ای‌آی به طور رسمی از وزارت دادگستری درخواست معافیت ضدانحصار برای بحث درباره سقف‌های ایمنی با آنتروپیک و گوگل می‌کند یا خیر. تا زمانی که این مسیر قانونی هموار نشود، هرگونه صحبت از کاهش سرعت صنعت صرفاً یک آرزو باقی می‌ماند. مدل‌ها به توسعه خود ادامه خواهند داد، زیرا جایگزین آن غیرقانونی است.[1][2]

نکات کلیدی

  • سم آلتمن، مدیرعامل اوپن‌ای‌آی، به کارکنان اطلاع داد که اگر رقبا نیز همین کار را کنند، شرکت آماده است سرعت توسعه مدل‌های پیشرفته را کاهش دهد.
  • قوانین ضدانحصار در حال حاضر مانع از آن می‌شوند که آزمایشگاه‌های هوش مصنوعی بتوانند به صورت قانونی برای توقف آموزش مدل‌ها در سطح صنعت هماهنگ شوند.
  • جیکوب کاکسون، پژوهشگر سابق آنتروپیک، در اعتراض به این روند استعفا داد و به خطر انقراض بشر تا سال ۲۰۳۰ در صورت ادامه توسعه بی‌رویه اشاره کرد.
  • آنتروپیک یک گزارش ۱۵۴ صفحه‌ای منتشر کرد که در آن تلاش‌های بازیگران تحت حمایت دولت‌ها برای استفاده از مدل‌های این شرکت در طراحی عوامل بیماری‌زا و سلاح‌ها به تفصیل بیان شده است.
  • کالیفرنیا قوانین جدیدی تصویب کرد که محدودیت‌های سخت‌گیرانه‌ای برای نحوه تعامل چت‌بات‌های هوش مصنوعی با افراد زیر سن قانونی اعمال می‌کند.

آنچه نمی‌دانیم

  • آیا وزارت دادگستری یا کمیسیون تجارت فدرال اعطای معافیت ضدانحصار برای هماهنگی در ایمنی هوش مصنوعی را در نظر خواهند گرفت یا خیر.
  • چه مقدار از لفاظی‌های فعلی درباره کاهش سرعت، سیاست واقعی است و چه مقدار از آن صرفاً یک سیگنال استراتژیک برای پیشگیری از قوانین سخت‌گیرانه‌تر فدرال است.
  • آستانه دقیق توانمندی‌هایی که باعث توقف اجباری و دولتی آموزش مدل‌ها می‌شود، کجاست.

اصطلاحات کلیدی

مدل پیشرفته
توانمندترین و پیشرفته‌ترین سیستم‌های هوش مصنوعی که توسط آزمایشگاه‌های پیشرو توسعه یافته و برای آموزش به منابع پردازشی عظیمی نیاز دارند.
هم‌سویی
حوزه پژوهشی اختصاص‌یافته به اطمینان از اینکه سیستم‌های هوش مصنوعی مطابق با ارزش‌های انسانی عمل کرده و اهداف ناخواسته یا مضر را دنبال نمی‌کنند.
توانمندی‌های نهفته
پدیده‌ای که در آن یک مدل هوش مصنوعی دارای توانایی‌ها یا دانش پنهانی است که سازندگان آن تا زمانی که توسط کاربران پس از استقرار کشف نشود، از آن بی‌خبرند.
قوانین ضدانحصار
قوانینی که برای ترویج رقابت در بازار و جلوگیری از انحصار یا تبانی طراحی شده‌اند و در حال حاضر شرکت‌های رقیب را از توافق برای توقف توسعه محصول منع می‌کنند.

منابع

پوشش منابع

7 منبع

3 دیدگاه شناسایی‌شده

شرکت‌های تجاری هوش مصنوعی 40%پژوهشگران ایمنی هوش مصنوعی 35%سیاست‌گذاران ایالتی 25%
  1. [1]Bloombergشرکت‌های تجاری هوش مصنوعی

    OpenAI Is Open to Slowing Cutting-Edge AI, CEO Sam Altman Tells Staff

    مطالعه در Bloomberg
  2. [2]Wiredشرکت‌های تجاری هوش مصنوعی

    OpenAI Wants to Know if an AI Industry Slowdown Would Even Be Legal

    مطالعه در Wired
  3. [3]Platformerپژوهشگران ایمنی هوش مصنوعی

    The AI safety vibe shift

    مطالعه در Platformer
  4. [4]NPRپژوهشگران ایمنی هوش مصنوعی

    Former Anthropic researcher outlines threat of AI going rogue

    مطالعه در NPR
  5. [5]The Guardianشرکت‌های تجاری هوش مصنوعی

    Anthropic details how criminals and scientists misuse its AI for cyberattacks and surveillance

    مطالعه در The Guardian
  6. [6]Engadgetسیاست‌گذاران ایالتی

    CA governor signs 'landmark' laws on youth use of social media and AI chatbots

    مطالعه در Engadget
  7. [7]NYTپژوهشگران ایمنی هوش مصنوعی

    Could A.I. Really Kill All Humans?

    مطالعه در NYT

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت فناوری اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.