چگونه معماری «انسان در حلقه» مانع از خطاهای مرگبار هوش مصنوعی نظامی می‌شود؟

موشک‌های سنتی «شلیک و فراموش» مانند جاولین (Javelin)، پس از رها شدن به صورت خودکار به سمت هدف حرکت می‌کنند، اما یک تفاوت بنیادین با تسلیحات مبتنی بر هوش مصنوعی دارند. در تسلیحات سنتی، اپراتور انسانی پیش از شلیک، هدف را به صورت فیزیکی قفل می‌کند و موشک تنها همان مسیر را ادامه می‌دهد.[4]

اما در سیستم‌های تسلیحاتی خودمختار جدید، هوش مصنوعی می‌تواند پس از فعال‌سازی، اهداف را جستجو، شناسایی و انتخاب کند. این تغییر، تصمیم‌گیری برای شلیک را از یک اقدام قطعی انسانی به یک محاسبه احتمالی نرم‌افزاری تبدیل کرده است.[2]

به همین دلیل، ارتش‌های جهان به سرعت در حال توسعه معماری‌های امنیتی جدیدی هستند تا از خطاهای مرگبار جلوگیری کنند. این معماری‌ها که به عنوان «انسان در حلقه» (Human-in-the-loop) شناخته می‌شوند، تضمین می‌کنند که ماشین هرگز نتواند به تنهایی از مرز استفاده از نیروی کشنده عبور کند.[2]

در این ساختارها، هوش مصنوعی تنها نقش یک مشاور و تحلیلگر را ایفا می‌کند. تصمیم نهایی برای شلیک، لغو عملیات یا تغییر مسیر، همواره در دستان یک فرمانده انسانی باقی می‌ماند که مسئولیت قانونی و اخلاقی پیامدهای آن را بر عهده دارد.[4]

چارچوب قانونی و دستورالعمل ۳۰۰۰.۰۹

وزارت دفاع ایالات متحده برای مهار این فناوری، دستورالعمل ۳۰۰۰.۰۹ (DODD 3000.09) را تدوین و به‌روزرسانی کرده است. این سند، پایه و اساس سیاست‌های نظامی آمریکا در قبال تسلیحات خودمختار را تشکیل می‌دهد و مرزهای قانونی آن را مشخص می‌کند.[2][3]

بر اساس این دستورالعمل، تمامی سیستم‌های تسلیحاتی خودمختار و نیمه‌خودمختار باید به گونه‌ای طراحی شوند که فرماندهان و اپراتورها بتوانند «سطح مناسبی از قضاوت انسانی» را بر استفاده از زور اعمال کنند. این قانون، حذف کامل انسان از چرخه تصمیم‌گیری مرگبار را ممنوع می‌کند.[3]

این دستورالعمل سیستم‌ها را بر اساس نقش انسان دسته‌بندی می‌کند، نه پیچیدگی فناوری. سیستم‌های «انسان در حلقه» نیازمند تایید صریح اپراتور برای هر شلیک هستند، در حالی که سیستم‌های «انسان روی حلقه» به ماشین اجازه اقدام می‌دهند اما انسان می‌تواند در هر لحظه عملیات را متوقف کند.[2]

یکی از مهم‌ترین الزامات این چارچوب، قابلیت پیش‌بینی‌پذیری است. فرماندهان باید دقیقا بدانند که سیستم هوش مصنوعی در شرایط مختلف چه واکنشی نشان خواهد داد. اگر یک سیستم رفتارهای غیرقابل پیش‌بینی یا خارج از پارامترهای تعیین‌شده از خود بروز دهد، مجوز استقرار در میدان نبرد را دریافت نخواهد کرد.[1][3]

برای اجرای این الزامات، ارتش‌ها از ابزارهای محدودکننده زمانی و مکانی استفاده می‌کنند. به عنوان مثال، یک سیستم خودمختار ممکن است تنها برای فعالیت در یک «جعبه کشتار» (Kill Box) مشخص و برای یک بازه زمانی محدود مجوز دریافت کند و پس از آن غیرفعال شود.

معماری سایدکار ایمنی و ضامن‌های فنی

اجرای قوانین روی کاغذ کافی نیست؛ این محدودیت‌ها باید در کدهای نرم‌افزاری سیستم‌ها حک شوند. یکی از پیشرفته‌ترین رویکردهای فنی برای این منظور، استفاده از معماری «سایدکار ایمنی» (Safety Sidecar) است که توسط پژوهشگران نهادهای دفاعی پیشنهاد شده است.[4]

در این معماری، یک ماژول نرم‌افزاری کاملا مستقل و ایزوله در کنار سیستم اصلی هوش مصنوعی قرار می‌گیرد. وظیفه این ماژول، نظارت مداوم بر خروجی‌ها، تصمیمات و پارامترهای سیستم اصلی است تا اطمینان حاصل کند که هیچ‌یک از خطوط قرمز ایمنی نقض نمی‌شوند.[4]

اگر شبکه عصبی اصلی به دلیل اختلال در داده‌ها، حملات سایبری یا خطاهای محاسباتی تصمیم به شلیک به یک هدف غیرمجاز بگیرد، سایدکار ایمنی بلافاصله وارد عمل می‌شود. این ماژول می‌تواند دستور شلیک را مسدود کرده و کنترل سیستم را به حالت ایمن (Fail-safe) بازگرداند.[4]

علاوه بر این، سیستم‌های نظامی مدرن به پروتکل‌های قطع اضطراری (Kill Switches) مجهز هستند. این پروتکل‌ها به اپراتورهای انسانی اجازه می‌دهند تا در صورت مشاهده هرگونه رفتار غیرعادی، تمام عملکردهای خودمختار سلاح را در کمتر از چند ثانیه غیرفعال کنند.[2][4]

پروژه GUARD (تشخیص و دفاع در برابر فعالیت‌های ناخواسته زایشی) که توسط ارتش آمریکا دنبال می‌شود، نمونه‌ای از این تلاش‌هاست. این پروژه با هدف شناسایی رفتارهای غیرقابل پیش‌بینی هوش مصنوعی پیش از وقوع فاجعه طراحی شده و به عنوان یک لایه نظارتی عمل می‌کند.[1]

چهار ستون حفظ اقتدار انسانی

حضور فیزیکی یک انسان در اتاق کنترل به تنهایی برای حفظ اقتدار انسانی کافی نیست. پژوهشگران حوزه ایمنی هوش مصنوعی تاکید دارند که برای جلوگیری از خطاهای مرگبار، معماری سیستم باید دارای چهار ویژگی بنیادین باشد تا انسان واقعا در کنترل باقی بماند.[4]

نخستین ویژگی «قابلیت رقابت» (Contestability) است. پرسنل مجاز باید بتوانند بدون از کار انداختن کل سیستم، خروجی‌ها و پیشنهادات هوش مصنوعی را رد کرده یا تغییر دهند. ماشین نباید بتواند تصمیم خود را به عنوان یک حکم قطعی به اپراتور تحمیل کند.[4]

ویژگی دوم «قابلیت انتساب» (Attributability) است. هر تصمیمی که توسط سیستم گرفته می‌شود، باید به وضوح قابل ردیابی باشد. فرماندهان باید بدانند که ماشین بر اساس کدام داده‌های حسگری و کدام الگوریتم‌ها به یک نتیجه خاص رسیده است تا بتوانند صحت آن را ارزیابی کنند.[4]

سومین ویژگی «قابلیت توقف» (Interruptibility) است. فرآیند تصمیم‌گیری تا اجرای شلیک نباید یکپارچه و غیرقابل نفوذ باشد. سیستم باید در مراحل مختلف متوقف شود تا اپراتور انسانی بتواند شرایط را بررسی کرده و در صورت تغییر محیط نبرد، عملیات را لغو کند.[4]

در نهایت، سیستم باید همواره در نقش «مشاور» باقی بماند. حتی پیشرفته‌ترین شبکه‌های عصبی نظامی تنها وظیفه دارند گزینه‌ها را تحلیل کرده و احتمالات را به انسان ارائه دهند. تبدیل این مشاوره به یک اقدام فیزیکی، نیازمند یک ماشه انسانی است.[2][4]

چالش سرعت و سوگیری اتوماسیون

یکی از بزرگترین چالش‌ها در پیاده‌سازی معماری «انسان در حلقه»، تضاد میان سرعت پردازش ماشین و زمان واکنش انسان است. در نبردهای مدرن، موشک‌های هایپرسونیک و پهپادهای انتحاری در کسری از ثانیه به هدف می‌رسند و فرصت تصمیم‌گیری برای انسان بسیار محدود است.[4]

هنگامی که یک سیستم دفاع هوایی مبتنی بر هوش مصنوعی ده‌ها تهدید همزمان را شناسایی می‌کند، اپراتور انسانی ممکن است تحت فشار روانی شدید قرار گیرد. در این شرایط، خطر بروز پدیده‌ای به نام «سوگیری اتوماسیون» (Automation Bias) به شدت افزایش می‌یابد.[2][4]

سوگیری اتوماسیون زمانی رخ می‌دهد که انسان به دلیل خستگی یا اعتماد بیش از حد به فناوری، تصمیمات ماشین را بدون بررسی دقیق تایید می‌کند. در این حالت، نقش انسان از یک تصمیم‌گیرنده آگاه به یک تاییدکننده مکانیکی تقلیل می‌یابد که عملا معماری ایمنی را بی‌اثر می‌کند.[2][4]

برای مقابله با این پدیده، طراحان سیستم‌های نظامی در حال توسعه رابط‌های کاربری جدیدی هستند که میزان عدم قطعیت ماشین را به وضوح به کاربر نشان می‌دهند. اگر هوش مصنوعی تنها ۷۰ درصد از خصمانه بودن یک هدف مطمئن باشد، سیستم باید این تردید را با هشدارهای بصری به اپراتور منتقل کند.[4]

همچنین، آموزش‌های شبیه‌سازی‌شده و تست‌های استرس به صورت مداوم برای اپراتورها برگزار می‌شود. این تمرینات به پرسنل نظامی می‌آموزند که چگونه در شرایط بحرانی، به جای اعتماد کورکورانه به الگوریتم‌ها، از قضاوت انتقادی خود برای ارزیابی پیشنهادات ماشین استفاده کنند.[4]

آینده راستی‌آزمایی و هنجارهای بین‌المللی

با پیشرفت روزافزون مدل‌های زایشی و شبکه‌های عصبی عمیق، روش‌های سنتی تست و ارزیابی نرم‌افزار دیگر پاسخگوی نیازهای نظامی نیستند. ارتش‌ها نیازمند پروتکل‌های راستی‌آزمایی پویایی هستند که بتوانند رفتار سیستم را در محیط‌های پیچیده و پیش‌بینی‌نشده تضمین کنند.[1][4]

استفاده از فناوری بلاک‌چین برای ثبت غیرقابل تغییر تصمیمات هوش مصنوعی، یکی از راهکارهای در حال توسعه است. این فناوری به حسابرسان نظامی اجازه می‌دهد تا پس از هر عملیات، زنجیره استدلال ماشین را به دقت بررسی کرده و نقاط ضعف الگوریتم‌ها را شناسایی کنند.[4]

به همین دلیل، توسعه‌دهندگان سیستم‌های دفاعی در حال کار بر روی مفهوم «تخریب کنترل‌شده» (Graceful Degradation) هستند. این ویژگی تضمین می‌کند که اگر سیستم هوش مصنوعی در میدان نبرد با داده‌های متناقض یا حملات جنگ الکترونیک مواجه شود، به جای تصمیم‌گیری‌های تصادفی، به حالت کنترل دستی بازگردد.[4]

در سناریوهای پیچیده مانند نبردهای شهری، جایی که تفکیک میان نظامیان و غیرنظامیان برای پیشرفته‌ترین حسگرها نیز دشوار است، نقش قضاوت انسانی پررنگ‌تر می‌شود. در این محیط‌ها، سیستم‌های هوش مصنوعی تنها مجاز به شناسایی الگوهای حرکتی هستند و حق قفل کردن روی اهداف انسانی را ندارند.[2]

در نهایت، موفقیت معماری «انسان در حلقه» به ایجاد تعادل میان بهره‌گیری از سرعت پردازش ماشین و حفظ خرد انسانی بستگی دارد. ارتش‌هایی در آینده پیروز خواهند بود که نه تنها هوشمندترین الگوریتم‌ها را در اختیار دارند، بلکه ایمن‌ترین زنجیره‌های فرماندهی را برای مهار آن‌ها طراحی کرده‌اند.[4]