چرا قانون هوش مصنوعی اتحادیه اروپا در مدیریت هوش مصنوعی عاملی (Agentic AI) ناتوان است؟

قانون هوش مصنوعی اتحادیه اروپا به طور گسترده‌ای به عنوان معیار طلایی مقررات جهانی فناوری شناخته می‌شود. اما با نزدیک شدن به ضرب‌الاجل‌های اجرای آن، یک نقص ساختاری در حال آشکار شدن است که نمی‌توان آن را نادیده گرفت: این قانون برای هوش مصنوعی‌ای نوشته شده بود که «صحبت می‌کند»، در حالی که دنیای کسب‌وکار در حال گذار به هوش مصنوعی‌ای است که «عمل می‌کند».[3]

این تغییر از هوش مصنوعی پیش‌بینی‌کننده به هوش مصنوعی عاملی (سیستم‌هایی که به طور خودمختار برنامه‌ریزی می‌کنند، ابزارهای خارجی را فرامی‌خوانند و گردش کارهای چند مرحله‌ای را بدون مداخله مستمر انسانی اجرا می‌کنند) مفروضات اصلی چارچوب‌های نظارتی جهانی را در هم می‌شکند. مدل‌های سنتی هوش مصنوعی مشاوران منفعل بودند که متن یا پیش‌بینی‌هایی را برای بررسی انسانی تولید می‌کردند. هوش مصنوعی عاملی فعال است و قادر است داده‌ها را اصلاح کرده و گردش کارها را به طور مستقل فعال کند.[4][5]

سازوکار این ناهماهنگی ریشه در سرعت اجرا و خودمختاری دارد. حکمرانی سنتی هوش مصنوعی فرض می‌کند که یک انسان در حلقه تصمیم‌گیری وجود دارد: یک مدل زبان بزرگ پیش‌نویس قراردادی را تهیه می‌کند و یک انسان قبل از نهایی شدن آن را بررسی می‌کند. ماده ۱۴ قانون هوش مصنوعی اتحادیه اروپا دقیقاً همین پویایی را برای سیستم‌های پرخطر الزامی می‌کند و نیازمند «نظارت مؤثر انسانی» و توانایی مداخله، لغو یا توقف سیستم است.[1][6]

اما هوش مصنوعی عاملی منتظر نمی‌ماند تا یک انسان دکمه «تأیید» را بزند. یک عامل خودمختار ممکن است فرمانی برای حل مشکل صورت‌حساب مشتری دریافت کند، و پس از آن به طور مستقل یک پایگاه داده امن را جستجو کند، مبلغ بازپرداخت را محاسبه کند، به درگاه پرداخت دسترسی پیدا کند و اعتبار را صادر کند—همه این‌ها در عرض چند میلی‌ثانیه انجام می‌شود.[5]

تا زمانی که یک ناظر انسانی بتواند به صورت نظری مداخله کند، عامل قبلاً یک زنجیره پیچیده از اقدامات تغییردهنده وضعیت را اجرا کرده است. الزام نظارتی برای دخالت انسانی از نظر ریاضی و عملی غیرممکن می‌شود، مگر اینکه خودمختاری عامل فلج شده و فناوری عملاً بی‌فایده شود.[6]

با وجود این ناهماهنگی معماری، عوامل در خلأ نظارتی قرار ندارند. قانون هوش مصنوعی اتحادیه اروپا به صراحت «عوامل هوش مصنوعی» را به عنوان یک دسته حقوقی متمایز تعریف نمی‌کند. در عوض، همانطور که کمیسیون اروپا تأیید کرده است، عوامل تحت تعریف گسترده «سیستم‌های هوش مصنوعی» قرار می‌گیرند و مشمول همان قوانین مبتنی بر ریسک هستند.[4]

این بدان معناست که اگر عاملی در یک حوزه پرخطر مستقر شود—مانند غربالگری متقاضیان کار، تعیین امتیازات اعتباری، یا مدیریت زیرساخت‌های حیاتی—بار کامل تعهدات پرخطر ضمیمه III قانون را به ارث می‌برد، صرف نظر از اینکه معماری آن امکان‌پذیر بودن انطباق را فراهم می‌کند یا خیر.[1][4]

تغییر مسئولیت عمیق است. از آنجایی که عوامل به جای صرفاً تولید محتوا، اقدام می‌کنند، هوش مصنوعی را از قلمرو مالکیت فکری خارج کرده و به حوزه‌های قانون نمایندگی، قانون شبه‌جرم و قانون قرارداد می‌کشانند. قرار گرفتن در معرض خطر حقوقی از آنچه هوش مصنوعی «می‌گوید» به آنچه هوش مصنوعی «انجام می‌دهد» منتقل می‌شود.[5]

اگر یک چت‌بات یک سابقه حقوقی جعلی را «توهم» کند، این یک خطای اطلاعاتی است که یک بازبین انسانی می‌تواند آن را تشخیص دهد. اگر یک عامل مالی خودمختار یک سیگنال بازار را توهم کند و یک معامله میلیون دلاری را اجرا کند، این یک شکست عملیاتی فاجعه‌بار است. این ریسک اجرا به این معنی است که نرم‌افزار فقط مشاوره نمی‌دهد؛ بلکه شرکت را به پیامدهای دنیای واقعی متعهد می‌کند.[5]

تیم‌های حقوقی و انطباق اکنون در حال درک این موضوع هستند که چک‌لیست‌های ثابت تأیید هوش مصنوعی آن‌ها منسوخ شده‌اند. تأیید یک عامل مستلزم درک معماری تصمیم‌گیری آن، مجوزهای دسترسی به ابزارها و «شعاع انفجار» بالقوه آن در صورت سرکشی یا تفسیر نادرست یک فرمان است.[5][6]

چالش ثبت وقایع (Logging) انطباق را بیشتر پیچیده می‌کند. ماده ۱۲ قانون هوش مصنوعی اتحادیه اروپا برای اطمینان از قابلیت ردیابی، ثبت خودکار رویدادها در طول عملیات را الزامی می‌کند. برای یک مدل استاندارد هوش مصنوعی، این به سادگی به معنای ثبت فرمان کاربر و خروجی مدل است.[1][6]

برای یک عامل، این امر نیازمند گزارش‌های حسابرسی در سطح مسیر (trajectory-level) است—ثبت هر فراخوانی API، هر جستجوی پایگاه داده، و هر عامل فرعی که در طول یک کار پیچیده ایجاد می‌شود. اکثر محیط‌های فناوری اطلاعات سازمانی در حال حاضر برای ثبت این سطح از داده‌های تله‌متری دقیق و با سرعت ماشین تجهیز نشده‌اند، که شکاف بزرگی در قابلیت حسابرسی ایجاد می‌کند.[6][7]

رگولاتورها و شرکت‌ها در رقابتی برای انطباق گرفتار شده‌اند. برخی سازمان‌ها در حال بررسی «عوامل نگهبان» هستند—استفاده از هوش مصنوعی برای نظارت بر هوش مصنوعی—زیرا بررسی انسانی به سادگی نمی‌تواند با سرعت عمل ماشین مطابقت داشته باشد. این سیستم‌های نگهبان به عنوان دروازه‌های تأیید خودکار عمل می‌کنند و محدودیت‌های سیاست‌ها را در زمان واقعی اعمال می‌کنند.[6]

با این حال، واگذاری نظارت قانونی انسانی به ماشینی دیگر، سؤالات حقوقی حل‌نشده خود را مطرح می‌کند. تا زمانی که چارچوب‌های نظارتی برای رسیدگی صریح به اجرای خودمختار تکامل یابند، استقرار هوش مصنوعی عاملی یک چالش انطباق با ریسک بالا باقی می‌ماند و شرکت‌ها را مجبور می‌کند تا حکمرانی را به جای افزودن آن به عنوان یک فکر ثانویه، عمیقاً در معماری سیستم تعبیه کنند.[3][5]