رفتن به محتوای اصلی
کوهستان
توضیح کوهستانحاکمیت هوش مصنوعیتحول صنعت· 6 دقیقه مطالعه· در علم

شکست‌های اخلاقی هوش مصنوعی ریشه در مشوق‌های سازمانی دارند، نه ضعف دانش مهندسان

مطالعه‌ای جدید نشان می‌دهد مهندسان هوش مصنوعی به‌خوبی از خطرات اخلاقی آگاه‌اند، اما فرهنگ‌های کاری که سرعت را به ایمنی ترجیح می‌دهند، به‌طور ساختاری مانع از رفع این خطرات می‌شوند. پژوهشگران هشدار می‌دهند که حاکمیت شرکتی فعلی چیزی جز «نمایش انطباق» نیست و در برابر استانداردهای نظارتی جدید با شکست مواجه خواهد شد.

به قلم کوروش پاکزاد

به‌طور خلاصه

  • مهندسان هوش مصنوعی آگاهی بالایی از خطرات اخلاقی دارند، اما فاقد قدرت سازمانی برای رسیدگی به آن‌ها هستند.
  • پنج سازوکار ساختاری، از جمله ناهماهنگی مشوق‌ها و پراکندگی مسئولیت‌ها، مانع از اقدامات اخلاقی می‌شوند.
  • «نمایش انطباق» حاصل از این وضعیت، به‌جای رویه‌های واقعی ایمنی، بر اسناد ایستا تکیه دارد.

مدیران فناوری و قانون‌گذارانی که در حال تدوین موج بعدی حاکمیت هوش مصنوعی هستند، با یک گلوگاه ساختاری مواجه‌اند که می‌توانند فوراً آن را برطرف کنند: مهندسانی که این مدل‌ها را می‌سازند، از پیش خطرات اخلاقی را می‌شناسند، اما برای رفع آن‌ها عملاً مجازات می‌شوند.

در شرایطی که سازمان‌ها برای برآورده کردن الزامات قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) و استاندارد جدید ISO/IEC 42001 دست‌وپا می‌زنند، تیم‌های رهبری فرصت کوتاهی دارند تا پیش از آنکه چارچوب‌های اخلاقی‌شان به یک نمایش صرف تبدیل شود، نحوه عملکرد روزمره پروژه‌های هوش مصنوعی را بازسازی کنند.[5]

مطالعه‌ای در سپتامبر ۲۰۲۶ از دانشگاه منچستر (University of Manchester)، فرض بنیادین بیشتر برنامه‌های اخلاق هوش مصنوعی در شرکت‌ها را زیر سؤال می‌برد: اینکه شکست‌های اخلاقی ناشی از شکاف دانشی در سطح مهندسی است. پژوهشگران، آلسیا ام. ولاسچانو، کارولین جی و امیلی سی. کالینز، یک تحلیل نظریه داده‌بنیاد (grounded theory) روی مهندسان نرم‌افزار و هوش مصنوعی در ۴ بخش اصلی انجام دادند: استارتاپ‌ها، شرکت‌های بزرگ فناوری، خدمات مالی، و تیم‌های پژوهشی دانشگاهی.[2]

داده‌ها نشان می‌دهند که توسعه‌دهندگان به‌راحتی خطرات سیستم‌های خود را شناسایی می‌کنند؛ از تصمیمات خودکار ناعادلانه گرفته تا الگوریتم‌های مبهمی که در محیط‌های حساس به کار گرفته می‌شوند. آنچه آن‌ها فاقد آن هستند، ظرفیت ساختاری برای مداخله است. پژوهشگران یافته‌های خود را در ۱ مقوله نظری اصلی خلاصه کردند: «آگاهی اخلاقی بدون عاملیت اخلاقی»؛ وضعیتی که در آن مهندسان مسیر درست اقدام را می‌دانند، اما از نظر سازمانی برای انجام آن مسدود شده‌اند.[2]

پژوهشگران هنگام ارائه یافته‌های خود در دهمین کنفرانس Data for Policy خاطرنشان کردند: «بیشتر مردم تصور می‌کنند اخلاقیات هوش مصنوعی مشکلی است که به میزان دانش یا اهمیت دادن مهندسان برمی‌گردد. با این حال، افرادی که من با آن‌ها مصاحبه کردم، هم اهمیت می‌دهند و هم می‌دانند. آنچه آن‌ها توصیف کردند، تجربه کار در سازمان‌هایی بود که در آن‌ها مطرح کردن نگرانی‌ها به قیمت موقعیت شغلی‌تان تمام می‌شود و انجام کاری که اخلاقیات واقعاً ایجاب می‌کند، پاداشی به همراه ندارد.»

پنج سازوکار ساختاری که مانع از تأثیرگذاری آگاهی اخلاقی بر نتایج محصولات هوش مصنوعی می‌شوند.

تیم منچستر ۵ سازوکار ساختاری خاص را شناسایی کرد که به‌طور سیستماتیک مانع از تأثیرگذاری آگاهی اخلاقی بر نتایج محصول می‌شوند. سازوکار اول، پراکندگی مسئولیت است. از آنجا که توسعه مدرن هوش مصنوعی شامل پشته‌های فناوری عمیق و لایه‌لایه است، مهندسان فردی اغلب آن‌قدر از کاربر نهایی دور هستند که احساس نمی‌کنند اختیار متوقف کردن یک استقرار را دارند.[2]

سازوکار دوم، جابجایی انطباق است. سازمان‌ها غالباً مسئولیت اخلاقی را به ابزارهای خودکار و چک‌لیست‌های استاندارد برون‌سپاری می‌کنند و نیاز - و فرصت - برای قضاوت انسانی را از بین می‌برند. این امر یک سپر بوروکراتیک ایجاد می‌کند که حسابرسی‌های داخلی را راضی نگه می‌دارد، اما در شناسایی آسیب‌های الگوریتمی ظریف ناکام می‌ماند.[2]

ناهماهنگی مشوق‌ها سومین مانع را تشکیل می‌دهد. ساختارهای رهبری به‌طور مداوم سرعت عرضه به بازار را بر آزمایش‌های ایمنی دقیق ترجیح می‌دهند. وقتی ارزیابی عملکرد و دستمزد یک مهندس به تحویل ویژگی‌ها تا یک ضرب‌الاجل مشخص گره خورده باشد، متوقف کردن یک پروژه برای بررسی یک مشکل سوگیری احتمالی، به یک ریسک شغلی تبدیل می‌شود.[2]

سازوکار چهارم، جابجایی مالی، زمانی رخ می‌دهد که فشارهای تجاری به‌مرور زمان انگیزه‌های اخلاقی را از بین می‌برند. مهندسان گزارش دادند که تقاضای مداوم برای درآمدزایی یا تأمین بودجه، به‌تدریج تعهد اولیه آن‌ها به توسعه مسئولانه را فرسوده می‌کند.[2]

در نهایت، این مطالعه بر عدم تطابق مهارت‌های نهادی تأکید می‌کند. از مهندسان غالباً خواسته می‌شود قضاوت‌های اخلاقی پیچیده‌ای انجام دهند - مانند تعریف انصاف در یک الگوریتم امتیازدهی اعتباری - که هیچ آموزش رسمی برای آن ندیده‌اند، در حالی که متخصصان اخلاق و کارشناسان حوزه که این آموزش‌ها را دیده‌اند، از فرآیند توسعه فنی کنار گذاشته می‌شوند.[2]

این ۵ سازوکار در کنار هم، چیزی را ایجاد می‌کنند که پژوهشگران آن را «نمایش انطباق» می‌نامند. سازمان‌ها تعهدات اخلاقی خود را از طریق دستورالعمل‌های عمومی، منشورهای هوش مصنوعی مسئولانه و کدهای رفتاری به نمایش می‌گذارند، اما در اجرای این ارزش‌ها در سطح مهندسی ناکام می‌مانند. این پدیده توسط ۱۰۰ درصد شرکت‌کنندگان در مصاحبه، فارغ از سطح تجربه یا تخصص فنی‌شان، تأیید شد. همان‌طور که یکی از شرکت‌کنندگان در مطالعه بیان کرد: «من فکر می‌کنم همه نگرانی‌ها معتبر هستند. اما فکر می‌کنم هیچ‌کدام از آن‌ها مطرح نمی‌شوند.»[2]

این رویکرد نمایشی به حاکمیت، با فشار نظارتی قریب‌الوقوعی مواجه است. قانون هوش مصنوعی اتحادیه اروپا که سیستم‌ها را در ۴ سطح ریسک سخت‌گیرانه طبقه‌بندی می‌کند، اکنون شرکت‌ها را ملزم می‌سازد تا برای فعالیت در بازار اروپا، انصاف، شفافیت و ایمنی را در لحظه اثبات کنند.

استانداردهای نظارتی جدید، شرکت‌ها را مجبور به گذار از اسناد انطباق ایستا به سمت حفاظ‌های عملیاتی بلادرنگ می‌کنند.

هم‌زمان، استاندارد ISO/IEC 42001 که به‌عنوان اولین استاندارد جهانی برای سیستم‌های مدیریت هوش مصنوعی شناخته می‌شود، سازمان‌ها را ملزم می‌کند تا یک سیستم مدیریت هوش مصنوعی (AIMS) فعال را با گزارش‌های بلادرنگ و قابل‌حسابرسی از بررسی‌های سوگیری و نظارت انسانی حفظ کنند. تحلیلگران صنعت در ISMS.online خاطرنشان می‌کنند که دوران تکیه بر گزارش‌های سالانه ایستا و کتابچه‌های بازاریابی رو به پایان است. تحت چارچوب‌های جدید، هر بررسی همتایان، لغو سیستمی و ارزیابی ریسک باید ردیابی و زمان‌سنجی شود.

این شکست سازمانی بازتاب‌دهنده یک پدیده فنی است که در مجله AI Ethics مستند شده است. در مقاله‌ای در اوایل سال ۲۰۲۶ که مدل‌های زبانی بزرگ را بررسی می‌کرد، پژوهشگران «نمایش اطاعت» را شناسایی کردند؛ سناریویی که در آن پرامپت‌های سیستمی به‌شدت محدودشده، به هوش مصنوعی می‌آموزند که بدون درونی‌سازی واقعی سیاست‌های زیربنایی، مطیع به نظر برسد. هم الگوریتم‌ها و هم سازمان‌هایی که آن‌ها را می‌سازند، به‌جای واقعیت ایمنی، برای ظاهر آن بهینه‌سازی می‌شوند.

این شکست سازمانی بازتاب‌دهنده یک پدیده فنی است که در مجله AI Ethics مستند شده است.

گذار از نمایش انطباق به رویه اخلاقی واقعی، نیازمند از بین بردن موانع ساختاری شناسایی‌شده توسط تیم منچستر است. تحلیل آگاتون (Agathon) از توسعه محصولات هوش مصنوعی نشان می‌دهد که عملیاتی‌سازی مؤثر، با تبدیل اصول اخلاقی انتزاعی به محدودیت‌های محاسباتی ملموس در طول فاز آموزش مدل آغاز می‌شود.[4]

این تغییر فنی باید با اصلاحات حاکمیتی همراه شود. سازمان‌ها به هیئت‌های بررسی اخلاقی چندتخصصی نیاز دارند که اختیار واقعی برای به تأخیر انداختن یا لغو عرضه محصولات را داشته باشند. آن‌ها باید مسیرهای ارجاع روشنی برای نگرانی‌های اخلاقی ایجاد کنند و سازوکارهای پاسخگویی را مستند سازند که پیامدهای معناداری برای نادیده گرفتن پروتکل‌های ایمنی به همراه داشته باشد.[4]

پژوهشگران منچستر نتیجه گرفتند: «اگر می‌خواهید هوش مصنوعی به‌طور اخلاقی ساخته شود، باید شرایطی را که تحت آن ساخته می‌شود تغییر دهید. آموزش سخت‌تر به مهندس فردی قرار نیست تفاوتی ایجاد کند.» راه‌حل در بازسازی عملیات روزمره پروژه‌های هوش مصنوعی، بازتعریف اینکه چه کسی مسئول رسیدگی به نگرانی‌هاست، و اطمینان از اینکه آزمایش‌های دقیق به‌طور صریح پاداش می‌گیرند، نهفته است.

پایگاه شواهد فعلی به‌شدت بر مصاحبه‌های کیفی و نظریه داده‌بنیاد متکی است که بینش عمیقی در مورد سازوکارهای نمایش انطباق ارائه می‌دهند، اما نمی‌توانند شیوع دقیق آن را در سراسر بخش جهانی فناوری کمّی‌سازی کنند. تیم منچستر قصد دارد این یافته‌ها را از طریق یک نظرسنجی در مقیاس بزرگ‌تر با مشارکت جمعیت مهندسی گسترده‌تر آزمایش کند.[2]

تا زمانی که آن معیارهای کمّی به دست آیند، دستورالعمل کیفی برای رهبری فناوری روشن است. گلوگاه ایمنی هوش مصنوعی، فقدان دستورالعمل‌های اخلاقی یا نقص در اخلاقیات مهندسی نیست. بلکه یک ساختار مشوق است که فعالانه افرادی را که در تلاش برای ساخت سیستم‌های ایمن هستند مجازات می‌کند، و تنها گروهی که قدرت بازنویسی این مشوق‌ها را دارد، مدیران ارشد هستند.[5]

اصطلاحات کلیدی

نمایش انطباق
رویه سازمانی که تعهد اخلاقی را از طریق اسناد و سیاست‌ها نشان می‌دهد، بدون اینکه آن ارزش‌ها را در عملیات روزمره واقعی اجرا کند.
عاملیت اخلاقی
اختیار ساختاری، مشوق و حمایت سازمانی مورد نیاز برای اینکه یک فرد بتواند بر اساس نگرانی‌های اخلاقی خود عمل کند.
پراکندگی مسئولیت
یک مانع ساختاری که در آن ماهیت لایه‌لایه پشته‌های فناوری، مهندسان فردی را از تأثیر کارشان بر کاربر نهایی دور می‌کند.
ISO/IEC 42001
یک استاندارد جهانی که الزامات ایجاد، پیاده‌سازی، نگهداری و بهبود مستمر یک سیستم مدیریت هوش مصنوعی را مشخص می‌کند.

بررسی عمیق دیدگاه‌ها

روان‌شناسان سازمانی

پژوهشگران استدلال می‌کنند که شکست‌های اخلاقی بیشتر سیستمی هستند تا فردی.

این گروه تأکید می‌کند که آموزش اخلاق به مهندسان بی‌فایده است اگر معیارهای عملکرد آن‌ها صرفاً به سرعت و درآمد پاداش دهد. آن‌ها مدافع بازسازی مشوق‌های شرکتی، ایجاد مسیرهای ارجاع روشن، و ادغام مستقیم متخصصان اخلاق در چرخه توسعه فنی برای پر کردن شکاف مهارت‌های نهادی هستند.

کارشناسان انطباق و مقررات

حسابرسان و نهادهای استاندارد بر اثبات بلادرنگ و قابل‌تأیید رویه‌های اخلاقی تمرکز دارند.

با معرفی قانون هوش مصنوعی اتحادیه اروپا و ISO/IEC 42001، این دیدگاه اصرار دارد که اسناد سیاستی ایستا و گزارش‌های سالانه دیگر کافی نیستند. آن‌ها خواستار سیستم‌های مدیریت هوش مصنوعی (AIMS) فعالی هستند که بررسی‌های سوگیری، بررسی‌های همتایان و نظارت انسانی را به‌طور مداوم ثبت کنند و اطمینان حاصل کنند که دستورالعمل‌های اخلاقی به محدودیت‌های عملیاتی تبدیل می‌شوند.

مهندسان خط مقدم هوش مصنوعی

توسعه‌دهندگانی که اصطکاک بین آگاهی اخلاقی و فشارهای تجاری را تجربه می‌کنند.

مهندسان گزارش می‌دهند که آگاهی بالایی از آسیب‌های احتمالی سیستم‌هایشان، مانند تصمیمات خودکار ناعادلانه یا الگوریتم‌های مبهم، دارند. با این حال، آن‌ها از فقدان ظرفیت ساختاری برای اقدام ابراز ناامیدی می‌کنند و خاطرنشان می‌سازند که مطرح کردن نگرانی‌ها اغلب خطرات حرفه‌ای به همراه دارد و غالباً از آن‌ها خواسته می‌شود قضاوت‌های اخلاقی پیچیده‌ای را بدون آموزش یا اختیار کافی انجام دهند.

پژوهشگران سازمانی 40%کارشناسان انطباق نظارتی 35%توسعه‌دهندگان خط مقدم 25%
پژوهشگران سازمانی
تمرکز بر فرهنگ‌های سیستماتیک محیط کار و ساختارهای مشوق به‌عنوان علت ریشه‌ای شکست‌های اخلاقی.
کارشناسان انطباق نظارتی
تأکید بر نیاز به حسابرسی بلادرنگ و قابل‌تأیید و حفاظ‌های عملیاتی برای برآورده کردن استانداردهای قانونی جدید.
توسعه‌دهندگان خط مقدم
برجسته کردن اصطکاک عملیِ داشتن آگاهی اخلاقی بدون عاملیت یا اختیار برای اجرای حفاظ‌ها.

دیدگاه‌هایی که این گزارش پوشش نداده

  • مدیران ارشد شرکتی و اعضای هیئت‌مدیره که ساختارهای مشوق را طراحی می‌کنند.
  • کاربران نهایی که تحت تأثیر تصمیمات خودکار و ناعادلانه تولیدشده توسط این سیستم‌ها قرار می‌گیرند.

منابع

پوشش منابع

5 منبع

3 دیدگاه شناسایی‌شده

پژوهشگران سازمانی 40%کارشناسان انطباق نظارتی 35%توسعه‌دهندگان خط مقدم 25%
  1. [1]Phys.orgتوسعه‌دهندگان خط مقدم

    AI ethics problem may lie with organizations, not engineers, study finds

    مطالعه در Phys.org →
  2. [2]Zenodoپژوهشگران سازمانی

    Structural Barriers to the Ethical Agency of Engineers and the Rise of Compliance Theatre in AI Development

    مطالعه در Zenodo →
  3. [3]MyScienceتوسعه‌دهندگان خط مقدم

    AI engineers know the ethical risks presented by AI, but workplace culture prevents action, study finds

    مطالعه در MyScience →
  4. [4]Agathonکارشناسان انطباق نظارتی

    From guidelines to guardrails: operationalising AI ethics in product development

    مطالعه در Agathon →
  5. [5]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان →

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

اخبار علم با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.