استنادهای جعلی تولید شده توسط هوش مصنوعی در گزارش‌های رسمی دولتی، یکپارچگی سیاست‌گذاری را تضعیف می‌کند

تبدیل توهمات هوش مصنوعی از یک شرمساری دانشگاهی به یک آسیب‌پذیری سیستماتیک در سیاست‌گذاری اکنون کامل شده است. بین ماه مه ۲۰۲۵ و آوریل ۲۰۲۶، سه سند رسمی دولتی مجزا – شامل یک نهاد نظارتی اروپایی، یک دولت ملی و کاخ سفید – منتشر شدند که حاوی استنادهای دانشگاهی ساختگی تولید شده توسط هوش مصنوعی بودند.[1][4]

این کشف یک نقطه کور نهادی حیاتی را برجسته می‌کند. در حالی که دولت‌ها در سراسر جهان سرمایه‌گذاری زیادی برای ایمن‌سازی مدل‌های هوش مصنوعی در برابر حملات سایبری و خطرات فاجعه‌بار کرده‌اند، تا حد زیادی از فساد پنهان زنجیره تأمین اطلاعات غافل مانده‌اند. هنگامی که سیاست بر اساس تحقیقات غیرموجود بنا شود، بنیان تصمیمات نظارتی و عملیاتی شروع به ترک خوردن می‌کند.[1][9]

برجسته‌ترین حادثه در دولت ایالات متحده رخ داد. در ارزیابی شاخص «فرزندانمان را سالم کنیم» که توسط کاخ سفید منتشر شد، به چندین مطالعه علمی استناد شده بود که به سادگی وجود نداشتند، و همچنین یافته‌ها به اشتباه به نویسندگان واقعی نسبت داده شده بود که هرگز تحقیقات مورد اشاره را انجام نداده بودند.[2][3]

این ساختگی بودن ابتدا توسط نشریه خبری غیرانتفاعی NOTUS افشا شد، که قالب‌بندی نادرست، نویسندگان مفقود و شماره‌های مجله نامرتبط را در فهرست منابع گزارش شناسایی کرد. به دنبال این تحقیق، گزارش به آرامی جمع‌آوری شد، از استنادهای جعلی پاک شد و با منابع معتبر مجدداً منتشر گردید.[3]

تحقیقات بیشتر توسط واشنگتن پست (The Washington Post) علت مکانیکی این خطا را آشکار کرد. روزنامه‌نگاران ده‌ها پانویس را در سند اصلی پیدا کردند که حاوی نشانگر «oaicite» بود – یک اثر انگشت دیجیتالی متمایز که توسط ChatGPT شرکت OpenAI هنگام تولید متن و تلاش برای قالب‌بندی منابع، از خود به جا می‌ماند.[2]

در آن سوی اقیانوس اطلس، آژانس امنیت سایبری اتحادیه اروپا (ENISA) با نقض مشابهی در یکپارچگی تحقیقات مواجه شد. محققان خارجی دریافتند که گزارش پرخواننده این آژانس در مورد چشم‌انداز تهدید، حاوی منابع تولید شده توسط هوش مصنوعی یا منابع اشتباه دیگری است که به چارچوب‌های امنیت سایبری غیرموجود اشاره داشتند.[1][6]

بر اساس تحلیلی که در TechPolicy.Press منتشر شد، یکی از گزارش‌های ENISA حاوی ۲۶ پانویس نادرست از مجموع ۴۹۲ پانویس بود. این آژانس امنیت سایبری مجبور شد نسخه اصلاح شده سند را برای تصحیح پیوندهای ساختگی منتشر کند، که یک اشتباه شرم‌آور برای سازمانی است که به امنیت دیجیتال و کاهش تهدید اختصاص دارد.[1][6]

در جنوب جهانی، پیامدهای پیش‌نویس‌نویسی با کمک هوش مصنوعی حتی مخرب‌تر بود. دولت آفریقای جنوبی مجبور شد پیش‌نویس سیاست ملی هوش مصنوعی خود را به طور کامل پس بگیرد، پس از آنکه گزارش‌های رسانه‌ای فاش کردند که حداقل شش مورد از شصت و هفت استناد دانشگاهی آن کاملاً ساختگی بوده‌اند.[1][4][7]

ریچل ا. جورج (Rachel A. George)، مدرس استنفورد و عضو غیرمقیم در موقوفه کارنگی برای صلح بین‌المللی، این شکست‌ها را فهرست کرده و استدلال می‌کند که یکپارچگی تحقیقات اکنون باید به عنوان یک مسئله امنیت ملی تلقی شود. ارزیابی‌های تهدید و سیاست‌های بهداشتی مستقیماً بودجه‌های فدرال، چارچوب‌های نظارتی و استقرار عملیاتی را تعیین می‌کنند.[1][9]

مکانیسم اصلی که این ساختگی‌ها را هدایت می‌کند، یک نقص مستند در مدل‌های زبان بزرگ (LLMs) است که به عنوان «توهم» شناخته می‌شود. هنگامی که یک مدل هوش مصنوعی نمی‌تواند یک تطابق دقیق برای یک استناد در داده‌های آموزشی خود پیدا کند، صرفاً یک نتیجه خالی برنمی‌گرداند. در عوض، به استنتاج آماری تکیه می‌کند تا یک منبع به ظاهر معتبر تولید کند، که شامل نام نویسندگان واقعی، عناوین مجلات واقع‌گرایانه و قالب‌بندی استاندارد است.[5][8]

از آنجا که این مدل‌ها برای روانی و انسجام بهینه شده‌اند تا بازیابی دقیق حقایق، در تقلید آهنگ نوشتار دانشگاهی عالی عمل می‌کنند. مدل نمی‌تواند بین یک استناد واقعی که در یک مقاله دانشگاهی مشروع با آن مواجه شده و یک استناد جعلی که بر اساس احتمالات آماری تولید کرده است، تمایز قائل شود.[5]

یک مطالعه در سال ۲۰۲۳ که در Scientific Reports منتشر شد، مقیاس این مشکل را کمی‌سازی کرد. محققانی که از ChatGPT خواستند مرور ادبیات تولید کند، دریافتند که ۵۵ درصد از استنادهای تولید شده توسط GPT-3.5 و ۱۸ درصد از استنادهای GPT-4 پیشرفته‌تر، کاملاً ساختگی بوده‌اند. ارزیابی‌های اخیر نشان می‌دهد که این مشکل همچنان ادامه دارد؛ تحلیل سال ۲۰۲۵ از GPT-4o شرکت OpenAI نشان داد که این مدل تقریباً ۲۰ درصد مواقع استنادهای ساختگی تولید کرده است.[1][8]

نکته مهم این است که نرخ توهم هوش مصنوعی به طور قابل توجهی افزایش می‌یابد، هنگامی که مدل‌ها در مورد موضوعات تخصصی، خاص یا بسیار فنی مورد پرسش قرار می‌گیرند. این دقیقاً همان حوزه‌ای است که تحلیل سیاست‌گذاری دولتی در آن فعالیت می‌کند و نهادهای فدرال را به طور منحصر به فردی در برابر اطلاعات نادرست تولید شده توسط هوش مصنوعی آسیب‌پذیر می‌سازد.[1]

قرار بود ادغام قابلیت‌های مرور وب و پروتکل‌های زمینه مدل (MCPs) در ابزارهای هوش مصنوعی، مدل‌ها را به داده‌های زنده متصل کرده و این توهمات را کاهش دهد. با این حال، کارشناسان خاطرنشان می‌کنند که مدل‌ها همچنان در تمایز بین یک مقاله دانشگاهی مشروع و یک استناد ساختگی که در یک پست وبلاگی با کیفیت پایین مشاهده شده، مشکل دارند.[1][8]

برای مقابله با این آسیب‌پذیری، کارشناسان سیاست‌گذاری از یک تغییر اساسی در نحوه برخورد دولت‌ها با انتشار اسناد حمایت می‌کنند. محققان استدلال می‌کنند که تأیید خودکار استناد باید به زیرساخت استاندارد در فرآیند انتشار تبدیل شود، نه یک بررسی نهایی اختیاری که به کارمندان انسانی با حجم کاری زیاد واگذار شود.[1][4]

علاوه بر این، تقاضای فزاینده‌ای برای استانداردهای افشای اجباری وجود دارد، هر زمان که از هوش مصنوعی در تهیه پیش‌نویس تحقیقات دولتی استفاده می‌شود. همانطور که تضاد منافع مالی باید اعلام شود، استفاده از مدل‌های مولد در ترکیب داده‌های سیاست‌گذاری ممکن است به زودی نیاز به انتساب صریح در صفحه رویی گزارش‌های فدرال داشته باشد.[1][9]

تا زمانی که این اقدامات حفاظتی نهادینه شوند، بار مسئولیت به طور کامل بر دوش بازبینان انسانی است. از آژانس‌ها خواسته می‌شود تا در آموزش تخصصی کارکنان سرمایه‌گذاری کنند تا نشانه‌های ظریف متون تولید شده توسط هوش مصنوعی را شناسایی کنند و اطمینان حاصل شود که سیاست‌هایی که آینده را شکل می‌دهند، مبتنی بر واقعیت هستند، نه تخیل الگوریتمی.[1]