چگونه قابلیت بازتولید داده‌ها، کشف علمی مبتنی بر هوش مصنوعی را با مشکل مواجه کرده است

هوش مصنوعی در موقعیتی قرار دارد که کشف علمی را تسریع بخشد، اما در حال حاضر با یک گلوگاه بزرگ برخورد کرده است: دنیای فیزیکی بیش از حد آشفته است. یک مطالعه چندآزمایشگاهی به رهبری آزمایشگاه ملی شتاب‌دهنده SLAC و دانشگاه استنفورد نشان می‌دهد که تغییرات جزئی در نحوه انجام دقیق یک آزمایش توسط آزمایشگاه‌های مختلف، می‌تواند مدل‌های هوش مصنوعی را به طور کامل از مسیر خارج کند.[1][2]

برای درک این گلوگاه، باید به نحوه یادگیری مدل‌های مولد نگاه کرد. الگوریتم‌های یادگیری ماشین ذاتاً شیمی یا فیزیک را درک نمی‌کنند؛ آن‌ها الگوهای آماری را در حجم عظیمی از داده‌های آموزشی پیدا می‌کنند. اگر داده‌های تجربی وارد شده به مدل حاوی ناهماهنگی‌های پنهان باشند—مانند تغییرات جزئی دما یا کالیبراسیون‌های متفاوت تجهیزات—هوش مصنوعی آن نویز را به عنوان سیگنال عملیاتی می‌کند و پیش‌بینی‌های خود را بی‌فایده می‌سازد.[1][8]

شواهد این شکنندگی در دنیای فیزیکی از یک مطالعه اخیر منتشر شده در نشریه Nature Catalysis به دست می‌آید. محققان چهار آزمایشگاه مستقل را گرد هم آوردند تا یک کاتالیزور آزمایشی تولیدکننده مونوکسید کربن را آزمایش کنند، که گامی حیاتی در تبدیل دی‌اکسید کربن به سوخت‌های قابل استفاده است. در ابتدا، داده‌های تولید شده توسط این چهار مرکز، با وجود آزمایش دقیقاً همان ماده، به شدت ناسازگار بودند.[1][2]

تیم تحقیقاتی این اختلافات را به تفاوت‌های ظریف در طراحی راکتور، شرایط پایه و پروتکل‌های عملیاتی در سراسر آزمایشگاه‌ها ردیابی کرد. برای اصلاح داده‌ها، محققان مجبور شدند استانداردسازی سخت‌گیرانه‌ای را در هر چهار مرکز اعمال کنند. تنها پس از همسو کردن تجهیزات فیزیکی و رویه‌های خود بود که داده‌ها به اندازه‌ای سازگار شدند که بتوان یک مدل هوش مصنوعی قابل اعتماد را آموزش داد، که این امر تیم را بر آن داشت تا دستورالعمل‌های جدیدی را برای سخت‌گیری تجربی منتشر کند.[1][2]

این تغییرپذیری فیزیکی، بحران بازتولیدپذیری موجود و صرفاً محاسباتی را در یادگیری ماشین تشدید می‌کند. محققان در دانشگاه پرینستون و مؤسسه ملی بهداشت (NIH) مستند کرده‌اند که مدل‌های یادگیری ماشین (ML) ذاتاً غیرقطعی هستند. حتی هنگام کار با مجموعه‌داده‌های یکسان و کاملاً استاندارد شده، تیم‌های مستقل اغلب برای تکرار نتایج منتشر شده هوش مصنوعی با مشکل مواجه می‌شوند.[4][5]

محرک اصلی این شکست محاسباتی، «نشت داده» (Data Leakage) است، پدیده‌ای که در آن اطلاعات مجموعه آزمایشی به طور تصادفی وارد داده‌های آموزشی می‌شود. این نقص به طور مصنوعی معیارهای عملکرد مدل را روی کاغذ افزایش می‌دهد. علاوه بر این، از آنجایی که شبکه‌های عصبی عمیق به مقداردهی اولیه تصادفی متکی هستند، اجرای دقیقاً همان کد بر روی معماری‌های سخت‌افزاری مختلف می‌تواند خروجی‌های متفاوتی به همراه داشته باشد.[4][7]

در پاسخ، جامعه علمی در تلاش است تا از هوش مصنوعی برای ممیزی خود استفاده کند. جریان‌های کاری خودکار در حال توسعه هستند تا مواد تحقیقاتی را بازیابی کنند، محیط‌های محاسباتی را بازسازی کنند و کد را برای تأیید نتایج منتشر شده در مقیاس بزرگ اجرا کنند. هدف این است که مطالعاتی که در آزمون‌های اساسی بازتولیدپذیری محاسباتی شکست می‌خورند، قبل از استقرار مدل‌هایشان در دنیای واقعی، به طور سیستماتیک علامت‌گذاری شوند.[6]

با این حال، شواهد نشان می‌دهد که این ممیزان خودکار همچنان به نظارت شدید انسانی نیاز دارند. یک کارآزمایی کنترل‌شده تصادفی منتشر شده در مجموعه مقالات آکادمی ملی علوم (PNAS)، توانایی مدل‌های زبان بزرگ را برای بازتولید تحقیقات کمی آزمایش کرد. در حالی که تیم‌های انسانی با کمک هوش مصنوعی به نرخ بازتولید محاسباتی ۹۱ درصد دست یافتند، عوامل هوش مصنوعی کاملاً خودمختار تنها در ۳۷ درصد مواقع موفق بودند و اغلب خطاهای کدنویسی عمده را نادیده می‌گرفتند.[3]

محدودیت‌های شواهد کنونی واضح است: در حالی که هوش مصنوعی می‌تواند داده‌ها را با سرعت‌های بی‌سابقه‌ای پردازش کند، نمی‌تواند روش علمی سخت‌گیرانه را دور بزند. دستورالعمل‌های SLAC و استنفورد ثابت می‌کند که علم مبتنی بر هوش مصنوعی به استانداردسازی فیزیکی و محاسباتی بیشتر، نه کمتر، نیاز دارد. تا زمانی که ساختارهای انگیزشی انتشارات دانشگاهی کار طاقت‌فرسای پاکسازی داده و اشتراک‌گذاری کد را پاداش ندهند، قابلیت اطمینان هوش مصنوعی در کشف علمی شکننده باقی خواهد ماند.[8]