رفتن به محتوای اصلی
توضیح کوهستانیکپارچگی پژوهشبسته شواهد۲۶ مرداد ۱۴۰۵، ۵:۳۸· 6 دقیقه مطالعه· در تحلیل داده

مطالعه جدید: هوش مصنوعی اختصاصی و ابزارهای «جعبه سیاه» تکرارپذیری علمی را تهدید می‌کنند

یک کنسرسیوم بین‌المللی از محققان هشدار می‌دهد که استفاده فزاینده از الگوریتم‌های مبهم و اختصاصی در علم، توانایی تأیید مستقل اکتشافات را تضعیف می‌کند.

به قلم آزاده ابراهیمی

مدافعان علم باز 45%محققان عمل‌گرا 30%توسعه‌دهندگان تجاری هوش مصنوعی 25%
مدافعان علم باز
خواستار شفافیت کامل و دسترسی به کد منبع و داده‌های آموزشی برای تضمین تکرارپذیری هستند.
محققان عمل‌گرا
به دلیل ضرورت پردازش مجموعه‌داده‌های عظیم و برآورده کردن فشارهای بهره‌وری آکادمیک، ابزارهای مبهم را به کار می‌گیرند.
توسعه‌دهندگان تجاری هوش مصنوعی
برای حفظ مزیت رقابتی و امنیت، از الگوریتم‌های اختصاصی و داده‌های آموزشی محافظت می‌کنند.

علم زیرساخت نامرئی زیربنای جامعه مدرن است. هنگامی که یک بیمار داروی جدیدی را مصرف می‌کند، یا یک شهر بر اساس پیش‌بینی‌های آب و هوایی، سیستم‌های دفاعی سیل خود را بازسازی می‌کند، آنها به روش علمی اعتماد می‌کنند. این اعتماد کاملاً متکی بر تکرارپذیری است—اصلی که می‌گوید اگر محققان مستقل یک آزمایش را با استفاده از روش‌ها و داده‌های مشابه تکرار کنند، به همان نتیجه خواهند رسید. اما با پیچیده‌تر شدن تصاعدی ابزارهای کشف، این شفافیت بنیادی به آرامی در حال شکستن است.[7]

یک کنسرسیوم بین‌المللی از محققان، مطالعه جامعی را در مجله «بایوساینس» (BioScience) منتشر کرده است که هشدار می‌دهد پذیرش فزاینده ابزارهای دیجیتال مبهم، اعتبار بلندمدت تحقیقات علمی را تهدید می‌کند. این تحلیل، هوش مصنوعی، خطوط لوله پردازش ماهواره‌ای اختصاصی و پلتفرم‌های نظرسنجی مبتنی بر الگوریتم را به عنوان «جعبه‌های سیاه» نوظهوری معرفی می‌کند که متدولوژی‌های حیاتی را از تأیید مستقل محافظت می‌کنند.[1][3]

مکانیسم‌های این تغییر، یک انحراف اساسی از تحقیقات سنتی را نشان می‌دهد. از لحاظ تاریخی، یک مقاله علمی شامل فرمول‌های ریاضی دقیق، مشخصات تجهیزات و داده‌های خامی بود که برای رسیدن به یک نتیجه استفاده می‌شد. امروزه، ابزارهای پیشرفته در حال متحول کردن نحوه مطالعه جهان طبیعی توسط دانشمندان هستند و امکان پردازش سریع مجموعه‌داده‌های عظیمی را فراهم می‌کنند که تجزیه و تحلیل دستی آنها غیرممکن بود.[2]

با این حال، عملیات داخلی این سیستم‌های پیشرفته به طور معمول پنهان می‌ماند. محققان اغلب با دسترسی محدود به داده‌های آموزشی زیربنایی، کد منبع و محیط‌های آزمایش مستقیم مواجه می‌شوند. بدون این اجزا، دانشمندان مستقل نمی‌توانند خروجی‌های تحلیلی را تأیید کنند یا دقیقاً ردیابی کنند که نتایج خاص چگونه تولید شده‌اند.[4]

چگونه الگوریتم‌های اختصاصی با پنهان کردن فرآیندهایی که داده‌های خام را به یافته‌های منتشر شده تبدیل می‌کنند، روش علمی را مبهم می‌سازند.

ایوان یاریچ (Ivan Jarić)، نویسنده اصلی و محقق در دانشگاه پاریس-ساکلی (University of Paris-Saclay) و مرکز زیست‌شناسی آکادمی علوم چک، بر پارادوکس این ابزارهای مدرن تأکید می‌کند. در حالی که آنها آنچه را که قابل اندازه‌گیری است گسترش می‌دهند—مانند امکان نظارت بر تنوع زیستی در مقیاس قاره‌ای—با پنهان نگه داشتن فرآیندهای پشت نتایج خود از دانشمندانی که از آنها استفاده می‌کنند، به عنوان جعبه‌های سیاه واقعی عمل می‌کنند.[2][3]

این عدم شفافیت به ندرت یک نقص تصادفی در طراحی است. بسیاری از این منابع داده قدرتمند و سیستم‌های پردازشی متعلق به شرکت‌های خصوصی هستند. این شرکت‌ها عمداً دسترسی به اطلاعات در مورد نحوه عملکرد سیستم‌های خود را محدود می‌کنند، که این امر توسط محدودیت‌های اختصاصی، حفاظت از مالکیت فکری و اهداف تجاری هدایت می‌شود.[2]

مقاله «بایوساینس» چندین دسته خاص از جعبه‌های سیاه را شناسایی می‌کند که اکنون در زمینه‌هایی مانند بوم‌شناسی و حفاظت گسترده شده‌اند. مدل‌های زبان بزرگ و سایر فناوری‌های هوش مصنوعی که برای تفسیر تصاویر ماهواره‌ای و مدل‌سازی اکوسیستم‌های پیچیده استفاده می‌شوند، در میان آنها برجسته هستند. از آنجا که الگوریتم‌ها بسته هستند، محققان درک کمی از چگونگی یا چرایی تولید خروجی‌های خاص توسط این سیستم‌ها دارند.[1][4]

مقاله «بایوساینس» چندین دسته خاص از جعبه‌های سیاه را شناسایی می‌کند که اکنون در زمینه‌هایی مانند بوم‌شناسی و حفاظت گسترده شده‌اند.

خطرات بسیار فراتر از هوش مصنوعی گسترش می‌یابد. این مطالعه اشاره می‌کند که بسیاری از محصولات سنجش از راه دور و شبکه‌های ردیابی حیات وحش متکی بر خطوط لوله پردازش اختصاصی هستند. در برخی موارد، دستگاه‌های ردیابی تنها مکان‌های پردازش شده حیوانات را در اختیار دانشمندان قرار می‌دهند و عمداً داده‌های خام مشاهداتی زیربنایی را پنهان می‌کنند.[3][4]

بدون روش‌های شفاف و منشأ داده‌های واضح، مکانیسم‌های عادی خوداصلاحی علمی شروع به از هم پاشیدن می‌کنند. هنگامی که ناهنجاری‌هایی در داده‌ها ظاهر می‌شود، تفسیر مغایرت‌ها، تشخیص خطاهای الگوریتمی یا ارزیابی کامل حاشیه عدم قطعیت در یافته‌ها برای محققان به طور قابل توجهی دشوارتر می‌شود.[4]

این عدم شفافیت فناوری در زمانی رخ می‌دهد که جامعه علمی گسترده‌تر در حال حاضر با بحران تکرارپذیری دست و پنجه نرم می‌کند. تخمین‌ها نشان می‌دهد که تنها در تحقیقات پیش‌بالینی، بیش از نیمی از مطالعات منتشر شده شامل نتایج تکرارناپذیر هستند. هنگامی که هوش مصنوعی در جریان کار تحقیقاتی ادغام می‌شود، برخی تحلیل‌ها نشان می‌دهند که درصد تحقیقات تکرارناپذیر می‌تواند تا نزدیک به ۷۰ درصد افزایش یابد.[5]

در حالی که پذیرش هوش مصنوعی در میان محققان به شدت افزایش یافته است، این امر با نرخ‌های بالای تکرارناپذیری و نگرانی‌های فزاینده در مورد ساختگی بودن داده‌ها همراه بوده است.

پیامدهای تکیه بر ابزارهای محاسباتی تأیید نشده می‌تواند شدید باشد. مؤسسه ملی بهداشت (National Institutes of Health) قبلاً تأکید کرده است که خطاهای رایج پیاده‌سازی در برنامه‌ها—مانند عدم تبدیل صحیح واحدها یا سوء مدیریت مقادیر گمشده—بدون دسترسی به کد منبع به طرز باورنکردنی دشوار است و به بحران اعتبار در محاسبات تحقیقاتی دامن می‌زند.[6]

با وجود این خطرات مستند، پذیرش فناوری‌های جعبه سیاه همچنان در حال شتاب گرفتن است. این روند تنها ناشی از اسرار شرکت‌ها نیست، بلکه به دلیل پیچیدگی فنی محض ابزارهای مدرن نیز هست. در بسیاری از موارد، سیستم‌ها آنقدر پیچیده شده‌اند که حتی توسعه‌دهندگان اصلی آنها نیز برای بررسی و توضیح کامل نحوه عملکردشان دچار مشکل می‌شوند.[2][3]

فشارهای آکادمیک سیستمی این مشکل را تشدید می‌کند. فرهنگ فراگیر «منتشر کن یا نابود شو» خواسته‌های شدیدی را بر دانشمندان تحمیل می‌کند تا بهره‌وری خود را به حداکثر برسانند و رقابتی باقی بمانند. هنگامی که این امر با نیاز فوری به پردازش جریان‌های داده‌های زیست‌محیطی در حال گسترش برای رسیدگی به بحران‌های جهانی ترکیب می‌شود، محققان عملاً مجبور می‌شوند این سیستم‌های مبهم را در جریان کار خود ادغام کنند.[2]

نویسندگان «بایوساینس» هشدار می‌دهند که اتکای بی‌رویه به متدولوژی‌های غیرشفاف، خطر تبدیل خروجی‌های علمی به مصنوعات پلتفرم‌های تجاری خاص را در پی دارد، نه اکتشافات قابل تأیید جهانی. اگر مراحل تحلیلی کلیدی قابل بازرسی یا تکرار نباشند، اعتماد عمومی و علمی به یافته‌های حاصل به تدریج از بین خواهد رفت.[2][4]

بدون دسترسی به کد منبع و داده‌های آموزشی، داوران مستقل نمی‌توانند نحوه تولید نتایج خاص را تأیید کنند.

برای مقابله با این مسیر، محققان مجموعه‌ای از راه‌حل‌های ساختاری را پیشنهاد می‌کنند. آنها از اولویت دادن به نرم‌افزار و سخت‌افزار متن‌باز در هر کجا که ممکن است حمایت می‌کنند و اصرار دارند که ابزارهای اختصاصی باید قبل از پذیرش خروجی‌هایشان در مقالات داوری شده، به طور دقیق در برابر مجموعه‌داده‌های شفاف و استاندارد مقایسه شوند.[2][3]

علاوه بر این، این کنسرسیوم خواستار تلاش‌های فشرده‌تر برای مقررات علم باز است که دسترسی بهبود یافته به پلتفرم‌های دیجیتال و داده‌های زیربنایی آنها را برای محققان دانشگاهی الزامی کند. آنها تأکید می‌کنند که نظارت انسانی باید در طول فرآیند تحقیق محوری باقی بماند، زیرا نویسندگان مطالعه در نهایت مسئولیت هرگونه خطای تولید شده توسط ابزارهایی که به کار می‌گیرند را بر عهده دارند.[2][3]

با توانمندتر و خودمختارتر شدن هوش مصنوعی، تنش بین اسرار تجاری و شفافیت علمی تنها تشدید خواهد شد. جامعه علمی اکنون با یک ضرورت حیاتی روبرو است: انطباق استانداردهای سخت‌گیرانه تکرارپذیری خود با عصر الگوریتمی، یا خطر بنا نهادن آینده دانش بشری بر پایه‌هایی که قابل بازرسی نیستند.[7]

نکات کلیدی

  1. یک مطالعه جدید در مجله «بایوساینس» (BioScience) هشدار می‌دهد که هوش مصنوعی اختصاصی و ابزارهای سنجش از راه دور در حال ایجاد «جعبه‌های سیاه» در تحقیقات علمی هستند.
  2. محققان اغلب به داده‌های آموزشی و الگوریتم‌های لازم برای تأیید نحوه تولید خروجی توسط این ابزارها دسترسی ندارند.
  3. عدم شفافیت این سیستم‌ها اصل اساسی علمی تکرارپذیری و تأیید مستقل را تهدید می‌کند.
  4. فشارهای سیستمی، از جمله فرهنگ «منتشر کن یا نابود شو»، دانشمندان را وادار می‌کند تا با وجود خطرات عدم شفافیت، این ابزارها را به کار گیرند.
  5. کارشناسان برای احیای اعتماد، اولویت دادن به نرم‌افزارهای متن‌باز و مقایسه ابزارهای اختصاصی با مجموعه‌داده‌های شفاف را توصیه می‌کنند.

بررسی عمیق دیدگاه‌ها

مدافعان علم باز

استدلال می‌کنند که تکرارپذیری سنگ بنای علم است و نباید به خاطر راحتی فناوری به خطر بیفتد.

محققان این گروه، از جمله نویسندگان مطالعه «بایوساینس»، تأکید می‌کنند که تأیید مستقل چیزی است که کشف علمی را از نمایش محصولات شرکتی جدا می‌کند. آنها استدلال می‌کنند که اگر مراحل تحلیلی کلیدی قابل بازرسی یا تکرار نباشند، اعتماد عمومی و علمی به یافته‌های حاصل ناگزیر از بین خواهد رفت. این گروه از اولویت دادن به نرم‌افزارهای متن‌باز، مقایسه ابزارهای اختصاصی با مجموعه‌داده‌های شفاف و اجرای مقررات سخت‌گیرانه‌ای که پلتفرم‌های تجاری را ملزم به ارائه دسترسی محققان به داده‌های زیربنایی و مکانیک الگوریتمی می‌کند، حمایت می‌کنند.

توسعه‌دهندگان تجاری هوش مصنوعی

حفاظت از مالکیت فکری و استقرار سریع قابلیت‌های تحلیلی پیشرفته را در اولویت قرار می‌دهند.

شرکت‌های خصوصی که مدل‌های زبان بزرگ پیشرفته و خطوط لوله سنجش از راه دور را می‌سازند، اغلب عمداً دسترسی به عملیات داخلی سیستم‌های خود را محدود می‌کنند. این نهادها که توسط محدودیت‌های اختصاصی و اهداف تجاری هدایت می‌شوند، استدلال می‌کنند که متن‌باز کردن الگوریتم‌ها یا داده‌های آموزشی آنها مزیت رقابتی آنها را از بین می‌برد و سیستم‌هایشان را در معرض آسیب‌پذیری‌های امنیتی قرار می‌دهد. آنها معتقدند که محققان همچنان می‌توانند خروجی‌های این ابزارها را از طریق آزمایش تجربی خارجی تأیید کنند، حتی اگر پردازش داخلی یک جعبه سیاه باقی بماند.

محققان عمل‌گرا

بین نیاز به ابزارهای پیشرفته و الزامات دقت علمی گرفتار شده‌اند.

بسیاری از دانشمندان فعال به دلیل فشارهای آکادمیک سیستمی مجبور به پذیرش فناوری‌های مبهم می‌شوند. فرهنگ «منتشر کن یا نابود شو» بهره‌وری بالایی را طلب می‌کند و حجم محض مجموعه‌داده‌های مدرن—مانند نظارت بر تنوع زیستی در مقیاس قاره‌ای—تجزیه و تحلیل دستی را غیرممکن می‌سازد. برای این محققان، استفاده از هوش مصنوعی اختصاصی یک مصالحه ضروری برای مقابله با بحران‌های زیست‌محیطی فوری و جریان‌های داده در حال گسترش است، حتی اگر خطرات ذاتی برای تکرارپذیری را بپذیرند.

چرا مهم است

علم زیربنای پزشکی مدرن، سیاست‌های زیست‌محیطی و ایمنی فناوری است. اگر ابزارهایی که برای تولید اکتشافات علمی استفاده می‌شوند، نتوانند به طور مستقل تأیید شوند، سیاست‌ها و درمان‌های حاصل ممکن است بر اساس داده‌های ناقص، مغرضانه یا ساختگی بنا شوند.

منابع

پوشش منابع

7 منبع

3 دیدگاه شناسایی‌شده

مدافعان علم باز 45%محققان عمل‌گرا 30%توسعه‌دهندگان تجاری هوش مصنوعی 25%
  1. [1]BioScienceمدافعان علم باز

    Scientific black boxes

    مطالعه در BioScience
  2. [2]University of Exeterمدافعان علم باز

    Scientists increasingly depend on 'black-box' tools they cannot control or fully understand

    مطالعه در University of Exeter
  3. [3]Biology Centre CASمدافعان علم باز

    Scientists increasingly dependant on black-box tools they cannot control or fully understand

    مطالعه در Biology Centre CAS
  4. [4]WE NEWSمحققان عمل‌گرا

    Opaque AI and satellite tools are creating 'black boxes' that threaten confidence in science

    مطالعه در WE NEWS
  5. [5]Taylor & Francisمحققان عمل‌گرا

    Artificial intelligence and the reproducibility crisis

    مطالعه در Taylor & Francis
  6. [6]National Institutes of Healthمحققان عمل‌گرا

    The end result is a closed, self-referential science

    مطالعه در National Institutes of Health
  7. [7]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت تحلیل داده اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.