ممیزی جدید: پژوهش‌های اثربخشی هوش مصنوعی در آموزش با نقص‌های روش‌شناختی جدی همراه‌اند

باور عمومی بر این است که هوش مصنوعی یادگیری دانش‌آموزان را به شکل چشمگیری بهبود می‌بخشد، اما یک ممیزی دقیق نشان می‌دهد که این ادعا بر پایه‌هایی لرزان استوار است. بررسی‌های جدید روی معتبرترین پژوهش‌های این حوزه، پرده از نقص‌های روش‌شناختی شدید، آمارهای غیرممکن و حتی ارجاعات ساختگی برداشته است.[1][2]

پاتریک اونیل، استاد کالج آیوی تک، اخیراً ۱۴ مورد از ۳۹ فراتحلیل منتشر شده درباره اثربخشی هوش مصنوعی در آموزش را مورد ممیزی قرار داد. یافته‌های او که در یک وبینار تخصصی در ۲۰ اکتبر ۲۰۲۶ مورد بحث قرار گرفت، الگویی نگران‌کننده از «علمِ بی‌ارزش» را در این مقالات نشان می‌دهد.[1][2]

جاستین ریچ، مدیر آزمایشگاه سیستم‌های تدریس در دانشگاه ام‌آی‌تی که میزبان این وبینار بود، با صراحت اعلام کرد که این شواهد به هیچ‌وجه قابل اعتماد نیستند. او هشدار داد که این فراتحلیل‌های مخدوش، در حال تولید یک اجماع کاذب درباره مزایای ابزارهای هوش مصنوعی در کلاس‌های درس هستند.[1][2]

این ۱۴ مقاله که در نشریات معتبری مانند اسپرینگر نیچر، وایلی و تیلور اند فرانسیس منتشر شده‌اند، تاکنون بیش از ۳۰۰۰ بار مورد ارجاع قرار گرفته‌اند. این حجم از ارجاعات، به اشتباه این تصور را در میان سیاست‌گذاران ایجاد کرده که اثربخشی هوش مصنوعی یک واقعیت علمی اثبات‌شده است.[1][2]

مشکل ورودی بی‌ارزش، خروجی بی‌ارزش

فراتحلیل‌ها معمولاً به عنوان استاندارد طلایی شواهد علمی شناخته می‌شوند، زیرا نتایج ده‌ها مطالعه را برای یافتن یک اثر واقعی ترکیب می‌کنند. اما مشکل اینجاست که اگر مطالعات اولیه کیفیت پایینی داشته باشند، نتیجه نهایی نیز بی‌اعتبار خواهد بود؛ پدیده‌ای که به آن «ورودی بی‌ارزش، خروجی بی‌ارزش» می‌گویند.[3][4]

اونیل در بررسی‌های خود متوجه شد که بسیاری از این فراتحلیل‌ها، داده‌ها را به اشتباه استخراج کرده‌اند و اندازه‌های اثر وابسته را به عنوان متغیرهای مستقل در نظر گرفته‌اند. در برخی موارد، نتایج مطالعات اولیه با ادعاهای مطرح شده در فراتحلیل هیچ همخوانی منطقی و علمی نداشت.[1][7]

یکی دیگر از خطاهای بزرگ این پژوهش‌ها، ترکیب کردن ابزارهای کاملاً متفاوت تحت یک عنوان واحد است. قرار دادن سیستم‌های تدریس هوشمند، پلتفرم‌های یادگیری تطبیقی و هوش مصنوعی مولد در یک دسته، مانند این است که دوچرخه و هواپیما را صرفاً به دلیل نقلیه بودن با هم مقایسه کنیم.[3][7]

عمق این فاجعه علمی زمانی آشکارتر شد که در ماه مه ۲۰۲۶، یک فراتحلیل بسیار پرارجاع از یکی از نشریات زیرمجموعه نیچر بازپس‌گیری شد. این مقاله ادعا می‌کرد که چت‌جی‌پی‌تی تاثیر مثبت و بزرگی بر عملکرد یادگیری و تفکر انتقادی دانشجویان دارد.[4][5]

این مقاله پیش از بازپس‌گیری، نزدیک به نیم میلیون بازدید داشت و بیش از ۵۰۰ بار در مقالات دیگر به آن ارجاع داده شده بود. ناشر در نهایت اعلام کرد که به دلیل تناقضات جدی در فراتحلیل، دیگر نمی‌تواند صحت نتایج و تحلیل‌های این پژوهش را تایید کند.[4][5]

تفاوت عملکرد با یادگیری واقعی

فراتر از خطاهای آماری، یک مشکل پداگوژیک عمیق نیز در این پژوهش‌ها وجود دارد و آن اشتباه گرفتن عملکردِ تقویت‌شده با هوش مصنوعی با یادگیریِ پایدار است. یک دانش‌آموز ممکن است با کمک هوش مصنوعی مقاله بهتری بنویسد، اما این لزوماً به معنای کسب مهارت‌های جدید نیست.[7]

گزارش‌های اخیر نشان می‌دهند که وقتی هوش مصنوعی وظیفه پردازش اطلاعات و حل مسئله را به جای دانش‌آموز انجام می‌دهد، فرصت‌های توسعه مهارت‌های فراشناختی به شدت کاهش می‌یابد. در واقع، این ابزارها به جای اینکه تفکر را گسترش دهند، به طور کامل جایگزین آن می‌شوند.[7]

مطالعات دقیق‌تر نشان داده‌اند که اگرچه دسترسی به ابزارهای هوش مصنوعی در حین انجام تکالیف باعث بهبود نمرات می‌شود، اما با حذف این ابزارها در زمان امتحانات، عملکرد دانش‌آموزان اغلب افت کرده یا بدون تغییر باقی می‌ماند. این مسئله نشان‌دهنده وابستگی به ابزار به جای یادگیری عمیق است.[7]

همچنین، استفاده از چت‌بات‌های عمومی بدون راهنمایی مشخص، می‌تواند به کاهش استدلال تحلیلی و تفکر انتقادی منجر شود. دانش‌آموزانی که به طور مداوم پاسخ‌های تولید شده توسط هوش مصنوعی را بدون پرسشگری می‌پذیرند، درک سطحی‌تری از مفاهیم پیچیده پیدا می‌کنند و در مواجهه با چالش‌های جدید ناتوان می‌مانند.[7]

پیامدهای تجاری و سیاست‌گذاری

با وجود این شواهد متزلزل، دانشگاه‌ها و مدارس در حال اتخاذ تصمیمات مالی و تدارکاتی عظیمی هستند. به عنوان مثال، شرکت اوپن‌ای‌آی تاکنون حداقل ۷۰۰ هزار لایسنس به موسسات آموزش عالی فروخته است و شرکت‌های دیگر نیز قراردادهای مشابهی برای ورود به کلاس‌های درس منعقد کرده‌اند.[6]

منتقدان هشدار می‌دهند که این خریدهای شتاب‌زده می‌تواند منجر به وابستگی سازمانی شود. ریختن یک فونداسیون دائمی برای فناوری‌هایی که هنوز اثربخشی آن‌ها ثابت نشده است، موسسات آموزشی را در مسیرهایی قرار می‌دهد که بازگشت از آن‌ها در آینده بسیار دشوار و پرهزینه خواهد بود.[6]

مدیران آموزشی تحت فشار شدیدی برای همگام شدن با ترندهای فناوری هستند و اغلب به تیترهای جذاب همین پژوهش‌های مخدوش استناد می‌کنند. در غیاب یک نهاد نظارتی متمرکز برای ارزیابی ادعاهای آموزشی، این شواهد ضعیف پیش از اصلاح شدن، سیاست‌های کلان آموزشی را شکل می‌دهند.[6][7]

بخشی از این مشکل به سرعت سرسام‌آور توسعه هوش مصنوعی برمی‌گردد. مدل‌های زبانی هر چند ماه یک‌بار به‌روزرسانی می‌شوند، در حالی که انجام کارآزمایی‌های تصادفی کنترل‌شده که استاندارد طلایی پژوهش هستند، به سال‌ها زمان نیاز دارد و نمی‌تواند با این سرعت همگام شود.[6]

پژوهشگران پیشنهاد می‌کنند که به جای تکیه بر ادعاهای کلی و فراتحلیل‌های مخدوش، حوزه آموزش باید به سمت آزمایش‌های سریع‌تر و ارزیابی‌های مستمر حرکت کند. طراحی و روش‌شناسی پژوهش باید با سرعت تغییرات فناوری متناسب باشد تا بتواند نتایج قابل اتکایی ارائه دهد.[6][7]

در نهایت، مخدوش بودن این پژوهش‌ها به معنای بی‌فایده بودن هوش مصنوعی نیست، بلکه نشان می‌دهد که شواهد فعلی برای توجیه پذیرش گسترده آن کافی نیستند. مربیان و سیاست‌گذاران باید با دیدی انتقادی به این ابزارها نگاه کنند و یادگیری واقعی دانش‌آموزان را در اولویت قرار دهند.[1][7]