پیش‌بینی تسلط دانش‌آموز: ردیابی دانش بیزی و نظریه پاسخ به آیتم چگونه یادگیری تطبیقی را هدایت می‌کنند

هنگامی که مدیران برنامه درسی مناطق آموزشی و مدیران فناوری اطلاعات دانشگاه‌ها، پلتفرم‌های یادگیری تطبیقی را در طول چرخه‌های سالانه خرید نرم‌افزار خود ارزیابی می‌کنند، در نهایت در حال خرید یک الگوریتم هستند. آنها تصمیم می‌گیرند که کدام مدل ریاضی بر تمرینات روزانه دانش‌آموزانشان حاکم باشد—اینکه آیا یک سیستم دانش‌آموز را پس از سه پاسخ صحیح به مرحله بعد می‌برد یا برای ترمیم نگه می‌دارد.

این انتخاب به نحوه محاسبه حافظه و تسلط انسان توسط نرم‌افزار بستگی دارد، تقسیمی که در حال حاضر تحت سلطه دو چارچوب آماری رقیب است: ردیابی دانش بیزی (BKT) و نظریه پاسخ به آیتم (IRT).

سیستم‌های تدریس هوشمند (ITS) جدید نیستند، اما اثربخشی آنها کاملاً به ریاضیات زیربنایی بستگی دارد. یک فراتحلیل در سال ۲۰۱۶ که در نشریه «بررسی تحقیقات آموزشی» منتشر شد، ۵۰ ارزیابی کنترل‌شده از این سیستم‌ها را بررسی کرد. محققان دریافتند که به طور متوسط، تدریس هوشمند نمرات آزمون را به میزان ۰.۶۶ انحراف معیار نسبت به آموزش سنتی کلاس درس افزایش داده است.

نویسندگان نتیجه گرفتند: «تأثیر میانه تدریس هوشمند در ۵۰ ارزیابی، افزایش نمرات آزمون به میزان ۰.۶۶ انحراف معیار نسبت به سطوح سنتی، یا از صدک ۵۰ام به صدک ۷۵ام بوده است.» اما اینکه سیستم چگونه تصمیم می‌گیرد دانش‌آموز به آن صدک ۷۵ام رسیده است، تعیین می‌کند که چقدر کارآمد به آنجا می‌رسد.[1]

نظریه پاسخ به آیتم (IRT) در ابتدا توسط روان‌سنجان برای آزمون‌های استاندارد شده مانند SAT و GRE توسعه یافت. این نظریه احتمال پاسخ صحیح را بر اساس دو عامل اصلی مدل‌سازی می‌کند: توانایی پنهان دانش‌آموز و دشواری ذاتی آیتم.

همچنین شامل یک پارامتر حدس زدن و یک پارامتر تمایز آیتم است که اندازه‌گیری می‌کند یک سؤال چقدر خوب می‌تواند دانش‌آموزان با توانایی بالا را از دانش‌آموزان با توانایی پایین جدا کند. IRT در قرار دادن دانش‌آموزان در یک مقیاس پیوسته از مهارت عالی است، اما فرض می‌کند که توانایی زیربنایی دانش‌آموز در طول ارزیابی ثابت است.[3]

ردیابی دانش بیزی، که در دهه ۱۹۹۰ برای نرم‌افزار «مدرس شناختی» (Cognitive Tutor) توسعه یافت، رویکردی اساساً متفاوت دارد. این مدل، یادگیری را به جای یک اندازه‌گیری ثابت، به عنوان یک فرآیند پویا و مستمر مدل‌سازی می‌کند. BKT فرض می‌کند که دانش‌آموز در یکی از دو حالت مشاهده‌نشده قرار دارد: یا مهارت مورد نظر را می‌داند یا نمی‌داند. این مدل از یک مدل مارکوف پنهان برای به‌روزرسانی احتمال تسلط پس از هر تعاملی که دانش‌آموز با نرم‌افزار دارد، استفاده می‌کند.[3]

ریاضیات BKT بر چهار احتمال صریح تکیه دارد. اول، احتمال اینکه دانش‌آموز قبل از شروع، مهارت را می‌دانسته است. دوم، احتمال اینکه پس از یک فرصت تمرین، آن را یاد بگیرد. سوم، احتمال اینکه بدون دانستن واقعی مهارت، به درستی حدس بزند. و در نهایت، احتمال اینکه لغزش کند—یعنی با وجود داشتن دانش، پاسخ را اشتباه بدهد.[3]

گنجاندن پارامتر لغزش چیزی است که BKT را اساساً از IRT استاندارد متمایز می‌کند. اگر دانش‌آموزی با احتمال تسلط بالا ناگهان یک سؤال آسان جبر را از دست بدهد، BKT می‌تواند از نظر ریاضی شکست را به یک خطای مکانیکی بی‌دقت نسبت دهد تا یک افت ناگهانی در دانش واقعی. در مقابل، IRT به سادگی نمره توانایی پنهان دانش‌آموز را کاهش می‌دهد. این امر BKT را ذاتاً برای کارهای رویه‌ای که در آنها اشتباهات تایپی رایج است، بخشنده‌تر می‌کند.[3][4]

در حالی که BKT و IRT بر موضوعات رویه‌ای مانند ریاضیات تسلط دارند، وظایف حافظه اظهاری—مانند یادگیری یک زبان جدید—به الگوریتم‌های متفاوتی نیاز دارند. برای کسب واژگان، سیستم‌ها به تکرار فاصله‌دار متکی هستند. در سال ۲۰۱۶، محققان در دولینگو (Duolingo) «رگرسیون نیمه‌عمر» (HLR) را برای بهینه‌سازی برنامه‌های مرور پلتفرم خود توسعه دادند. HLR با تجزیه و تحلیل ۱۳ میلیون رد یادگیری دانش‌آموز، نظریه روان‌زبان‌شناختی «منحنی فراموشی» را با یادگیری ماشین ترکیب کرد.[2]

محققان دولینگو در مقاله سال ۲۰۱۶ خود که توسط انجمن زبان‌شناسی محاسباتی منتشر شد، نوشتند: «این مدل، نظریه روان‌زبان‌شناختی را با تکنیک‌های مدرن یادگیری ماشین پیوند می‌دهد و به طور غیرمستقیم «نیمه‌عمر» کلمات و مفاهیم را در حافظه بلندمدت دانش‌آموز تخمین می‌زند.» پیاده‌سازی HLR به نرم‌افزار اجازه داد تا دقیقاً پیش‌بینی کند که دانش‌آموز چه زمانی در شرف فراموش کردن یک کلمه است و یک مرور را درست به موقع برنامه‌ریزی کند. این تغییر الگوریتمی تعامل روزانه دانش‌آموزان دولینگو را ۱۲ درصد افزایش داد.[2]

در سال‌های اخیر، صنعت فناوری آموزشی (EdTech) شروع به حرکت به سمت شبکه‌های عصبی کرده است. ردیابی دانش عمیق (DKT) از شبکه‌های حافظه کوتاه‌مدت بلندمدت (LSTM) برای پیش‌بینی عملکرد دانش‌آموز بدون تعریف دستی پارامترهایی مانند لغزش یا حدس زدن استفاده می‌کند. مقاله‌ای در سال ۲۰۲۰ که در arXiv منتشر شد، نشان داد که ترکیب BKT با شبکه‌های عصبی (BKT-LSTM) عملکرد بهتری نسبت به مدل‌های سنتی دارد.

نویسنده خاطرنشان کرد: «ردیابی دانش بیزی (BKT) مدلی برای ثبت سطح تسلط هر مهارت با پارامترهای معنادار روان‌شناختی است و به طور گسترده در سیستم‌های تدریس موفق استفاده می‌شود.» او توضیح داد که مدل ترکیبی، انتقال یادگیری بین مهارت‌های مختلف را ثبت می‌کند—چیزی که BKT اصلی در انجام آن مشکل داشت.[3]

الگوریتمی که یک منطقه آموزشی انتخاب می‌کند، در نهایت تجربه دانش‌آموز را تعیین می‌کند. سیستمی که IRT خالص را اجرا می‌کند، مانند یک آزمون پیوسته عمل می‌کند و دائماً توانایی را اندازه‌گیری و رتبه‌بندی می‌کند. سیستمی که BKT را اجرا می‌کند، مانند یک معلم خصوصی صبور انسانی عمل می‌کند، که صراحتاً لحظه یادگیری را مدل‌سازی کرده و لغزش‌های گاه به گاه را می‌بخشد. با تبدیل شدن شبکه‌های عصبی به استاندارد تجاری، چالش برای مربیان حفظ قابلیت تفسیر روان‌شناختی مدل‌های قدیمی‌تر در عین مهار قدرت پیش‌بینی خام مدل‌های جدید خواهد بود.[4]