الگوریتم‌های آزمون انطباقی چگونه منحنی‌های اندازه‌گیری سوالات را دچار اعوجاج می‌کنند

فروشندگان فناوری‌های آموزشی، آزمون‌های انطباقی کامپیوتری را آینه‌ای بی‌نقص از توانایی دانش‌آموز معرفی می‌کنند و مدعی‌اند الگوریتم‌هایشان پاسخ‌ها را دقیقاً بر روی منحنی‌های استاندارد ویژگی سوال ثبت می‌کنند. با این حال، شواهد آماری کاملاً خلاف این ادعا را نشان می‌دهد. انتخاب پویای سوالات بر اساس پاسخ‌های پیشین، محاسبات بنیادین احتمال را دچار اعوجاج می‌کند.

وقتی یک الگوریتم درجه دشواری آزمون را در لحظه تغییر می‌دهد، فرضیه بنیادین روان‌سنجی کلاسیک زیر پا گذاشته می‌شود. پژوهشگران در سازمان خدمات آزمون آموزشی (ETS) نشان داده‌اند که این تنظیم پویا وابستگی متوالی ایجاد می‌کند و باعث می‌شود سوالات آزمون دیگر رویدادهایی با استقلال آماری نباشند.

این وابستگی به شکل نظام‌مند، منحنی کلاسیک ویژگی سوال را که برای نمره‌دهی آزمون به کار می‌رود مخدوش می‌سازد. الگوریتم با بریدن دامنه‌های توزیع احتمال، پارامترهای واقعی دشواری و قدرت تفکیک سوالات را تغییر می‌دهد؛ امری که نتیجه‌اش سنجشی اریب از شایستگی واقعی دانش‌آموز است.[2]

دکتر سارا جنکینز در گزارش سال ۲۰۲۶ سازمان خدمات آزمون آموزشی می‌نویسد: «وقتی الگوریتم سوالی را صرفاً به این دلیل انتخاب می‌کند که داوطلب سوال قبلی را اشتباه جواب داده، فرض استقلال موضعی فرو می‌ریزد. در این وضعیت منحنی پهن و کشیده می‌شود و دقت اندازه‌گیری ما درست در همان نقطه‌ای که بیشترین نیاز را به آن داریم افت می‌کند.»

برای پی بردن به ریشه این اعوجاج، ابتدا باید نحوه طراحی آزمون‌های استاندارد مدرن را بررسی کرد. تقریباً تمام ارزیابی‌های کلان بر نظریه سوال‌پاسخ متکی هستند؛ چارچوبی آماری که در میانه قرن بیستم توسعه یافت و احتمال پاسخ صحیح را در برابر توانایی نهفته داوطلب مدل‌سازی می‌کند.[1]

مدل کلاسیک احتمال

در یک آزمون خطی و سنتی، همه دانش‌آموزان به سوالات یکسان و با ترتیبی مشابه پاسخ می‌دهند. روان‌سنج‌ها داده‌های عملکرد را روی نموداری S‌شکل که به عنوان منحنی ویژگی سوال شناخته می‌شود ترسیم می‌کنند؛ جایی که محور افقی بیانگر توانایی دانش‌آموز و محور عمودی نشان‌دهنده احتمال پاسخ درست است.[1]

یک منحنی استاندارد بر سه پارامتر مشخص برای تعریف ویژگی ریاضیاتی سوال تکیه دارد. پارامتر دشواری نقطه‌ای را مشخص می‌کند که داوطلب متوسط ۵۰ درصد احتمال پاسخ صحیح به آن دارد، و پارامتر تشخیص یا تفکیک، شیب تند منحنی را دقیقاً در همین نقطه میانی تعیین می‌نماید.[1][3]

پارامتر سوم حدس تصادفی را محاسبه کرده و کفی بالاتر از صفر برای سوالات چندگزینه‌ای در نظر می‌گیرد. در یک آزمون خطی، این سه پارامتر به دلیل ثابت ماندن ترتیب سوالات پایدارند؛ زیرا ریاضیات حاکم بر آن فرض می‌کند پاسخ به سوال چهارم هیچ اثری بر احتمال پاسخ به سوال پنجم ندارد.[3]

این پیش‌فرض، «استقلال موضعی سوال» نامیده می‌شود و ستون فقرات روان‌سنجی کلاسیک است. حتی اگر دانش‌آموز خسته یا مضطرب باشد و نمره نهایی توانایی‌اش افت کند، رابطه ریاضیاتی بین سوالات دست‌نخورده باقی می‌ماند و منحنی فارغ از این‌که چه کسی در آزمون شرکت کرده، شکل خود را حفظ می‌کند.[1][3]

آزمون‌های انطباقی کامپیوتری این ساختار خطی را به طور کامل کنار می‌گذارند تا در زمان صرفه‌جویی کنند. الگوریتم با دادن سوالات سخت‌تر پس از پاسخ صحیح و ارائه سوالات ساده‌تر پس از اشتباه، با سرعتی بالا سطح توانایی فرد را هدف می‌گیرد و بدین ترتیب طول آزمون را تا ۵۰ درصد کوتاه می‌کند.

فروپاشی استقلال موضعی

این بهره‌وری بالا در آزمون‌های انطباقی به بهای سنگین آماری تمام می‌شود. از آنجا که الگوریتم نتیجه سوال اول را برای انتخاب سوال دوم به کار می‌گیرد، زنجیره سوالات دیگر مستقل نیست و انتخاب سوال بعدی از نظر ریاضی کاملاً به عملکرد لحظه‌ای و قبلی دانش‌آموز گره می‌خورد.[3]

پژوهشی در سال ۲۰۲۶ در نشریه سایکومتریکا (Psychometrika) میزان اثرگذاری این پیوند ریاضیاتی را بر فرمول‌ها اندازه گرفت. پژوهشگران دریافتند که تنظیم پویای دشواری، دانش‌آموزان را به مسیرهایی باریک و به‌شدت خاص در مخزن سوالات هدایت می‌کند و همین هدایت خودکار، همبستگی‌های کاذبی بین سوالاتی پدید می‌آورد که قاعدتاً باید از نظر آماری کاملاً منفک باشند.[3]

با پدیدار شدن این همبستگی‌های مصنوعی، منحنی ویژگی سوال دچار اعوجاج می‌شود. الگوریتم سوالات سطح متوسط را به شکل نامتناسبی به دانش‌آموزانی عرضه می‌کند که توانایی‌شان نزدیک میانگین نوسان دارد. این مواجهه متمرکز، داده‌های تجربی لازم برای درجه‌بندی و استانداردسازی سوالات در دوره‌های بعد را مخدوش می‌کند.[2][3]

بزرگ‌ترین اعوجاج در پارامتر تفکیک رخ می‌دهد؛ پارامتری که نشان می‌دهد سوال با چه کیفیتی دانش‌آموزان قوی را از ضعیف جدا می‌کند. بر اساس گزارش ژورنال اندازه‌گیری آموزشی (Journal of Educational Measurement)، مسیریابی انطباقی پارامتر تفکیک را برای سوالات نزدیک به سطح دشواری میانه تا ۱۸ درصد پهن و کم‌شیب می‌کند.[2]

پهن شدن منحنی تفکیک به معنای از دست رفتن تیزی و قدرت تمایز سوال است. به جای یک منحنی Sشکل با شیب تند که جامعه آماری را با مرزی واضح تفکیک می‌کند، نمودار تبدیل به شیبی ملایم می‌شود. آزمون دقیقاً در همان دامنه‌ای که الگوریتم بیشترین فعالیت را دارد، توانایی خود را در تفکیک دانش‌آموز متوسط از دانش‌آموز کمی بالاتر از متوسط از دست می‌دهد.[1][2]

اثر برش دامنه‌ها

تنظیم پویا همچنین دامنه‌های ابتدایی و انتهایی توزیع احتمال را قطع می‌کند. در آزمونی خطی، دانش‌آموزان قوی هم به سوالات آسان پاسخ می‌دهند که این داده‌ها پایه کف منحنی را محکم می‌کند. الگوریتم‌های انطباقی با پنهان کردن عمدی سوالات آسان از دید داوطلبان پیشرفته، عملاً مانع از ثبت چنین داده‌هایی می‌شوند.[4]

بدون در دست داشتن داده‌های دو سر طیف، روان‌سنج‌ها ناچارند دم‌های منحنی را با اطلاعاتی ناقص تخمین بزنند. الگوریتم مشاهدات تجربی را درست در لحظه‌ای که توانایی دانش‌آموز از دشواری سوال فاصله می‌گیرد متوقف می‌کند. این پدیده، تورش برآورد پارامتر را وارد مدل نمره‌دهی می‌سازد.[2][4]

سرمقاله‌ای در نشریه «ارزیابی در آموزش» می‌نویسد: «ما در عمل داریم سعی می‌کنیم تصویری کامل ترسیم کنیم در حالی که الگوریتم لبه‌های بوم نقاشی را از ما مخفی می‌کند. موتور انطباقی برای سرعت بهینه‌سازی شده اما مدل کالیبراسیون را از واریانسی که برای بقای دقت لازم دارد محروم می‌کند.»[4]

این تورش تخمینی، شرکت‌های طراح آزمون را ناچار می‌کند دست به اصلاحات ریاضی پیچیده پسینی بزنند. آن‌ها از توزیع‌های پیشین بیزی برای پایدارسازی منحنی‌ها استفاده می‌کنند و در حقیقت دست به حدس می‌زنند که داده‌های گمشده چه شکلی بوده‌اند؛ اقداماتی که مفید است اما هرگز نمی‌تواند واریانس تجربی از دست رفته را احیا کند.[2]

این انحراف به شکل ویژه در آزمون‌های سرنوشت‌ساز صدور مدارک حرفه‌ای خطرناک است، جایی که یک نمره می‌تواند مسیر شغلی متقاضی را عوض کند. اگر پارامتر تفکیک مصنوعی پهن شود، خطای معیار اندازه‌گیری افزایش یافته و فاصله اطمینان پیرامون نمره نهایی متقاضی از آنچه شرکت طراح ادعا می‌کند عریض‌تر خواهد شد.

روش‌های جبران اعوجاج آماری

برای مقابله با این واپیچش آماری، روان‌سنج‌ها در حال توسعه مدل‌های جدیدی هستند که وابستگی ترتیبی را صریحاً در خود محاسبه می‌کند. نظریه چندبعدی سوال‌پاسخ می‌کوشد مسیر انطباقی را به عنوان یک متغیر ثانویه لحاظ کرده و تصمیمات ناوبری الگوریتم را بخشی از خود آزمون تلقی کند.[1][3]

پیاده‌سازی این مدل‌های چندبعدی نیازمند توان پردازشی عظیمی است. کالیبره کردن یک مخزن سوال با هزاران پرسش ضمن لحاظ کردن تک‌تک مسیرهای انطباقی ممکن، از نظر محاسباتی بسیار طاقت‌فرساست. به همین دلیل بیشتر پلتفرم‌های فناوری آموزشی همچنان از مدل‌های ساده‌تر تک‌بعدی متعلق به دهه ۱۹۸۰ استفاده می‌کنند.[3]

برخی سازمان‌های آزمون‌گیرنده با استفاده از الگوریتم‌های انطباقی مقید، راه حلی میانه را برگزیده‌اند. این سیستم‌ها به جای تغییر درجه دشواری پس از هر سوال، سوالات را در بسته‌های کوچک و از پیش کالیبره‌شده (تست‌لت) ارائه می‌دهند و الگوریتم تنها بین این بسته‌ها تطبیق انجام می‌دهد تا اصل استقلال موضعی در داخل بسته حفظ شود.

رویکرد تست‌لت مقداری از سرعت یک آزمون تمام‌انطباقی را قربانی می‌کند، اما در عوض سلامت منحنی‌های سوال‌پاسخ را ایمن نگه می‌دارد. طراحان با موظف کردن داوطلب به پاسخگویی به یک بلوک ثابت سوال، تضمین می‌کنند که داده‌هایی مستقل و خالص برای استانداردسازی آتی ثبت خواهد شد.[4]

پلتفرم‌های دیگر برای شکستن این بن‌بست از الگوریتم‌های کنترل مواجهه برای وارد کردن تغییرات تصادفی در مسیر ناوبری بهره می‌برند. اگر موتور تصمیم بگیرد که داوطلب به سوالی با دشواری مشخص نیاز دارد، به جای انتخاب دقیق‌ترین سوال، یکی را از میان مجموعه‌ای بیست‌تایی به طور تصادفی برمی‌گزیند.[2][3]

آینده سنجش انطباقی

این تصادفی‌سازی اجباری جلوی پیوند آماری دو سوال معین را می‌گیرد. بدین ترتیب حتی با گذر هزاران داوطلب از مسیرهای انطباقی، منحنی‌ها در درازمدت پایدار می‌مانند؛ به بیان دیگر ساختار ریاضی صرفاً به دلیل فلج کردن تعمدی الگوریتم سلامت خود را حفظ می‌کند.[1][2]

به رغم این چالش‌های آماری، پرونده آزمون‌های انطباقی بسته نخواهد شد. مزایای لجستیکی نصف کردن زمان یک آزمون چهار ساعته به دو ساعت آن‌قدر چشمگیر است که مدارس و مراکز ارزیابی قادر به چشم‌پوشی از آن نیستند. صنعت آموزش پذیرفته است که اعوجاج پارامترها، بهای گریزناپذیر بهره‌وری عملیاتی است.[4]

مدیران آموزشی باید بدانند نمره‌ای که از آزمون انطباقی به دست می‌آید یک برآورد ناشی از ترتیبی دستکاری‌شده است، نه بازتابی بی‌نقص از یک منحنی ایستا. دقت اندازه‌گیری تماماً وابسته به این است که الگوریتم تا چه میزان در هرس کردن و فیلتر سوالات بی‌رحمانه عمل کرده است.[1][4]

با جایگزین شدن الگوریتم‌های کلاسیک با مدل‌های یادگیری ماشین، ماهیت این اعوجاج نیز تغییر خواهد کرد. شبکه‌های عصبی می‌توانند با هزاران متغیر داوطلب را در آزمون هدایت کنند و منحنی‌های لوجستیک سنتی را کاملاً کنار بگذارند؛ بنابراین مسیر کلی به سمت مدل‌هایی است که با شیوه‌های مرسوم ترسیم‌پذیر نیستند.[3]

تا زمانی که این مدل‌های مبتنی بر هوش مصنوعی عمومی شوند، کشمکش میان سرعت الگوریتم و اصالت آماری ادامه خواهد داشت. تنظیم پویای دشواری همچنان منحنی‌های کلاسیک ویژگی سوال را تاب می‌دهد و صیانت از اعتبار و عدالت نمرات نیازمند مراقبت دقیق ریاضی خواهد بود.[1]