چگونه «نظریه پاسخ به سؤال» (IRT) مهارت آزمون‌دهنده را از درجه سختی سؤال تفکیک می‌کند

وقتی روان‌سنج‌های «کالج بورد» (College Board) و «شورای ملی هیئت‌های ایالتی پرستاری» (NCSBN) دوره‌های بعدی آزمون‌های خود را طراحی می‌کنند، دیگر صرفاً تعداد پاسخ‌های درست دانش‌آموزان را نمی‌شمارند. در عوض، آن‌ها یک چارچوب ریاضیاتی را به کار می‌گیرند که درجه سختی دقیق هر سؤال در بانک سؤالاتشان را پیش از آنکه حتی یک نفر در جلسه امتحان بنشیند، کالیبره می‌کند. این قابلیت—یعنی تفکیک سختی ذاتی یک سؤال از توانایی فردی که به آن پاسخ می‌دهد—همان موتور محرک واقعی سیستم‌های آزمون دیجیتال امروزی است.

در بیشتر سال‌های قرن بیستم، آزمون‌های استاندارد بر پایه «نظریه کلاسیک آزمون» (CTT) استوار بودند. تحت مدل CTT، نمره آزمون صرفاً حاصل‌جمع پاسخ‌های صحیح است. اگر امتحانی ۱۰۰ سؤال داشته باشد و دانش‌آموزی به ۸۰ سؤال پاسخ درست بدهد، نمره او ۸۰ درصد خواهد بود. ریاضیات این روش جمع‌شونده، شفاف و کاملاً وابسته به فرم خاص همان آزمون است. اگر از قضا آزمون آن سال به‌طور استثنایی سخت باشد، نمره همه افت می‌کند، زیرا این چارچوب از نظر ریاضی نمی‌تواند سختی امتحان را از توانایی گروه شرکت‌کنندگان تفکیک کند.

«نظریه پاسخ به سؤال» (IRT) این مدل جمع‌شونده را کاملاً کنار می‌گذارد. به‌جای آنکه هر سؤال را به‌عنوان یک واحد قابل‌تعویض و دارای یک امتیاز در نظر بگیرد، IRT با هر سؤال مانند یک ابزار تشخیصی منحصربه‌فرد با امضای آماری خاص خود برخورد می‌کند. همان‌طور که در «کتابچه راهنمای نظریه مدرن پاسخ به سؤال» تعریف شده است، ویژگی محوری این چارچوب «تعیین یک تابع ریاضی است که احتمال پاسخ یک آزمون‌دهنده به یک سؤال را به یک توانایی پنهان مرتبط می‌کند.»[1]

در عمل، این بدان معناست که IRT یک ویژگی پنهان—که اغلب با حرف یونانی تتا (theta) نشان داده می‌شود—را مدل‌سازی می‌کند که نمایانگر مهارت واقعی آزمون‌دهنده است. این مدل، احتمال اینکه فردی با سطح تتای مشخص به یک سؤال خاص پاسخ درست بدهد را محاسبه می‌کند. وقتی مهارت یک فرد دقیقاً با سختی کالیبره‌شده یک سؤال تطابق داشته باشد، مدل پیش‌بینی می‌کند که احتمال پاسخ صحیح ۵۰ درصد است.

برای دستیابی به این هدف، روان‌سنج‌ها برای تعریف منحنی مشخصه یک سؤال به سه پارامتر خاص تکیه می‌کنند. اولین مورد «سختی» است. در یک مدل لجستیک تک‌پارامتری (1PL) که اغلب مدل راش (Rasch) نامیده می‌شود، سختی تنها متغیر مورد اندازه‌گیری است. این پارامتر، سؤال را روی همان مقیاس توانایی آزمون‌دهنده لنگر می‌کند و به الگوریتم اجازه می‌دهد تا دقیقاً مشخص کند که مانع پیش رو چقدر بلند است.[1]

پارامتر دوم «تمایز» است که اندازه‌گیری می‌کند یک سؤال با چه دقتی دانش‌آموزان با توانایی بالا را از دانش‌آموزان با توانایی پایین جدا می‌کند. سؤالی با قدرت تمایز بالا مانند یک صخره شیب‌دار عمل می‌کند: دانش‌آموزانی که توانایی‌شان زیر یک آستانه خاص است تقریباً همیشه به آن پاسخ اشتباه می‌دهند، در حالی که افراد بالاتر از آن آستانه تقریباً همیشه پاسخ درست می‌دهند. مدل لجستیک دوپارامتری (2PL) برای دقیق‌تر کردن این اندازه‌گیری، هم سختی و هم تمایز را ترکیب می‌کند.

پارامتر سوم، «حدس زدن» را در نظر می‌گیرد. در امتحانات چندگزینه‌ای مانند SAT، دانش‌آموزی که هیچ ایده‌ای درباره پاسخ ندارد، همچنان ۲۵ درصد شانس دارد که در یک سؤال چهارگزینه‌ای پاسخ درست را حدس بزند. مدل لجستیک سه‌پارامتری (3PL) احتمال پایه را تنظیم می‌کند تا این نویز آماری را در نظر بگیرد و اطمینان حاصل کند که یک حدس خوش‌شانس، برآورد سیستم از توانایی پنهان دانش‌آموز را به‌طور مصنوعی متورم نمی‌کند.

همین تفکیک ریاضیاتی سختی سؤال از توانایی دانش‌آموز است که امکان برگزاری «آزمون تطبیقی کامپیوتری» (CAT) را فراهم می‌کند. از آنجا که الگوریتم، پروفایل آماری دقیق هر سؤال در بانک را می‌داند، نیازی به ارائه یک لیست ثابت ۱۰۰ سؤالی ندارد. در عوض، می‌تواند یک سؤال با سختی متوسط ارائه دهد، پاسخ را ارزیابی کند و بلافاصله مسیر امتحان را تغییر دهد.

اگر دانش‌آموز پاسخ درستی بدهد، برآورد الگوریتم از توانایی او بالا می‌رود و سؤال سخت‌تری را ارائه می‌دهد. اگر پاسخ اشتباه باشد، این برآورد کاهش یافته و سؤال بعدی آسان‌تر خواهد بود. سازمان‌هایی مانند NWEA که ارزیابی‌های MAP Growth را برگزار می‌کنند، از این حلقه بازخورد پیوسته استفاده می‌کنند تا با کسری از سؤالات مورد نیاز در یک امتحان کاغذی سنتی، دقیقاً روی سطح توانایی دانش‌آموز متمرکز شوند.

کالج بورد در سال ۲۰۲۴ برای آزمون دیجیتال SAT به این مدل روی آورد. آزمون جدید از یک طراحی تطبیقی چندمرحله‌ای بهره می‌برد. دانش‌آموزان در ماژول اول با ۲۰ تا ۲۵ سؤال عملیاتی با درجه سختی ترکیبی روبرو می‌شوند. آن‌ها ۳۲ دقیقه برای ماژول خواندن و نوشتن و ۳۵ دقیقه برای ماژول ریاضی فرصت دارند. بر اساس عملکرد آن‌ها در این مرحله اول، الگوریتم آن‌ها را به ماژول دومی هدایت می‌کند که شامل سؤالاتی است که در مجموع سخت‌تر یا آسان‌تر هستند.

ادبیات بازاریابی پیرامون این عرضه‌ها اغلب وعده «اندازه‌گیری دقیق دانش و مهارت‌های دانش‌آموزان با سؤالات کمتر» را می‌دهد. اگرچه دستاوردهای مربوط به بهره‌وری واقعی هستند—آزمون دیجیتال SAT به‌طور قابل‌توجهی کوتاه‌تر از نسخه کاغذی قبلی خود است—اما مکانیک زیربنایی آن نیازمند یک جهش مفهومی برای آزمون‌دهندگان است. تحت مدل IRT، دو دانش‌آموز که دقیقاً به تعداد یکسانی از سؤالات پاسخ درست داده‌اند، می‌توانند نمرات نهایی متفاوتی در مقیاس ۴۰۰ تا ۱۶۰۰ دریافت کنند، صرفاً به این دلیل که یکی از آن‌ها به مجموعه سؤالات سخت‌تری پاسخ داده است.[2]

جامعه صدور مجوزهای پزشکی به اجرای حتی تهاجمی‌تری از این نظریه متکی است. شورای ملی هیئت‌های ایالتی پرستاری از یک مدل تطبیقی واقعی در سطح سؤال برای آزمون NCLEX استفاده می‌کند. این آزمون طول ثابتی ندارد. در عوض، الگوریتم پس از هر پاسخ، توانایی داوطلب را به‌طور پیوسته دوباره محاسبه می‌کند و به دنبال یک نتیجه‌گیری آماری قطعی می‌گردد.

آزمون NCLEX دقیقاً در لحظه‌ای متوقف می‌شود که الگوریتم از نظر آماری مطمئن شود—معمولاً در یک بازه اطمینان ۹۵ درصدی—که توانایی داوطلب قطعاً بالاتر یا قطعاً پایین‌تر از استاندارد قبولی است. یک داوطلب پرستاری بسیار توانمند ممکن است تنها با ۸۵ سؤال در امتحان قبول شود، در حالی که یک داوطلب مرزی ممکن است مجبور شود به حداکثر ۱۵۰ سؤال پاسخ دهد، زیرا الگوریتم برای تشخیص دقیق مهارت او در تقلا است.[2]

با وجود تسلط IRT در روان‌سنجی مدرن، این روش بدون منتقد هم نیست. این مدل‌ها نیازمند حجم نمونه‌های عظیمی هستند تا بتوانند پارامترهای سؤال را پیش از استفاده عملیاتی به‌دقت کالیبره کنند. یک «ارزش مطلوبیت» (facility value)—یعنی نسبت آزمون‌دهندگانی که به یک سؤال پاسخ درست می‌دهند—باید از طریق پیش‌آزمون‌های گسترده‌ای تثبیت شود. سازمان AQA Global خاطرنشان می‌کند که یک ارزش مطلوبیت «خوب» معمولاً بین ۰/۳ تا ۰/۸ قرار دارد؛ سؤالات خارج از این محدوده اطلاعات بسیار کمی ارائه می‌دهند که از نظر آماری مفید باشند.

علاوه بر این، IRT بر مفروضات سخت‌گیرانه‌ای استوار است که مهم‌ترین آن‌ها «تک‌بعدی بودن» است—این فرض که یک آزمون تنها یک ویژگی پنهان را اندازه‌گیری می‌کند. همان‌طور که جرج باکس (George Box)، آماردان معروف، در سال ۱۹۸۷ به‌درستی اشاره کرد: «اساساً همه مدل‌ها اشتباه هستند، اما برخی از آن‌ها مفیدند.» وقتی یک سؤال ریاضی برای رمزگشایی از یک مسئله متنی به درک مطلب پیچیده‌ای نیاز دارد، با آزمایش هم‌زمان دو ویژگی متمایز، فرض تک‌بعدی بودن را نقض کرده و خطا را وارد برآورد توانایی پنهان می‌کند.[1]

انتخاب بین نظریه کلاسیک آزمون و نظریه پاسخ به سؤال، یک بده‌بستان میان شفافیت و کارایی است. CTT نمره‌ای ارائه می‌دهد که هر کسی می‌تواند با یک مداد آن را محاسبه کند، اما این نمره را به فرم خاص همان آزمون محدود می‌کند. IRT برای محاسبه نمره نهایی به الگوریتم‌های مبهم و انحصاری نیاز دارد، اما اندازه‌گیری را از سؤالات خاص پرسیده‌شده رها می‌کند و اجازه می‌دهد نمرات در سال‌های مختلف، فرم‌های مختلف آزمون و جمعیت‌های مختلف قابل مقایسه باشند.[2]