روش آنگوف تعدیل‌شده: چطور ارزیابی کارشناسی تست‌ها جایگزین نمره قبولی دلخواه در آزمون‌ها شد

نمره قبولی در آزمون‌های نظام مهندسی یا بورد پزشکی دقیقاً در همان لحظه‌ای رقم می‌خورد که یک کارشناس خبره به یک سؤال چهارگزینه‌ای نگاه می‌کند و باید تخمین بزند که یک داوطلب با حداقل صلاحیت لازم، چقدر احتمال دارد به آن پاسخ درست بدهد.

این برآورد جزءبه‌جزء و سؤال‌به‌سؤالِ احتمال، هسته اصلی روش «آنگوف تعدیل‌شده» (Modified Angoff) است؛ روشی استاندارد و حاکم بر صدور مدارک حرفه‌ای در سراسر جهان که سنت دلبخواهیِ تعیین کف قبولیِ ثابت روی ۷۰ درصد را کنار گذاشته است.

تعیین یک درصد ثابت فرض را بر این می‌گذارد که دشواری همه دفترچه‌های آزمون یکسان است، در حالی که متخصصان روان‌سنجی می‌دانند چنین فرضی از نظر آماری غیرممکن است. اگر در یک دوره آزمون دشوارتری طراحی شود، شرط قبولی ۷۰ درصدی داوطلبان شایسته را ناعادلانه مردود می‌کند.[1]

روش آنگوف با پیوند زدن مستقیم نمره قبولی به میزان سختی تک‌تک سؤالات، این چالش را حل می‌کند. اگر تیم کارشناسی تشخیص دهد که سؤالات بسیار پیچیده‌اند، حد نصاب قبولی به‌طور خودکار کاهش می‌یابد تا این دشواری جبران شود.

در کتابچه فنی هیئت ملی ممتحنان پزشکی آمریکا آمده است: «هدف، سنجش برتری نیست، بلکه ترسیم مرزی قابل دفاع میان عملکرد ایمن و غیرایمن است.» تمام این فرایند بر تعریف دقیق آن داوطلبِ دارای حداقل شایستگی متکی است.

تعریف دقیق داوطلب مرزی

پیش از آنکه اعضای هیئت کارشناسیِ ۱۰ تا ۱۵ نفره به سؤالات نگاه کنند، باید به برداشتی مشترک از «داوطلب مرزی» برسند؛ فردی که دقیقاً به اندازه حداقل لازم برای فعالیت حرفه‌ای بدون خطر دانش دارد، نه ذره‌ای بیشتر.[2]

این گروه ساعت‌ها صرف تدوین «توصیفگر سطح عملکرد» می‌کنند تا مبنایی برای قضاوت‌های خود بسازند. مثلاً در آزمون پرستاری، داوطلب مرزی ممکن است فردی تعریف شود که تداخل‌های دارویی رایج را تشخیص می‌دهد، اما در دوزهای نادر اطفال دچار مشکل می‌شود.[4]

پس از تثبیت تصویر داوطلب مرزی، متخصصان آزمون را سؤال به سؤال بررسی می‌کنند. برای هر تست، این پرسش مطرح می‌شود: از هر ۱۰۰ داوطلب مرزی، چند نفر به این سؤال خاص پاسخ درست می‌دهند؟

اگر سؤال مربوط به دستورالعمل‌های پایه ایمنی باشد، کارشناس ممکن است ضریب موفقیت ۸۵ درصدی را برآورد کند. اما اگر سؤال به یک حالت استثنایی و نادر اشاره داشته باشد، برآورد ممکن است تا ۳۵ درصد پایین بیاید.

این پیش‌بینی‌ها ابتدا به‌صورت کاملاً مستقل و پیش از هرگونه گفتگوی گروهی ثبت می‌شوند. کارشناسان ارزیابی‌های اولیه خود را با دیگران به اشتراک نمی‌گذارند تا اظهارات افراد باتجربه‌تر، فضا و داده‌ها را تحت تأثیر قرار ندهد.[4]

این تکلیف ذهنی مستقل برای داووران بسیار سنگین است. بررسی یک آزمون گواهینامه تخصصی استاندارد با ۱۵۰ سؤال نیازمند آن است که کارشناس تصویر فرضی داوطلب مرزی را در حافظه کاری خود نگه دارد و هم‌زمان ۱۵۰ مسئله فنی مجزا را تحلیل کند.[4]

ورود داده‌های آماری واقعی به معادله

روش اولیه که در سال ۱۹۷۱ میلادی توسط ویلیام آنگوف پیشنهاد شد، صرفاً به همین قضاوت‌های انفرادی کارشناسان بدون هیچ داده کمکی متکی بود. با این حال، انسان‌ها ذاتاً در تخمین درجه سختیِ مطلق بدون دسترسی به داده‌های بیرونی دچار خطا می‌شوند.[1]

متخصصان همواره با سوگیری «نفرین آگاهی» مواجه‌اند؛ یعنی چون پاسخ سؤال برای خودشان بدیهی است، سؤال را ساده‌تر از آنچه هست ارزیابی می‌کنند. اگر این سوگیری تعدیل نشود، نمرات قبولی کاذبی شکل می‌گیرد که منجر به رد شدن شمار زیادی از افراد شایسته می‌شود.[2]

روش آنگوف تعدیل‌شده برای رفع این نقیصه، پس از دور نخست ارزیابی، داده‌های آماری واقعی را به روند کار تزریق می‌کند. مدیر جلسه در این مرحله درصد واقعی داوطلبانی را که در مرحله پیش‌آزمون به هر سؤال پاسخ صحیح داده‌اند، اعلام می‌کند.[1]

اگر یک کارشناس پیش‌بینی کرده باشد که ۸۰ درصد داوطلبان مرزی به سؤالی پاسخ درست می‌دهند، اما داده‌ها نشان دهند تنها ۴۵ درصد از کل شرکت‌کنندگان توانسته‌اند آن را حل کنند، او ناچار می‌شود سوگیری ذهنی خود را اصلاح کند.[3]

نشریه سنجش تحصیلی گزارش می‌دهد که «ارائه داده‌های هنجاری، تمرین مفهومی کارشناسان را به واقعیت تجربی متصل می‌کند.» به این ترتیب در دور دوم، کارشناسان این امکان را دارند تا برآوردهایشان را با واقعیت عینی تطبیق دهند.[1]

در دور دوم، تمرکز گروه روی سؤالاتی است که پیش‌بینی‌ها درباره آنها اختلاف شدیدی دارد. اگر ارزیابی یک کارشناس ۹۰ درصد و دیگری ۲۰ درصد باشد، آنها باید در خصوص ادبیات سؤال و سطح پیچیدگی آن مباحثه کنند تا به یک اجماع نزدیک‌تر برسند.[2]

نحوه محاسبه نمره قبولی نهایی

پس از نهایی شدن امتیازات، تعیین نمره قبولی صرفاً با یک جمع ریاضی ساده انجام می‌شود. برای هر کارشناس، میانگین احتمالاتی که برای تک‌تک سؤالات ثبت کرده، نمره قبولی پیشنهادی او را می‌سازد.

به عنوان نمونه، در یک آزمون ۱۰۰ سؤالی، اگر میانگین احتمالات پیش‌بینی‌شده توسط یک کارشناس روی تمام سؤالات ۰.۶۲ باشد، حد نصاب پیشنهادی او برای آن فرم خاص از آزمون، ۶۲ از ۱۰۰ خواهد بود.

حد نصاب نهایی، میانگین نمرات پیشنهادی تمام اعضای پنل است. اگر میانگین نمرات پیشنهادی یک گروه ۱۲ نفره عدد ۶۴.۳ شود، نمره قبولی رسمی آزمون، ۶۴ تعیین خواهد شد.

این تجمیع محاسباتی اجازه نمی‌دهد سرنوشت داوطلب با یک سؤال خاص رقم بخورد. یک برآورد نامتعارف و نادرست روی یک سؤال، در میان ۱۴۹ سؤال دیگر و نظرات ۱۱ متخصص دیگر تعدیل می‌شود.[2]

از آنجا که نمره از جزء به کل و بر پایه دشواری سؤالات تدوین می‌شود، در یک دوره با سؤالات سخت‌تر، حد نصاب قبولی به‌طور خودکار پایین‌تر می‌آید. این موضوع اطمینان می‌دهد که شانس قبولی داوطلب به شانس او در دریافت فرم آسان یا سخت بستگی پیدا نمی‌کند.

اعتبار حقوقی و دفاع روان‌سنجی

آزمون‌های حساس و سرنوشت‌ساز همواره با اعتراض و شکایت‌های حقوقی داوطلبان مردود مواجه می‌شوند که مدعی غیرمنصفانه بودن یا سلیقه‌ای بودن کف نمرات هستند. روش آنگوف تعدیل‌شده یک روند مستند و مستدل در برابر این دعاوی ایجاد می‌کند.

چنانچه هیئت یک آزمون تخصصی به‌دلیل نمره مردودی به دادگاه فراخوانده شود، نمی‌تواند به قاعده سنتی ۷۰ درصد استناد کند. آنها باید توصیفگرهای سطح عملکرد، صلاحیت کارشناسان، و برگه‌های ارزیابی جزءبه‌جزء سؤالات را ارائه دهند.

استانداردهای انجمن پژوهش‌های آموزشی آمریکا صراحتاً الزام می‌کنند که نمرات قبولی باید متکی بر یک رویه سامان‌یافته و مبتنی بر شواهد باشند، نه سنجه‌های تاریخی. آسودگیِ اداری دیگر توجیه قانونی معتبری برای تعیین خط قبولی محسوب نمی‌شود.

اتکای این شیوه به چندین کارشناس مستقل، الزامات مربوط به عدالت رویه‌ای را برآورده می‌کند. مراجع قضایی همواره استانداردهای حاصل از روش آنگوف را تأیید کرده‌اند، زیرا پیوند منطقی روشنی میان محتوای آزمون و آستانه قبولی برقرار می‌کند.[3]

با این همه، روش آنگوف از انتقادات جامعه تخصصی سنجش مصون نمانده است. پاشنه آشیل اساسی آن، ماهیت ذهنی و انتزاعی «داوطلب مرزی» است؛ شخصیتی که فقط در تخیل ارزیابان وجود دارد.[4]

محدودیت‌های شهود کارشناسی

متخصصان روان‌سنجی از دیرباز یادآور شده‌اند که درخواست از کارشناسان برای تخمین احتمال رفتار یک فرد فرضی، یک فرایند شناختی غیرطبیعی است. ذهن انسان مقایسه‌های نسبی را بسیار دقیق‌تر از برآوردهای احتمالی مطلق انجام می‌دهد.[4]

پژوهش‌های منتشرشده در ژورنال پیشرفت‌ها در آموزش علوم سلامت نشان می‌دهد خستگی کارشناسان بسیار سریع رخ می‌دهد. از سؤال هشتادم به بعد، با سنگین شدن بار شناختی، میزان پایایی ارزیابی‌ها به شکلی چشمگیر افت می‌کند.[4]

برای مدیریت این مشکل، جلسات تعیین استاندارد نوین در چندین روز متوالی برگزار می‌شوند. مجریان جلسه همچنین با ابزارهای آماری، همگونی درونی ارزیابان را پایش می‌کنند تا کارشناسانی که با گذشت زمان دچار نوسان در ارزیابی می‌شوند، شناسایی شوند.[2]

علیرغم این ایرادات، روش آنگوف تعدیل‌شده همچنان استاندارد طلایی این صنعت است. دوام این روش به دلیل بی‌نقص بودن ریاضی آن نیست، بلکه به این خاطر است که کاربردی‌ترین سازوکار برای تبدیل قضاوت بالینی به یک عدد با پشتوانه حقوقی به شمار می‌رود.[3]

در نهایت، این روش یادآوری می‌کند که شایستگی حرفه‌ای در قالب یک درصد ثابت نمی‌گنجد؛ شایستگی خط‌کشی منعطف است که با هر تغییر در نیازهای پایه یک حرفه، باید مجدداً کالیبره شود.