معیارهای پیچیدگی و پراکندگی: ابزارهای تشخیص هوش مصنوعی چگونه نوشته‌های دانشجویان را دسته‌بندی می‌کنند

در ژوئیه ۲۰۲۳، شرکت OpenAI ابزار طبقه‌بندی متن هوش مصنوعی خود را بی‌سروصدا از دسترس خارج کرد و دلیل آن را دقت پایین ۲۶ درصدی در شناسایی متون تولیدشده توسط هوش مصنوعی اعلام کرد. پس از این شکست اولیه، بازار فناوری آموزشی مملو از ابزارهای تشخیص شخص ثالث مانند Turnitin، GPTZero و Winston AI شد که همگی وعده حل مشکل متون تولیدی برای مدارس را می‌دادند.

برای اساتیدی که در حال تصمیم‌گیری برای جریمه کردن یک دانشجو هستند، نکته کاربردی و صریح این است: هیچ نرم‌افزار فعلی نمی‌تواند به‌طور قطعی ثابت کند که یک متن توسط هوش مصنوعی تولید شده است. در عوض، این ابزارها دو ویژگی آماری خاص متن یعنی پیچیدگی و پراکندگی را اندازه‌گیری می‌کنند و نوشته‌هایی را که پایین‌تر از یک آستانه ریاضی قرار می‌گیرند، علامت‌گذاری می‌کنند.[1]

معیار اول، یعنی پیچیدگی، میزان قابل‌پیش‌بینی بودن یک توالی از کلمات را برای یک مدل زبانی می‌سنجد. مدل‌های زبانی بزرگ با پیش‌بینی محتمل‌ترین کلمه بعدی در یک جمله از نظر آماری کار می‌کنند. اگر دانشجویی مقاله‌ای ارائه دهد که انتخاب کلمات آن دقیقاً با آنچه خود مدل پیش‌بینی می‌کند همخوانی داشته باشد، متن دارای پیچیدگی پایینی است.

در مقابل، نویسندگان انسانی غالباً کلمات غیرقابل‌پیش‌بینی انتخاب می‌کنند، از استعاره‌های ترکیبی استفاده می‌کنند یا جملات را به روش‌هایی می‌سازند که ماشین انتظار آن را ندارد، که این امر منجر به پیچیدگی بالا می‌شود. ابزارهای تشخیص، سند را اسکن کرده و یک امتیاز پیچیدگی به آن اختصاص می‌دهند؛ امتیاز پایین‌تر به‌شدت نشان‌دهنده تولید ماشینی است.[1][4]

معیار دوم، یعنی پراکندگی، تنوع در طول و ساختار جملات را در سراسر یک سند ارزیابی می‌کند. نوشته‌های انسانی ذاتاً دارای پراکندگی هستند. یک شخص ممکن است یک جمله طولانی و پیچیده با چندین بند بنویسد و بلافاصله پس از آن یک جمله کوتاه بیاورد. او ممکن است کلمات کلیدی خاصی را در یک پاراگراف متمرکز کند و در پاراگراف بعدی آن‌ها را نادیده بگیرد.

مدل‌های هوش مصنوعی تمایل دارند متنی با طول جملات بسیار یکنواخت و ریتم‌های ساختاری ثابت تولید کنند. ابزارهای تشخیص با نقشه‌برداری از تنوع در طول جملات، یک پروفایل پراکندگی ایجاد می‌کنند. یک پروفایل یکنواخت و صاف باعث علامت‌گذاری به عنوان هوش مصنوعی می‌شود، در حالی که یک پروفایل بسیار متغیر نشان‌دهنده نویسنده انسانی است.[1][4]

اتکا به این دو معیار، هنگام ارزیابی جمعیت‌های متنوع دانشجویی، یک آسیب‌پذیری ساختاری ایجاد می‌کند. از آنجا که پیچیدگی پایین و پراکندگی پایین صرفاً به معنای دایره لغات قابل‌پیش‌بینی و ساختار جمله ساده است، ابزارهای تشخیص نمی‌توانند بین یک هوش مصنوعی و انسانی که به‌طور طبیعی با دایره لغات محدود می‌نویسد، تمایز قائل شوند.

این موضوع به‌ویژه برای افراد غیرانگلیسی‌زبان بسیار حیاتی است. وقتی دانشجویی که در حال یادگیری زبان انگلیسی است مقاله‌ای می‌نویسد، به قوانین استاندارد گرامر، دایره لغات رایج و ساختارهای جمله سرراست تکیه می‌کند؛ یعنی دقیقاً همان الگوهایی که باعث ایجاد امتیازات پایین در پیچیدگی و پراکندگی می‌شوند.[2]

تحلیل دانشگاه استنفورد در سال ۲۰۲۳ این نقطه ضعف را از نظر ریاضی اثبات کرد. پژوهشگران ۹۱ مقاله آزمون تافل نوشته‌شده توسط افراد غیرانگلیسی‌زبان را توسط چندین ابزار محبوب تشخیص هوش مصنوعی بررسی کردند. این ابزارها ۶۱ درصد از مقالات نوشته‌شده توسط انسان را به اشتباه به عنوان تولیدشده توسط هوش مصنوعی علامت‌گذاری کردند.

وقتی همین ابزارها مقالات نوشته‌شده توسط دانش‌آموزان کلاس هشتم بومی را ارزیابی کردند، نرخ خطای مثبت کاذب تقریباً به صفر رسید. پژوهشگران با تأکید بر تعصب شدید علیه دانشجویان بین‌المللی خاطرنشان کردند: «این الگوریتم‌ها هوش مصنوعی را تشخیص نمی‌دهند؛ آن‌ها یکنواختی زبانی را تشخیص می‌دهند.»[2]

شرکت‌های فناوری آموزشی تلاش کرده‌اند تا آستانه‌های اطمینان خود را برای کاهش این خطاهای مثبت کاذب تنظیم کنند. شرکت Turnitin که مستقیماً در سیستم‌های مدیریت یادگیری مانند Canvas و Blackboard ادغام می‌شود، الگوریتم خود را به‌روز کرد تا قبل از علامت‌گذاری یک سند، به آستانه آماری بالاتری نیاز داشته باشد و اذعان کرد که «خطاهای مثبت کاذب می‌توانند تأثیر عمیقی بر دانشجویان داشته باشند.»

با این حال، تنظیم این آستانه یک بده‌بستان ریاضی با حاصل‌جمع صفر است: کاهش نرخ خطای مثبت کاذب برای افراد غیرانگلیسی‌زبان، به‌طور همزمان نرخ خطای منفی کاذب را افزایش می‌دهد و اجازه می‌دهد متون بیشتری که واقعاً توسط هوش مصنوعی تولید شده‌اند، بدون شناسایی باقی بمانند.[4]

چشم‌انداز گسترده‌تر آموزشی در حال درک این محدودیت‌ها است. در ۱۴ سپتامبر ۲۰۲۶، نشریه Inside Higher Ed گزارش داد که تحقیقات مستقل در مورد مزایای واقعی هوش مصنوعی در آموزش همچنان «وجود ندارد»، حتی در شرایطی که دانشگاه‌ها تمام‌قد روی این فناوری سرمایه‌گذاری می‌کنند. این فقدان تحقیقات پایه‌ای به خود ابزارهای تشخیص نیز تسری پیدا می‌کند.

مؤسسات آموزشی در حال درک این موضوع هستند که هزینه یک اتهام واهی بسیار بیشتر از مزیت مچ‌گیری یک مقاله تولیدشده است؛ بنابراین، کالیبراسیون پایه دستی (یعنی مقایسه مقاله علامت‌گذاری‌شده با نوشته‌های قبلی و تأییدشده دانشجو در کلاس) به تنها روش قابل‌اعتماد برای ارزیابی اصالت نوشته تبدیل شده است.[1][3]

معماری زیربنایی مدل‌های زبانی بزرگ تضمین می‌کند که فرآیند تشخیص همچنان یک بازی حدس‌زنی احتمالی باقی بماند. با پیشرفته‌تر شدن مدل‌هایی مانند GPT-4 و Claude 3، آن‌ها به‌طور صریح آموزش می‌بینند تا پراکندگی انسانی را تقلید کرده و پیچیدگی مصنوعی را به خروجی‌های خود تزریق کنند. شکاف آماری بین نوشته‌های انسانی و ماشینی در حال بسته شدن است، به این معنی که اتکا به این معیارها بازدهی نزولی برای صنعت فناوری آموزشی به همراه خواهد داشت. برای مؤسسات و اساتید، کاربرد این ابزارها در گفتگوهای تشخیصی است، نه اقدامات انضباطی.[1]