اپیدمی تشخیص‌های اشتباه: چرا ابزارهای هوش مصنوعی همچنان آثار خالقان انسانی را به غلط برچسب می‌زنند؟

لیندسی لی لوگرین اخیراً مجموعه‌ای از نقاشی‌ها را در حساب اینستاگرام خود منتشر کرد. او این آثار را کاملاً با دست خلق کرده بود. اما هنگامی که پست‌ها منتشر شدند، برچسبی از سوی پلتفرم روی آن‌ها قرار گرفت که به مخاطبانش هشدار می‌داد این تصاویر «احتمالاً با هوش مصنوعی ساخته یا اصلاح شده‌اند.» او تنها خالقی نیست که در این دام الگوریتمی گرفتار شده است. در حالی که پلتفرم‌های فناوری برای مقابله با سیل رسانه‌های تولید شده توسط ماشین، برچسب‌گذاری محتوای مصنوعی را تسریع می‌کنند، خالقان انسانی به طور فزاینده‌ای قربانی تشخیص‌های مثبت کاذب می‌شوند.[1]

در صنعت ۱۲ میلیارد دلاری بازاریابی اینفلوئنسرها، اصالت، ارز اصلی است. برچسب اشتباه هوش مصنوعی فقط یک آزاردهنده نیست؛ بلکه تهدیدی مستقیم برای معیشت یک خالق است. لیزت کالویرو، خالق محتوا، اخیراً اتهامات مربوط به تولید آثار با کمک هوش مصنوعی را «به معنای واقعی کلمه، لکه ننگ» توصیف کرد. این بدنامی به قدری شدید است که برخی برندها شروع به افزودن شروط سخت‌گیرانه‌ای در قراردادهای خود کرده‌اند که استفاده از هوش مصنوعی مولد را ممنوع می‌کند، به این معنی که یک پرچم‌گذاری اشتباه از سوی پلتفرم می‌تواند فوراً شراکت‌های پرسود را به خطر اندازد.[1]

این نگرانی فراتر از هنرمندان بصری است. نویسندگان، روزنامه‌نگاران و دانشجویان با همین اتهامات الگوریتمی روبرو هستند. مقالات شخصی، گزارش‌های خبری و مقالات دانشگاهی به طور معمول توسط ابزارهای تشخیص شخص ثالث به عنوان مصنوعی علامت‌گذاری می‌شوند. برای درک اینکه چرا این اتفاق می‌افتد، لازم است به نحوه عملکرد این ابزارها نگاهی عمیق بیندازیم. آن‌ها متن را برای درک معنا نمی‌خوانند و متنی را که تحلیل می‌کنند، نمی‌فهمند.[4][6]

در عوض، ابزارهای تشخیص هوش مصنوعی به عنوان طبقه‌بندی‌کننده‌های آماری عمل می‌کنند. آن‌ها بر روی مجموعه‌داده‌های عظیمی از متون تولید شده توسط انسان و ماشین آموزش دیده‌اند و الگوهای عددی را که در یک طرف بیشتر از طرف دیگر ظاهر می‌شوند، یاد می‌گیرند. هنگامی که یک ابزار تشخیص، یک نوشته جدید را تحلیل می‌کند، اساساً بر اساس دو معیار اصلی یک امتیاز احتمالی محاسبه می‌کند: پیچیدگی (Perplexity) و ناهمگونی (Burstiness).[5][6]

پیچیدگی، قابلیت پیش‌بینی انتخاب کلمات را اندازه‌گیری می‌کند. مدل‌های زبان بزرگ با پیش‌بینی محتمل‌ترین کلمه بعدی در یک دنباله عمل می‌کنند. بنابراین، متنی که از واژگان رایج و مورد انتظار استفاده می‌کند، پیچیدگی پایینی دارد. اگر یک جمله بسیار قابل پیش‌بینی باشد، ابزار تشخیص فرض می‌کند که یک ماشین آن را نوشته است. یک نویسنده انسانی که از واژگان غیرمعمول یا عبارات غیرمنتظره استفاده می‌کند، پیچیدگی بالایی ایجاد می‌کند که ابزار آن را به عنوان نشانه‌ای از نویسندگی انسانی می‌خواند.[5]

از سوی دیگر، ناهمگونی، تنوع در طول و ساختار جملات را در سراسر یک سند اندازه‌گیری می‌کند. انسان‌ها به طور طبیعی به صورت ناهمگون می‌نویسند—بین جملات طولانی، پیچیده و روان و جملات کوتاه و کوبنده در نوسان هستند. مدل‌های هوش مصنوعی مولد تمایل دارند متنی با ساختار جمله‌ای بسیار یکنواخت و تکراری تولید کنند. سندی با ناهمگونی پایین به شدت توسط الگوریتم‌های تشخیص جریمه می‌شود.[5]

این رویکرد آماری یک طنز عمیق ایجاد می‌کند: ویژگی‌های بارز یک نوشتار خوب و حرفه‌ای دقیقاً همان چیزهایی هستند که ابزارهای تشخیص هوش مصنوعی را فعال می‌کنند. هنگامی که یک نویسنده انسانی کار خود را به شدت برای وضوح ویرایش می‌کند، پرکننده‌های غیرضروری را حذف می‌کند و ساختار خود را محکم می‌کند، ناخواسته هم پیچیدگی و هم ناهمگونی خود را کاهش می‌دهد. متن قابل پیش‌بینی‌تر و یکنواخت‌تر می‌شود.[6]

ویراستاران و ناشران انتظار انتقال‌های تمیز، لحن ثابت و منطق واضح دارند. اما دقیقاً همین بهبودها، نوشتار انسانی را به الگوهای آماری نزدیک می‌کند که ابزارهای تشخیص با هوش مصنوعی مرتبط می‌دانند. یک مقاله خوب ویرایش شده به راحتی می‌تواند برای یک الگوریتم مشکوک به نظر برسد، در حالی که یک پیش‌نویس نامرتب پر از غلط‌های املایی و سرعت نامنظم، به راحتی از آزمون عبور می‌کند.[6]

این دینامیک یک ساختار انگیزشی انحرافی برای خالقان دیجیتال ایجاد کرده است. برای دور زدن ابزارهای معیوب تشخیص هوش مصنوعی، برخی از نویسندگان اکنون مجبورند عمداً عبارات نامناسب، مشکلات قالب‌بندی یا ناهماهنگی‌های ساختاری را در کار خود وارد کنند تا به طور مصنوعی امتیازات ناهمگونی و پیچیدگی خود را افزایش دهند. آن‌ها فعالانه کیفیت نوشتار خود را کاهش می‌دهند تا انسانیت خود را به یک ماشین ثابت کنند.[6]

اتکا به این معیارها همچنین تعصب سیستمی شدیدی را معرفی می‌کند. یک مطالعه برجسته که توسط محققان دانشگاه استنفورد انجام شد، نشان داد که ابزارهای تشخیص احتمالی ذاتاً علیه کسانی که زبان مادری‌شان انگلیسی نیست تبعیض قائل می‌شوند، زیرا نوشتار آن‌ها به طور طبیعی همان تله‌های آماری را فعال می‌کند که ابزارهای تشخیص به دنبال آن هستند.[2]

محققان استنفورد ۹۱ مقاله آزمون تافل (TOEFL) را از طریق هفت ابزار پیشرو تشخیص هوش مصنوعی اجرا کردند. نتایج حیرت‌آور بود: این ابزارها به دروغ ۶۱ درصد از مقالات نوشته شده توسط انسان را به عنوان تولید شده توسط هوش مصنوعی علامت‌گذاری کردند. در تقریباً ۲۰ درصد موارد، هر هفت ابزار به اتفاق آرا موافقت کردند که کار دانشجوی انسانی، مصنوعی است.[2]

در مقابل، هنگامی که محققان مقالاتی را که توسط دانش‌آموزان کلاس هشتم متولد آمریکا نوشته شده بود، از طریق همان ابزارها اجرا کردند، ابزارهای تشخیص تقریباً بی‌نقص بودند و آن‌ها را به درستی به عنوان انسانی طبقه‌بندی کردند. این الگوریتم‌ها عملاً نویسندگان غیربومی را به دلیل ویژگی‌های زبانی دقیقی که ناشی از یادگیری زبان انگلیسی به عنوان زبان دوم در یک محیط آکادمیک رسمی است، جریمه می‌کنند.[2]

سخنوران غیربومی تمایل دارند متنی با تنوع واژگانی کمتر و الگوهای نحوی ساده‌تر تولید کنند. از آنجایی که آن‌ها اغلب به جای اصطلاحات محاوره‌ای، بر قوانین گرامری رسمی تکیه می‌کنند، انتخاب کلمات آن‌ها بسیار قابل پیش‌بینی است. چون مدل‌های زبان نیز به سمت خروجی‌های آماری محتمل بهینه‌سازی می‌شوند، ابزارهای تشخیص نمی‌توانند تفاوت بین یک الگوریتم و یک انسان که به زبان دوم خود می‌نویسد را تشخیص دهند.[2]

پیامدهای این تشخیص‌های مثبت کاذب به سرعت، به ویژه در محیط‌های پرمخاطره مانند دانشگاه‌ها، آشکار شده است. مدیران دانشگاه وندربیلت و دانشگاه ایالتی میشیگان نرم‌افزار تشخیص هوش مصنوعی را به طور کامل غیرفعال کرده‌اند، زیرا به این نتیجه رسیده‌اند که حتی نرخ پایین مثبت کاذب نیز غیرقابل قبول است، وقتی به معنای متهم کردن دروغین صدها دانشجوی بی‌گناه به سوء رفتار آکادمیک باشد.[4]

حتی پیشگامان هوش مصنوعی مولد نیز بی‌سروصدا از مسابقه تسلیحاتی تشخیص عقب‌نشینی کرده‌اند. در جولای ۲۰۲۳، اوپن‌ای‌آی (OpenAI)—خالق ChatGPT—طبقه‌بندی‌کننده متن هوش مصنوعی خود را متوقف کرد. این شرکت اعتراف کرد که این ابزار به سادگی به اندازه کافی قابل اعتماد نیست که مفید باشد.[3][4]

اوپن‌ای‌آی «نرخ پایین دقت» را دلیل تعطیلی این پروژه ذکر کرد. اگر شرکتی که قدرتمندترین مدل‌های بنیادی هوش مصنوعی جهان را ساخته است، نتواند خروجی خود را به طور قابل اعتماد تشخیص دهد، فروشندگان شخص ثالث که بدون آن تخصص اختصاصی فعالیت می‌کنند، با یک چالش مهندسی تقریباً غیرقابل عبور روبرو هستند.[3]

با وجود این نقص‌های اساسی، پلتفرم‌های رسانه‌های اجتماعی همچنان به راه‌اندازی سیستم‌های برچسب‌گذاری خودکار برای مقابله با مشکل بسیار واقعی «محتوای بی‌کیفیت» مصنوعی که فیدهای آن‌ها را پر می‌کند، ادامه می‌دهند. پلتفرم‌ها استدلال می‌کنند که این برچسب‌ها شفافیت لازم را برای بینندگان فراهم می‌کنند، اما ماهیت نادقیق این فرآیند به این معنی است که خالقان انسانی به طور معمول در این میان گرفتار می‌شوند.[1]

بار اثبات اکنون به طور کامل بر دوش خالقان محتوا افتاده است. پلتفرم‌هایی مانند ساب‌استک (Substack) اخیراً گزینه‌هایی را برای نویسندگان اضافه کرده‌اند تا ارزیابی‌های الگوریتمی را به چالش بکشند و فرآیند خلاقانه خود را توضیح دهند، اما آسیب اعتباری ناشی از برچسب اولیه هوش مصنوعی اغلب تا زمانی که به درخواست تجدیدنظر رسیدگی شود، وارد شده است.[1]

چالش مهندسی اساسی حل نشده باقی مانده است. همانطور که مدل‌های زبان بزرگ به بهبود خود ادامه می‌دهند، خروجی آن‌ها به طور فزاینده‌ای منعکس‌کننده خلاقیت، تنوع و ظرافت ساختاری نوشتار انسانی خواهد بود. این بدان معناست که دقت روش‌های تشخیص فعلی احتمالاً با گذشت زمان بدتر می‌شود، نه بهتر.[3]

در نهایت، راه‌حل اپیدمی مثبت کاذب ممکن است فرهنگی باشد تا فنی. ویراستاران، مربیان و مخاطبان باید بپذیرند که نوشتار واضح و خوش‌ساختار می‌تواند شبیه به ماشین به نظر برسد بدون اینکه واقعاً توسط ماشین ساخته شده باشد، و سوءظن الگوریتمی جایگزینی برای قضاوت انسانی نیست.[6]