مدل‌های هوش مصنوعی با داده‌های خنثی هم سوگیری می‌سازند؛ چالشی برای پارادایم آموزش

روایت غالب پیرامون هوش مصنوعی بر این فرض استوار است که سوگیری صرفاً یک مشکل در گردآوری داده‌ها است – پدیده‌ای که به طور خلاصه با ضرب‌المثل «داده‌ی بی‌کیفیت، خروجی بی‌کیفیت» (Garbage in, garbage out) بیان می‌شود.

فرض بر این است که اگر توسعه‌دهندگان بتوانند داده‌های آموزشی را پاکسازی کنند، توازن جمعیتی را رعایت کرده و تعصبات تاریخی را حذف نمایند، مدل هوش مصنوعی حاصل به عنوان یک داور عینی و بی‌طرف ظاهر خواهد شد. این چارچوب، سال‌ها تلاش صنعت را برای ساخت مجموعه‌داده‌های «پاک» و اجرای حفاظ‌های سخت‌گیرانه همسوسازی هدایت کرده است.[3]

حتی زمانی که توسعه‌دهندگان تلاش می‌کنند ابزارهای پیش‌بینی‌کننده را از سوگیری پاک کنند، این سیستم‌ها اغلب همچنان نتایج نامتوازن تولید می‌کنند، زیرا به داده‌هایی متکی هستند که ذاتاً توسط واقعیت‌های تاریخی شکل گرفته‌اند. اما تحقیقات جدید فراتر می‌رود: این تحقیقات نشان می‌دهد که حتی اگر بتوانیم مجموعه‌داده‌ای کاملاً بکر و از نظر ریاضی متعادل تولید کنیم، هوش مصنوعی باز هم نتایج سوگیرانه ایجاد خواهد کرد.

سوگیری فقط در داده‌ها نیست؛ بلکه در معماری بنیادی خود ماشین است. مدل‌های هوش مصنوعی صرفاً به عنوان آینه‌های منفعل که تعصبات اجتماعی انسان را منعکس می‌کنند عمل نمی‌کنند؛ بلکه به طور فعال سوگیری‌های جدیدی را خلق و تقویت می‌کنند، حتی زمانی که با داده‌های کاملاً خنثی آموزش دیده‌اند یا دستورات صریحاً خنثی دریافت کرده‌اند.[1][3][5]

برای درک اینکه چرا مدل‌ها تعصب را می‌سازند، محققان به مکانیسم‌های زیربنایی چگونگی یادگیری تعمیم در مدل‌های زبان بزرگ (LLMs) اشاره می‌کنند. مدل‌ها به «سوگیری استقرایی» (Inductive Bias) متکی هستند – یک تمایل ریاضی داخلی که به آن‌ها کمک می‌کند الگوها را تشخیص دهند و از داده‌های ناقص پیش‌بینی کنند.

بدون سوگیری استقرایی، یک مدل یادگیری ماشین هرگز نمی‌توانست فراتر از مثال‌های دقیقی که با آن‌ها آموزش دیده است، تعمیم دهد؛ بلکه صرفاً گذشته را حفظ می‌کرد بدون اینکه آینده را درک کند. با این حال، این ویژگی ریاضی ضروری، هنگامی که در مورد واقعیت‌های پیچیده اجتماعی به کار می‌رود، به یک نقطه ضعف تبدیل می‌شود.[4]

همانطور که دیوید کاسول (David Caswell)، مشاور رسانه‌ای هوش مصنوعی، توضیح می‌دهد، مدل‌های زبان بزرگ به طور طبیعی به سمت «میانه» زبان، سبک و ایده‌ها سوگیری دارند. آن‌ها از نظر ریاضی طراحی شده‌اند تا رایج‌ترین ویژگی‌های یک مجموعه‌داده را تقویت کنند، در حالی که «دنباله‌های بلند» نادر و غیرمعمول را حذف می‌کنند. این بدان معناست که حتی تداعی‌های ظریف و از نظر آماری عادی در داده‌های آموزشی، در طول تولید به قواعد سخت و ناگسستنی تبدیل می‌شوند. مدل فقط میانگین را منعکس نمی‌کند؛ بلکه آن را به شدت اعمال می‌کند.[4]

یک مطالعه در سال ۲۰۲۶ که در کنفرانس بین‌المللی یادگیری ماشین (ICML) ارائه شد، نمایشی آشکار از این تعصب تولیدی ارائه داد. محققان دانشگاه پرینستون و دانشگاه شیکاگو ابزارهای هوش مصنوعی را در وظایف استخدام که شامل گروه‌های جمعیتی کاملاً ساختگی بودند، آزمایش کردند. با استفاده از گروه‌های ابداعی، محققان اطمینان حاصل کردند که مدل‌ها هیچ کلیشه از پیش موجودی برای استفاده از داده‌های آموزشی خود ندارند. مدل‌ها در مورد این جمعیت‌های خاص، اساساً لوح‌های سفیدی بودند.[1]

ابزارهای هوش مصنوعی سوگیری‌های جدید و بی‌اساس را علیه این گروه‌های ساختگی، صرفاً بر اساس نتایج تصادفی هر تصمیم استخدام شبیه‌سازی شده، ایجاد کردند. اگر یک گروه ساختگی به دلیل نویز آماری محض، چند شکست اولیه داشت، هوش مصنوعی به سرعت آن نویز را به یک قاعده سیستمی تعمیم می‌داد و آن گروه را برای همیشه مجازات می‌کرد.

نکته قابل توجه این است که مدل‌ها در واقع بیشتر از ارزیابان انسانی که دقیقاً همان کار را انجام می‌دادند، مستعد ایجاد سوگیری‌های جدید بودند، که ثابت می‌کند سوگیری‌ها به طور فعال از تجربه آموخته می‌شوند نه اینکه صرفاً از داده‌های تاریخی به ارث برده شوند.[1]

تلاش برای تحمیل بی‌طرفی بر یک مدل می‌تواند به طور متناقضی، حذف گروه‌های به حاشیه رانده شده را بدتر کند. یک مطالعه در سال ۲۰۲۶ توسط دانشگاه واشنگتن نشان داد که چگونه حفاظ‌های همسوسازی که برای حذف سوگیری طراحی شده‌اند، در واقع می‌توانند نتیجه معکوس دهند.

محققان به شش مدل پیشرو هوش مصنوعی مولد – از جمله GPT-5.1، Gemini 2.5 و Claude Sonnet 4.5 – وظیفه دادند تا داستان‌های کودکانه درباره حیوانات سخنگویی بنویسند که جنسیت آن‌ها مشخص نشده بود. این دستور به گونه‌ای طراحی شده بود که کاملاً مبهم باشد و نحوه برخورد مدل‌ها با یک سناریوی واقعاً خنثی را آزمایش کند.

در میان ۲۳,۸۰۰ داستان تولید شده توسط هوش مصنوعی، شخصیت‌های زن عملاً غایب بودند و تنها در ۲ درصد از خروجی‌ها ظاهر شدند. مدل‌ها در ۴۱ درصد مواقع به طور پیش‌فرض از شخصیت‌های مرد استفاده کردند، یا از ضمایر «آن» (it/its) برای جلوگیری کامل از جنسیت‌دهی به شخصیت‌ها بهره بردند. ضمیر مفرد «آن‌ها» (they/them) تنها دو بار در هزاران تولید ظاهر شد. با تلاش برای خنثی ماندن، مدل‌ها به طور مؤثری شخصیت‌های زن را حذف کردند، که منجر به تفاوت حیرت‌انگیز ۱۹ برابری بین بازنمایی مردان و زنان شد.

این تقویت میانه فراتر از متن، به تولید بصری نیز گسترش می‌یابد، جایی که محرک‌های زبانی پنهان به طور مخفیانه ویژگی‌های جمعیتی را رمزگذاری می‌کنند. مقاله دیگری در ICML 2026، «جستجوی دستور مبتنی بر سوگیری» (Bias-Guided Prompt Search یا BGPS) را معرفی کرد، ابزاری خودکار که برای یافتن دستورات با صدای طبیعی طراحی شده است که خروجی‌های سوگیرانه را در تولیدکنندگان تصویر مانند Stable Diffusion فعال می‌کنند.

این ابزار یک مدل زبان را با یک شبکه آشکارساز جفت می‌کند که به داخل تولیدکننده تصویر نگاه می‌کند تا ویژگی‌های جمعیتی تصویر حاصل را قبل از ترسیم پیش‌بینی کند.[2]

محققان کشف کردند که حتی مدل‌هایی که تحت «رفع سوگیری» سخت‌گیرانه قرار گرفته بودند، همچنان تعصبات باقیمانده عمیقی را در خود جای داده بودند. دستورات کاملاً خنثی از نظر ویژگی، نتایج به شدت نامتوازنی را بر اساس اصلاح‌کننده‌های زبانی ظریف ایجاد کردند.

به عنوان مثال، درخواست از مدل برای یک فرد «متفکر» (thoughtful) به طور قابل اعتمادی سوژه‌های مرد تولید می‌کرد، در حالی که درخواست برای یک فرد «دوست‌داشتنی» (friendly) سوژه‌های زن ایجاد می‌کرد. مدل‌ها یاد گرفته بودند که ویژگی‌های شخصیتی خاصی را با جمعیت‌شناسی خاصی مرتبط کنند و به طور کامل کلمات کلیدی جمعیتی صریح را دور بزنند.[2]

این یافته‌ها به طور سیستماتیک آنچه منتقدان اجتماعی-فنی «افسانه عینیت ماشین» می‌نامند را از بین می‌برند. هنگامی که مؤسسات سیستم‌های هوش مصنوعی را با این فرض که بی‌طرف هستند به کار می‌گیرند، خطر ایجاد یک پرده دود خطرناک را به جان می‌خرند که بی‌عدالتی سیستمی را پنهان می‌کند. توهم عینیت، اعتراض یا به چالش کشیدن تصمیمات ماشین را برای افراد آسیب‌دیده دشوارتر می‌کند، زیرا فرض بر این است که محاسبات بی‌عیب و نقص هستند.[3]

اگر یک هوش مصنوعی از کدهای پستی یا داده‌های سبک زندگی به عنوان نماینده‌ای برای وضعیت اجتماعی-اقتصادی استفاده کند، می‌تواند به طور مؤثری کل جوامع را طرد کند (redline) بدون اینکه هرگز صراحتاً به یک ویژگی محافظت‌شده اشاره کند. اعتقاد به عینی بودن ماشین به سازمان‌ها اجازه می‌دهد تا «الگوریتم» را مقصر نتایج تبعیض‌آمیز بدانند، به جای اینکه زمینه اجتماعی-سیاسی که ابزار در آن به کار گرفته شده است را مورد بررسی قرار دهند. این فناوری به سپری در برابر پاسخگویی تبدیل می‌شود.[3][5]

در حالی که هوش مصنوعی به طور فزاینده‌ای در فرآیندهای تصمیم‌گیری حیاتی – از بررسی رزومه‌ها و امتیازدهی اعتباری گرفته تا تشخیص‌های پزشکی – ادغام می‌شود، درک این واقعیت که مدل‌ها می‌توانند تعصبات خود را بسازند، کل پارادایم ایمنی هوش مصنوعی را تغییر می‌دهد.

چالش دیگر فقط پاکسازی داده‌ها نیست؛ بلکه رسیدگی به معماری بنیادی نحوه یادگیری ماشین‌ها برای تعمیم جهان است. تا زمانی که توسعه‌دهندگان نتوانند ضرورت ریاضی سوگیری استقرایی را از آسیب اجتماعی تبعیض الگوریتمی جدا کنند، بی‌طرفی واقعی یک توهم باقی خواهد ماند و نظارت انسانی یک ضرورت مطلق خواهد بود.[1][4][5]