تاثیر ترتیب سوالات در نظرسنجی‌ها: چگونه اثرات تضاد و همسان‌سازی نتایج را تغییر می‌دهند

بیشتر مصرف‌کنندگان داده می‌دانند که تغییر یک کلمه در نظرسنجی می‌تواند نتایج را به شدت تغییر دهد. اما یک مکانیسم روانی ظریف‌تر، توزیع پاسخ‌ها را بدون تغییر حتی یک کلمه از خود سوال عوض می‌کند. همان‌طور که کنسرسیوم پیشبرد استانداردها در اطلاعات مدیریت تحقیقات (CASRAI) اشاره می‌کند: «اثرات ترتیب سوالات یک تهدید برای اعتبار داده‌ها هستند، نه صرفا یک مزاحمت: ترتیبی که موارد در آن ظاهر می‌شوند می‌تواند توزیع پاسخ‌های یک نظرسنجی را مستقل از کلمات هر سوال تغییر دهد.» برای هر کسی که یک نظرسنجی را می‌خواند یا فرم بازخورد طراحی می‌کند، نکته کاربردی و مستقیم این است: همیشه بررسی کنید که دقیقا قبل از یافتن تیتر اصلی چه سوالی پرسیده شده است، زیرا آن بستر اغلب نتیجه را دیکته می‌کند.[1][3]

روش‌شناسان نظرسنجی سه مکانیسم متمایز را شناسایی می‌کنند که این اثرات ترتیبی را هدایت می‌کنند: زمینه‌سازی، همسان‌سازی و تضاد. در یک پرسشنامه استاندارد ۱۵ دقیقه‌ای، پاسخ‌دهندگان ممکن است به ۴۰ تا ۵۰ مورد مجزا پاسخ دهند که ده‌ها فرصت برای انتقال بستر از یک صفحه به صفحه دیگر ایجاد می‌کند. زمینه‌سازی به عنوان لایه پایه عمل می‌کند. وقتی پرسشنامه‌ای درباره یک موضوع خاص سوال می‌کند، آن ملاحظات را در حافظه فعال پاسخ‌دهنده بیدار می‌کند. اگر بلافاصله پس از آن یک سوال کلی و خلاصه پرسیده شود، پاسخ‌دهنده برای شکل دادن به پاسخ خود به آن اطلاعات تازه فعال‌شده تکیه می‌کند، حتی اگر در صورت پرسیده شدن سوال کلی در ابتدا، عوامل دیگری را بیشتر در نظر می‌گرفت.[1][5]

همسان‌سازی زمانی رخ می‌دهد که این اثر زمینه‌سازی، پاسخ بعدی را به همان سمت پاسخ قبلی بکشاند. یک مثال کلاسیک در تحقیقات بهداشت عمومی در مورد معیارهای سلامت خودارزیابی‌شده دیده می‌شود. وقتی ابتدا از پاسخ‌دهندگان مجموعه‌ای از سوالات خاص درباره محدودیت‌های فیزیکی یا بیماری‌های مزمن پرسیده می‌شود و سپس از آن‌ها خواسته می‌شود سلامت خود را «به طور کلی» ارزیابی کنند، امتیاز کلی آن‌ها اغلب با آن پاسخ‌های خاص همخوانی بیشتری دارد. اگر آن‌ها محدودیت‌های کمی را گزارش کرده باشند، یادآوری صریح عملکرد خوبشان، امتیاز سلامت عمومی آن‌ها را بالا می‌کشد و یک خوشه به طور مصنوعی مثبت در داده‌ها ایجاد می‌کند.[2]

اثرات تضاد دقیقا برعکس عمل می‌کنند و پاسخ بعدی را از بستر قبلی دور می‌کنند. اگر از پاسخ‌دهنده‌ای یک سوال بسیار خاص درباره یک مشکل محلی منفی (مانند ترافیک) پرسیده شود و سپس از او بخواهند رضایت کلی خود را از شهر ارزیابی کند، ممکن است امتیاز کلی شهر خود را به طور مصنوعی بالا ببرد. از آنجا که او قبلا درباره ترافیک «تخلیه روانی» شده است، سوال کلی را به عنوان پرسشی درباره سایر امکانات شهر در نظر می‌گیرد و تضاد شدیدی بین شکایت خاص و ارزیابی گسترده‌تر ایجاد می‌کند.[1]

اندازه این تغییرات روانی ناچیز نیست و می‌تواند روایت یک نظرسنجی افکار عمومی را اساسا تغییر دهد. داده‌های تاریخی مرکز تحقیقات پیو (Pew Research Center) نشان می‌دهد که اثرات ترتیب به طور معمول نتایج را در سوالات بسته استاندارد بین ۸ تا ۱۵ واحد درصد جابه‌جا می‌کنند. در یک آزمایش مستند در سال ۲۰۰۳، حمایت عمومی از توافق‌نامه‌های قانونی برای زوج‌های همجنس‌گرا زمانی که به تنهایی پرسیده شد، ۳۷ درصد بود. با این حال، وقتی دقیقا همان سوال بلافاصله پس از سوالی درباره ازدواج همجنس‌گرایان مطرح شد، میزان حمایت به ۴۵ درصد جهش کرد و نتیجه‌گیری اصلی را کاملا تغییر داد.[4]

به طور مشابه، یک آزمایش پیو در سال ۲۰۰۸ نشان داد که ۷۸ درصد از پاسخ‌دهندگان وقتی به عنوان یک معیار مستقل از آن‌ها سوال شد، از مسیر حرکت کشور ابراز نارضایتی کردند. اما وقتی دقیقا همان سوال بلافاصله پس از سوالی درباره میزان تایید رئیس‌جمهور وقت قرار گرفت، نارضایتی به ۸۸ درصد افزایش یافت. سوال قبلی پاسخ‌دهندگان را مجبور کرد تا مسیر کشور را از یک دیدگاه به شدت حزبی ارزیابی کنند، که خط پایه داده‌ها را اساسا تغییر داد و نشان داد که چگونه یک نظرسنجی می‌تواند تنها با جابه‌جایی صفحات خود، به راحتی یک بحران بسازد.[4]

ظهور اخیر هوش مصنوعی در تحقیقات کیفی، پیچیدگی جدیدی به این مشکل روش‌شناختی چند دهه‌ای اضافه کرده است. مصاحبه‌های مدرن هدایت‌شده توسط هوش مصنوعی به طور خاص برای تطبیق‌پذیری طراحی شده‌اند، به این معنی که نرم‌افزار به صورت پویا سوالات پیگیری را بر اساس پاسخ‌های در لحظه شرکت‌کننده تغییر می‌دهد. در حالی که این امر ارتباط گفتگویی بسیار طبیعی‌تری ایجاد می‌کند و پاسخ‌دهندگان را برای مدت طولانی‌تری درگیر نگه می‌دارد، اما به این معنی نیز هست که هر شرکت‌کننده یک ترتیب سوال کاملا منحصر‌به‌فرد را تجربه می‌کند و بستر استانداردی که نظرسنجی‌های سنتی به آن متکی هستند، از بین می‌رود.[4]

از آنجا که اثرات ترتیب یک واقعیت مستند هستند، این توالی تطبیقی قابلیت مقایسه داده‌ها را از بین می‌برد. اگر هوش مصنوعی از یک شرکت‌کننده درباره رضایت شغلی قبل از تعادل کار و زندگی بپرسد و این ترتیب را برای شرکت‌کننده بعدی برعکس کند، داده‌های به دست آمده حاوی یک خطای توالی اندازه‌گیری‌نشده است. علاوه بر این، از آنجا که مدل‌های زبانی بزرگ این تغییرات را به صورت تصادفی تولید نمی‌کنند، سوگیری حاصل می‌تواند به جای میانگین‌گیری در کل نمونه، تشدید شود.[4]

راه‌حل عملی برای محققانی که از ناظران هوش مصنوعی استفاده می‌کنند، ممنوعیت کامل تطبیق‌پذیری نیست، بلکه اجرای یک راهنمای دو لایه است. همان‌طور که تحلیلگران صنعت در Qualitati توصیه می‌کنند: «راه‌حل، ممنوع کردن تطبیق‌پذیری نیست؛ بلکه ثابت نگه‌داشتن ترتیب سوالات حیاتی برای مقایسه و اجازه دادن به هوش مصنوعی برای تطبیق در سایر بخش‌هاست.» این رویکرد «ستون فقرات ثابت» تضمین می‌کند که معیارهای اصلی تحت شرایط شناختی یکسانی جمع‌آوری می‌شوند، در حالی که هوش مصنوعی مجاز است سوالات پیگیری اکتشافی را حول آن ساختار سفت و سخت تطبیق دهد.[4]

برای نظرسنجی‌های سنتی، مطمئن‌ترین دفاع در برابر اثرات ترتیب، تصادفی‌سازی است. اکثر پلتفرم‌های نظرسنجی مدرن به سازندگان اجازه می‌دهند ترتیب بلوک‌های سوال یا موارد درون یک بلوک را تصادفی کنند. با ارائه سوالات در یک توالی تصادفی، محققان یک سوگیری ثابت و سیستماتیک را به نویز غیرسیستماتیک تبدیل می‌کنند. اگرچه این کار اثر روانی را برای هیچ پاسخ‌دهنده فردی از بین نمی‌برد، اما از انحراف نتایج کلی توسط این خطا جلوگیری می‌کند.[1]

زمانی که تصادفی‌سازی کامل از نظر فنی امکان‌پذیر نیست، قرارداد استاندارد در صنعت تحقیق استفاده از رویکرد قیفی است. پرسشنامه‌ها باید به طور منطقی از کلی‌ترین و گسترده‌ترین سوالات به سمت سوالات بسیار خاص جریان یابند. با پرسیدن سوال خلاصه در ابتدا، محققان نظر پایه و بدون زمینه‌سازی پاسخ‌دهنده را قبل از معرفی ملاحظات خاصی که ممکن است پاسخ‌های بعدی آن‌ها را به طور مصنوعی لنگر بیندازد، ثبت می‌کنند. این کار از نفوذ موارد خاص به ارزیابی کلی جلوگیری کرده و یکپارچگی معیارهای گسترده را حفظ می‌کند.[1]

در نهایت، چالش اثرات ترتیب سوالات این است که پیش‌بینی اینکه آیا یک توالی خاص باعث همسان‌سازی یا تضاد می‌شود، در حالت انتزاعی تقریبا غیرممکن است. نحوه تفسیر رابطه بین دو مورد توسط پاسخ‌دهنده بسیار ذهنی است. تنها راه قطعی برای دانستن اینکه آیا یک پرسشنامه دچار مشکل شده است یا خیر، انجام یک آزمایش تجربی دو‌نیمه‌ای (ارسال توالی‌های مختلف به دو نیمه متفاوت از نمونه) و اندازه‌گیری مستقیم واریانس است.[1][3]