چهار منبع خطا: چارچوب خطای کل نظرسنجی چگونه اشتباهات افکارسنجی را دسته‌بندی و به حداقل می‌رساند

چارچوب خطای کل نظرسنجی (TSE)، اشتباهات افکارسنجی را به دو بخش اصلی (خطای نمونه‌گیری و خطای غیرنمونه‌گیری) طبقه‌بندی می‌کند که خود به حداقل چهار منبع مجزا تقسیم می‌شوند: پوشش، نمونه‌گیری، عدم پاسخ‌گویی و اندازه‌گیری. همان‌طور که در ادبیات نظرسنجی تعریف شده است، TSE عبارت است از «تفاوت بین یک پارامتر جمعیتی... و برآورد آن پارامتر بر اساس نظرسنجی نمونه‌ای یا سرشماری.» [۵] پژوهشگران با تجزیه بی‌دقتی به این اجزای خاص، می‌توانند شکاف‌های بین آنچه یک نظرسنجی اندازه‌گیری می‌کند و واقعیت یک جمعیت را به‌طور سیستماتیک شناسایی کرده و به حداقل برسانند. [۶][5][6]

حاشیه خطای سنتی تنها یک قطعه از این پازل را نشان می‌دهد. در حالی که توجه عمومی اغلب روی حجم نمونه متمرکز است، آمارشناسان باتجربه می‌دانند که یک نمونه عظیم که با روشی سوگیرانه جمع‌آوری شده، می‌تواند بسیار کم‌دقت‌تر از یک نمونه کوچک‌تر اما با طراحی دقیق باشد. پژوهشگران رابرت گرووز (Robert Groves) و لارس لیبرگ (Lars Lyberg) در جلد ۷۴، شماره ۵ نشریه Public Opinion Quarterly در سال ۲۰۱۰ نوشتند که پارادایم TSE چارچوبی نظری برای بهینه‌سازی نظرسنجی‌ها از طریق به حداکثر رساندن کیفیت داده‌ها در چارچوب محدودیت‌های بودجه‌ای فراهم می‌کند. [۳] این رویکرد، تمرکز را از صرفِ جمع‌آوری داده‌های بیشتر، به بهینه‌سازی کل فرآیند تولید آماری تغییر می‌دهد. [۶][3][6]

ریشه‌های این چارچوب به دهه‌ها قبل برمی‌گردد. در سال ۱۹۴۴، آمارشناسی به نام دبلیو. ادواردز دمینگ (W. Edwards Deming) فهرستی از ۱۳ عامل خاص را منتشر کرد که بر کارایی یک نظرسنجی تأثیر می‌گذارند و بدین ترتیب پایه‌های طبقه‌بندی خطای مدرن را بنا نهاد. [۳] امروزه، ادبیات نظرسنجی عموماً خطاهای غیرنمونه‌گیری را به پنج منبع کلی تجزیه می‌کند: خطای مشخصات، خطای چارچوب، خطای عدم پاسخ‌گویی، خطای اندازه‌گیری و خطای پردازش. [۵] هر یک از این منابع نشان‌دهنده نقطه مشخصی در چرخه حیات نظرسنجی است که در آن برآورد نهایی منتشرشده می‌تواند از ارزش واقعی جمعیت فاصله بگیرد. [۶][3][5][6]

اولین منبع عمده بی‌دقتی، پیش از پرسیدن حتی یک سؤال رخ می‌دهد. خطای چارچوب یا خطای پوشش زمانی به وجود می‌آید که چارچوب نمونه‌گیری (فهرست یا مکانیزمی که برای استخراج نمونه استفاده می‌شود) با جمعیت هدف مطابقت نداشته باشد. [۳][۵] در حالت ایده‌آل، این چارچوب باید شامل تک‌تک اعضای جمعیت هدف باشد و دقیقاً هیچ مورد تکراری نداشته باشد. [۳] اگر یک نظرسنجی بر اساس فهرست قدیمی و منسوخی باشد که یک گروه جمعیتی خاص را به تعداد نامعلومی از قلم انداخته است، آن افراد به‌طور سیستماتیک حذف می‌شوند و شکافی ایجاد می‌شود که با هیچ مقدار نمونه‌گیری اضافی قابل جبران نیست. [۵][3][5]

خطای نمونه‌گیری، دومین جزء این چارچوب، تنها منبع عدم قطعیتی است که توسط حاشیه خطای اعلام‌شده در نظر گرفته می‌شود. این خطا ناشی از تغییرپذیری طبیعیِ مشاهده یک بخش تصادفی از جمعیت به‌جای انجام یک سرشماری ۱۰۰ درصدی است. [۵] نمونه‌گیری احتمالی ابزارهای ریاضی لازم را برای اندازه‌گیری این واریانس خاص در اختیار آمارشناسان قرار می‌دهد، اما فرض را بر این می‌گذارد که بقیه فرآیند نظرسنجی بدون نقص عمل می‌کند. وقتی یک نظرسنجی حاشیه خطای مثبت یا منفی ۳ درصد را اعلام می‌کند، تنها همین یک منبع عدم قطعیت را کمّی‌سازی کرده و خطاهای غیرنمونه‌گیری را کاملاً اندازه‌گیری‌نشده رها می‌کند. [۶][5][6]

منبع سوم، خطای عدم پاسخ‌گویی، شامل عدم پاسخ‌گویی واحد (جایی که یک واحد نمونه‌گیری به هیچ بخشی از پرسش‌نامه پاسخ نمی‌دهد) و عدم پاسخ‌گویی مورد (جایی که پرسش‌نامه فقط تا حدی تکمیل می‌شود) است. [۵] همان‌طور که مرکز ملی روش‌های تحقیق (NCRM) توضیح می‌دهد، اگر افرادی که تصمیم به مشارکت می‌گیرند به‌طور سیستماتیک با کسانی که امتناع می‌کنند تفاوت داشته باشند، داده‌های به‌دست‌آمده به سمت ترجیحات پاسخ‌دهندگان متمایل خواهد شد. [۴] این سوگیری صرف‌نظر از اینکه نمونه اولیه چقدر بی‌نقص استخراج شده باشد، پابرجا می‌ماند و عدم پاسخ‌گویی را به یکی از دشوارترین خطاها برای اصلاح پس از پایان جمع‌آوری داده‌ها تبدیل می‌کند. [۴][4][5]

خطای اندازه‌گیری شامل تحریف‌هایی است که در طول خود فرآیند جمع‌آوری داده‌ها رخ می‌دهد. همان‌طور که در نشریه Public Opinion Quarterly اشاره شده است: «برای بسیاری از نظرسنجی‌ها، خطای اندازه‌گیری یکی از مخرب‌ترین منابع خطا است.» [۳] این خطا شامل سؤالات با نگارش ضعیف که پاسخ‌دهندگان را گیج می‌کند، رفتار مصاحبه‌کننده که بر پاسخ‌ها تأثیر می‌گذارد، و ارائه اطلاعات نادرست توسط پاسخ‌دهندگان (چه به‌طور عمدی و چه سهوی) می‌شود. [۳] خطای مشخصات، که مفهومی بسیار نزدیک به این مورد است، زمانی رخ می‌دهد که مفهوم مستتر در سؤال نظرسنجی با مفهومی که پژوهشگر واقعاً قصد اندازه‌گیری آن را داشته متفاوت باشد؛ که این امر اغلب به دلیل ارتباط ضعیف بین حامی مالی نظرسنجی و طراح پرسش‌نامه است. [۵][3][5]

در درون خطای اندازه‌گیری، تعامل بین مصاحبه‌کننده و پاسخ‌دهنده متغیرهای خاص خود را معرفی می‌کند. مصاحبه‌کنندگان می‌توانند از طریق لحن صحبت، ظاهر و رفتار خود باعث بروز خطا شوند، که ممکن است به‌طور نامطلوبی بر نحوه پاسخگویی یک فرد به یک سؤال حساس تأثیر بگذارد. [۳] در مقابل، پاسخ‌دهندگان نیز ممکن است به‌طور عمدی یا سهوی اطلاعات نادرستی ارائه دهند، خواه به دلیل ناتوانی در یادآوری دقیق رویدادهای گذشته باشد یا تمایل به ارائه تصویری از خود که از نظر اجتماعی مقبول‌تر است. [۳] این خطاهای مشاهده‌ای کاملاً مستقل از نحوه استخراج نمونه رخ می‌دهند. [۶][3][6]

پس از جمع‌آوری داده‌ها، پنجمین منبع خطای غیرنمونه‌گیری پدیدار می‌شود: خطای پردازش. این دسته شامل اشتباهاتی است که در طول ورود داده‌ها، کدگذاری، تخصیص وزن‌های نظرسنجی و جدول‌بندی نهایی داده‌های نظرسنجی رخ می‌دهد. [۳][۵] اگر یک ویرایشگر داده نتواند یک قانون اعتبارسنجی را به‌درستی اعمال کند (مثلاً زمانی که یک پاسخ از حد مجاز فراتر می‌رود)، خطاهای احتمالی در مجموعه داده نهایی اصلاح‌نشده باقی می‌مانند. [۳] این اشتباهات پردازشی می‌توانند به‌آرامی نظرسنجی‌ای را که مراحل نمونه‌گیری و اندازه‌گیری را با موفقیت پشت سر گذاشته، تضعیف کنند. [۶][3][5][6]

برای جبران شکاف‌های پوشش و عدم پاسخ‌گویی، پژوهشگران اغلب وزن‌های آماری را روی داده‌های نهایی اعمال می‌کنند تا اطمینان حاصل کنند که ترکیب جمعیتی نمونه با معیارهای شناخته‌شده سرشماری مطابقت دارد. [۱] با این حال، اگر مدل‌های زیربنایی دارای نقص باشند یا متغیرهای استفاده‌شده برای تعدیل همبستگی قوی با موضوعات اصلی نظرسنجی نداشته باشند، وزن‌دهی خطرات خاص خود را به همراه دارد. [۲] در حالی که پس‌طبقه‌بندی می‌تواند سوگیری را کاهش دهد، به‌طور هم‌زمان واریانس برآوردها را افزایش می‌دهد، که این امر نشان‌دهنده بده‌بستان‌های مداومی است که پژوهشگران باید در چارچوب TSE مدیریت کنند. [۶][1][2][6]

در نوامبر ۲۰۲۲، انجمن آمریکایی تحقیقات افکار عمومی (AAPOR) گزارش جامعی را برای ارزیابی کیفیت نظرسنجی در محیط پیچیده امروزی منتشر کرد و به دنبال آن نسخه به‌روزشده تعاریف استاندارد خود را در ۱۱ نوامبر ۲۰۲۲ ارائه داد. [۱][۲] این اسناد تأکید می‌کنند که پژوهشگران از چارچوب TSE نه برای حذف کامل خطا (که استانداردی غیرممکن است)، بلکه برای تخصیص بهینه منابع نظرسنجی استفاده می‌کنند. [۳] اگر منبع اصلی خطای یک طراحی عدم پاسخ‌گویی باشد، می‌توان منابع را به‌جای افزایش بی‌مورد حجم نمونه، برای کاهش اثرات آن خطا تخصیص داد. [۳][1][2][3]

این چارچوب، تغییر در نحوه ارزیابی کیفیت نظرسنجی توسط مصرف‌کنندگان داده را الزامی می‌کند. ارزیاب‌ها به‌جای پذیرش این فرض که یک نمونه ۱۰,۰۰۰ نفری ذاتاً قابل‌اعتمادتر از یک نمونه ۱,۰۰۰ نفری است، باید کل فرآیند تولید آماری را بررسی کنند. [۶] گام بعدی برای صنعت نظرسنجی شامل استانداردسازی نحوه کمّی‌سازی و گزارش این خطاهای غیرنمونه‌گیری در کنار حاشیه خطای سنتی است، تا اطمینان حاصل شود که عموم مردم پیش از اتخاذ تصمیمات سیاستی یا انتخاباتی بر اساس این اعداد، مرزهای واقعی دقت نظرسنجی را درک می‌کنند. [۱][۶][1][6]