کیفیت پایین داده‌ها ۱۲ درصد از درآمد سالانه شرکت‌ها را هدر می‌دهد

تصور غلط رایج این است که کیفیت داده‌ها یک مشکل فناوری اطلاعات است—مسئله‌ای مربوط به غلط‌های تایپی، فیلدهای گم‌شده و نگهداری پایگاه داده که به بخش پشتیبانی مربوط می‌شود. شواهد چیز کاملاً متفاوتی را نشان می‌دهند. کیفیت پایین داده‌ها یک بدهی تجاری ترکیبی است که مستقیماً درآمد اصلی را تحلیل می‌برد. هنگامی که یک کمپین بازاریابی جمعیت‌شناسی اشتباهی را هدف قرار می‌دهد، یا یک مدل زنجیره تأمین بر اساس پیش‌بینی معیوب، بیش از حد موجودی سفارش می‌دهد، علت اصلی به ندرت بی‌کفایتی استراتژیک است. این داده‌های بد هستند که به عنوان یک مالیات خاموش بر عملیات عمل می‌کنند.[2]

خسارت مالی این بدهی داده‌ها سرسام‌آور است، اگرچه اغلب پنهان می‌ماند زیرا به عنوان یک ردیف مجزا در ترازنامه ظاهر نمی‌شود. بر اساس تحقیقات بنیادی Experian، سازمان‌ها تخمین می‌زنند که تقریباً ۱۲ درصد از کل درآمد آن‌ها مستقیماً به دلیل کیفیت پایین داده‌ها هدر می‌رود. این رقم اثرات فوری پایین‌دستی سوابق نادرست را در بر می‌گیرد: فرصت‌های فروش از دست رفته، هزینه‌های بازاریابی هدر رفته، و اصطکاک عملیاتی صرف ناشی از تطبیق دستی.

هنگامی که این ارقام به صورت مطلق کمی‌سازی می‌شوند، حتی واضح‌تر به نظر می‌رسند. تحقیقات بین‌صنعتی گارتنر یک هزینه پایه متوسط ۱۲.۹ میلیون دلاری در سال را برای سازمان‌های بزرگی که با کیفیت پایین داده‌ها دست و پنجه نرم می‌کنند، تعیین کرده است. این معیار، که از نظرسنجی‌های گسترده سازمانی به دست آمده، منعکس‌کننده هزینه کارهای دوباره‌کاری مداوم است. مهندسان و تحلیلگران داده اغلب تا نیمی از ساعات کاری خود را صرف پاکسازی، تطبیق و پیگیری حوادث داده می‌کنند، به جای اینکه قابلیت‌های جدیدی ایجاد کنند.[1]

مکانیسم این تحلیل رفتن درآمد موذیانه است زیرا بسیار توزیع شده است. کیفیت داده‌ها از طریق چهار کانال اصلی کاهش می‌یابد: زمان اصلاح، از کار افتادگی سیستم، از دست دادن تصمیم و فرصت‌های از دست رفته. اصلاح، ساعت‌هایی را می‌بلعد که صرف تعمیر خطوط لوله شکسته و استانداردسازی فرمت‌ها می‌شود. از کار افتادگی زمانی رخ می‌دهد که سیستم‌ها به دلیل ورودی‌های بدشکل از کار می‌افتند و فرآیندهای حیاتی کسب و کار را متوقف می‌کنند.

از دست دادن تصمیم شاید پرهزینه‌ترین و کمترین اندازه‌گیری شده کانال باشد. این زمانی اتفاق می‌افتد که تصمیمات استراتژیک بر اساس داشبوردهای نادرست گرفته می‌شوند، که منجر به قیمت‌گذاری اشتباه محصولات یا درک نادرست بازارها می‌شود. این خطاها به درآمد از دست رفته‌ای تبدیل می‌شوند که تصمیم‌گیرندگان به ندرت آن را به داده‌های زیربنایی ردیابی می‌کنند. وقتی یک شرکت سهم بازار خود را از دست می‌دهد زیرا مدل قیمت‌گذاری آن به داده‌های قدیمی رقبا متکی بوده است، شکست معمولاً به پویایی بازار نسبت داده می‌شود، نه به حاکمیت داده.[2]

فرصت‌های از دست رفته کانال نهایی بدهی داده را نشان می‌دهند. هنگامی که سوابق مشتری ناقص یا تکراری هستند، تیم‌های فروش ساعت‌ها را صرف پیگیری سرنخ‌های اشتباه می‌کنند در حالی که مشتریان بالقوه با ارزش بالا از دست می‌روند. تحقیقات Experian نشان می‌دهد که برنامه‌های وفاداری و ابتکارات تعامل با مشتری به ویژه آسیب‌پذیر هستند، به طوری که تقریباً سه چهارم شرکت‌ها مشکلات عملیاتی ناشی از داده‌های معیوب مشتری را گزارش کرده‌اند.

با عجله سازمان‌ها برای استقرار هوش مصنوعی و گردش کارهای خودکار، خطرات به سرعت در حال افزایش است. در عصر هوش مصنوعی عامل، هزینه کیفیت پایین داده‌ها بسیار سریع‌تر و در مقیاس عظیم ظاهر می‌شود. یک رکورد معیوب که زمانی یک گزارش ماهانه واحد را متورم می‌کرد، اکنون یک مدل یادگیری ماشینی را آموزش می‌دهد که خطا را در هزاران تصمیم مستقل تکرار می‌کند.

سیستم‌های هوش مصنوعی مشکلات کیفیت داده‌های مجموعه‌های آموزشی خود را به ارث می‌برند و آن‌ها را تقویت می‌کنند. آن‌ها تصمیمات بد را با اطمینان سیستمی که نمی‌داند اشتباه می‌کند، اجرا می‌کنند. اگر یک مدل پیش‌بینی‌کننده با داده‌های قیمت‌گذاری تاریخی ناسازگار تغذیه شود، توصیه‌های آینده آن از نظر ساختاری معیوب خواهد بود، صرف نظر از اینکه الگوریتم زیربنایی چقدر پیچیده باشد.[2]

شواهد مربوط به آمادگی هوش مصنوعی به ویژه هشداردهنده است. گارتنر پیش‌بینی می‌کند که تا سال ۲۰۲۶، سازمان‌ها ۶۰ درصد از پروژه‌های هوش مصنوعی خود را در صورتی که توسط داده‌های آماده هوش مصنوعی پشتیبانی نشوند، کنار خواهند گذاشت. این افزایش هزینه از یک اصل دیرینه هزینه کیفیت پیروی می‌کند: اصلاح خطاها پس از شکل‌دهی الگوریتم‌های پایین‌دستی، به صورت تصاعدی گران‌تر از جلوگیری از آن‌ها در نقطه ورود است.[1]

با وجود این پیامدهای مالی عظیم، اندازه‌گیری هزینه دقیق کیفیت پایین داده‌ها ذاتاً دشوار باقی می‌ماند. شواهد در مورد هزینه‌های مستقیم تطبیق دستی و تحویل‌های ناموفق قوی است، اما در تلاش برای کمی‌سازی فرسایش اعتماد در میان ذینفعان، به طور قابل توجهی ضعیف است. هنگامی که کاربران تجاری به داشبوردهای داخلی اعتماد نمی‌کنند، به طور پنهانی به تصمیم‌گیری مبتنی بر شهود باز می‌گردند.[2]

از آنجا که تأثیرات در بخش‌های مختلف پخش شده است، اکثر سازمان‌ها فاقد یک دیدگاه واحد از بدهی داده‌های خود هستند. یک تیم بازاریابی هزینه ایمیل‌های برگشتی را جذب می‌کند، در حالی که تیم مالی هزینه تطبیق دستی دفتر کل را جذب می‌کند. هیچ یک از بخش‌ها این مسئله را به عنوان یک شکست سیستمی داده‌ها به هیئت مدیره گزارش نمی‌دهند، که اجازه می‌دهد مشکل به عنوان یک ریسک عملیاتی بدون پوشش باقی بماند.

در نهایت، برخورد با کیفیت داده‌ها به عنوان یک فکر ثانویه فنی، یک شکست استراتژیک عمیق است. سازمان‌هایی که با موفقیت این ۱۲ درصد کاهش درآمد را کاهش می‌دهند، صرفاً نرم‌افزار بیشتری نمی‌خرند؛ آن‌ها حاکمیت داده دقیق را اجرا می‌کنند، مالکیت واضحی را تعیین می‌کنند و خطوط لوله داده خود را به عنوان زیرساخت حیاتی ماموریت در نظر می‌گیرند. در چشم‌اندازی که به طور فزاینده‌ای تحت سلطه تصمیم‌گیری خودکار است، داده‌های بکر دیگر صرفاً یک مزیت عملیاتی نیستند—بلکه حداقل الزامات برای بقا هستند.[2]