آنتروپی شانون: کف ریاضیاتی که فشرده‌سازی بی‌نقص داده‌ها را غیرممکن می‌کند

در فیزیک، سرعت نور یک محدودیت سرعت مطلق و غیرقابل شکست برای حرکت ماده در فضا تعیین می‌کند. در علوم کامپیوتر، مفهوم آنتروپی کلود شانون (Claude Shannon) محدودیت مشابهی را وضع می‌کند، با این تفاوت که به جای ماده، بر اطلاعات حاکم است. قضیه کدگذاری منبع شانون که در سال ۱۹۴۸ منتشر شد، ثابت می‌کند که فشرده‌سازی داده‌ها یک کف ریاضیاتی دارد؛ نقطه‌ای که فراتر از آن نمی‌توان یک فایل را بدون نابودی دائمی محتوایش فشرده‌تر کرد. استدلال ما این است که درک این محدودیت، تنها راه برای مسیریابی در چشم‌انداز داده‌های امروزی است؛ جایی که مصالحه بین کیفیت بی‌نقص و حجم کاربردی فایل‌ها، از تصویربرداری پزشکی گرفته تا استریم ویدیو را دیکته می‌کند. قوی‌ترین استدلال مخالف این است که پیشرفت‌های الگوریتمی مدام فایل‌ها را کوچک‌تر می‌کنند و محدودیت‌های نظری را برای کاربران نهایی بی‌اهمیت جلوه می‌دهند. اما واقعیت این است که این الگوریتم‌ها صرفاً در حال نزدیک شدن به کف شانون هستند، نه شکستن آن.[1][3]

این قضیه، آنتروپی را به عنوان میانگین میزان عدم قطعیت یا محتوای اطلاعاتی یک منبع تعریف می‌کند. اگر یک جریان داده بسیار قابل پیش‌بینی باشد - مانند یک فایل متنی حاوی یک میلیون صفر متوالی - آنتروپی آن نزدیک به صفر است و می‌تواند تا کسر کوچکی از حجم اولیه‌اش فشرده شود. اما اگر داده‌ها به شدت غیرقابل پیش‌بینی باشند، آنتروپی آن‌ها بالاست. شانون ثابت کرد که میانگین تعداد بیت‌های مورد نیاز به ازای هر نماد برای کدگذاری بدون افت کیفیت یک منبع، هرگز نمی‌تواند از نرخ آنتروپی آن کمتر شود. همان‌طور که قضیه بیان می‌کند: «مهم نیست روش کدگذاری چقدر کارآمد باشد، نمی‌تواند میانگین تعداد بیت‌هایی به ازای هر نماد تولید کند که کمتر از آنتروپی منبع باشد.» این یک محدودیت در نرم‌افزارهای فعلی نیست؛ بلکه یک قانون بنیادین ریاضیات است.[2][3]

برای درک اهمیت عملی این موضوع، خط پایه داده‌های دیجیتال فشرده‌نشده را در نظر بگیرید. یک کاراکتر متنی استاندارد یا یک پیکسل سیاه‌وسفید منفرد به ۸ بیت فضای ذخیره‌سازی نیاز دارد. بر اساس مدل‌های نظریه اطلاعات، آنتروپی واقعی متن انگلیسی به دلیل فرکانس بالای حروف خاص و ساختارهای قابل پیش‌بینی کلمات، تقریباً ۱ تا ۱.۵ بیت به ازای هر کاراکتر است. این بدان معناست که حداکثر نسبت مطلق فشرده‌سازی بدون افت کیفیت (lossless) برای متن، از نظر ریاضی روی حدود ۸ به ۱ محدود شده است. هیچ الگوریتمی در آینده، هر چقدر هم که پیشرفته باشد، نمی‌تواند یک رمان استاندارد انگلیسی را به کمتر از ۱۲.۵ درصد حجم اولیه‌اش فشرده کند، مگر آنکه کلماتی از آن حذف شوند.[2][4]

در حوزه چندرسانه‌ای، شرایط حتی حساس‌تر است. تصاویر و صداهای طبیعی حاوی نویز ذاتی و تنوع بالایی هستند که آنتروپی آن‌ها را بسیار به خط پایه ۸ بیتی نزدیک می‌کند. الگوریتم‌های فشرده‌سازی بدون افت کیفیت مانند FLAC برای صدا یا PNG برای تصاویر، معمولاً تنها به نسبت فشرده‌سازی ۲ به ۱ یا ۳ به ۱ دست می‌یابند. آن‌ها به سرعت و به طرز شگفت‌آوری به کف شانون برخورد می‌کنند. وقتی کاربری می‌بیند که یک عکس ۱۰ مگابایتی به یک فایل JPEG با حجم ۱ مگابایت (نسبت ۱۰ به ۱) فشرده شده است، در واقع شاهد یک غیرممکنِ ریاضیاتی در قوانین فشرده‌سازی بدون افت کیفیت است. تنها راه برای رسیدن به چنین حجمی، زیر پا گذاشتن قوانین بازسازی بی‌نقص داده‌هاست.[1]

اینجاست که به مصالحه بنیادین می‌رسیم: فشرده‌سازی بدون افت کیفیت (lossless) در برابر فشرده‌سازی با افت کیفیت (lossy). از آنجا که محدودیت شانون قابل دور زدن نیست، مهندسان فشرده‌سازی با افت کیفیت را ابداع کردند که بر نظریه نرخ-اعوجاج (rate-distortion) تکیه دارد. الگوریتم‌های با افت کیفیت، داده‌هایی را که حواس انسان بعید است متوجه آن‌ها شود - مانند تغییرات جزئی رنگ در یک عکس یا فرکانس‌های خارج از محدوده شنوایی انسان در یک فایل MP3 - برای همیشه دور می‌ریزند. با پذیرش مقدار کنترل‌شده‌ای از اعوجاج، این الگوریتم‌ها می‌توانند فایل‌ها را تا کسری از حد آنتروپی‌شان کوچک کنند. داده‌ها از بین رفته‌اند، اما مغز انسان جاهای خالی را پر می‌کند و اجازه می‌دهد فایل‌های عظیم در یک چشم به هم زدن منتقل شوند.

تضاد اصلی در معماری داده‌ها در این انتخاب نهفته است که یک سیستم باید در کدام سوی مرز شانون زندگی کند. برای تصویربرداری پزشکی، نقشه‌برداری زمین‌شناسی و کدهای اجرایی، فشرده‌سازی بدون افت کیفیت کاملاً الزامی است. تغییر تنها یک بیت در فایل باینری یک نرم‌افزار می‌تواند کل سیستم‌عامل را از کار بیندازد و حذف یک پیکسل در اسکن ام‌آر‌آی (MRI) ممکن است توموری در حال رشد را پنهان کند. این حوزه‌ها باید سقف فشرده‌سازی ۲ به ۱ را بپذیرند و هزینه‌های هنگفت ذخیره‌سازی و پهنای باند ناشی از آن را بپردازند. هیچ راهکار ریاضیاتی برای دور زدن آن وجود ندارد؛ وفاداری بی‌نقص به داده‌ها، نیازمند فضا است.[3]

در نقطه مقابل، پلتفرم‌های رسانه‌ای مصرف‌کننده مانند نتفلیکس، اسپاتیفای و یوتیوب بدون فشرده‌سازی با افت کیفیت نمی‌توانستند وجود داشته باشند. آن‌ها با کنار گذاشتن الزام بازسازی بی‌نقص، کف قضیه کدگذاری منبع را به طور کامل دور می‌زنند. یک استریم ویدیوی 4K اگر به محدودیت‌های آنتروپی بدون افت کیفیت مقید بود، به گیگابیت‌ها پهنای باند در ثانیه نیاز داشت؛ اما فشرده‌سازی با افت کیفیت آن را به ۱۵ تا ۲۵ مگابیت در ثانیه کاهش می‌دهد که کاملاً قابل مدیریت است. بهای این کار این است که فایل مستر اصلی استودیو هرگز نمی‌تواند به طور بی‌نقص از استریمی که به تلویزیون مصرف‌کننده می‌رسد، بازسازی شود.

کف ریاضیاتی آنتروپی، نشان‌دهنده شکست مهندسی نیست؛ بلکه یکی از ویژگی‌های بنیادین جهان است. درست همان‌طور که یک جعبه فیزیکی تنها می‌تواند مقدار مشخصی ماده را در خود جای دهد، یک سیگنال دیجیتال نیز تنها تا حد مشخصی قابل فشرده‌سازی است و پس از آن، خود اطلاعات خرد می‌شوند. در شرایطی که هوش مصنوعی و حسگرهای با وضوح بالا حجم بی‌سابقه‌ای از داده‌ها را تولید می‌کنند، مرز بین آنچه باید بی‌نقص نگه داریم و آنچه می‌توانیم به صورت تقریبی ذخیره کنیم، حیاتی‌تر از همیشه خواهد شد. تصمیم‌گیری در نهایت به یک پرسش ساده و غیرقابل بازگشت ختم می‌شود: آیا حاضرید داده‌ها را برای همیشه از دست بدهید؟[4]