رمزگشایی از UTF-8: چگونه بیت‌های پیشرو ۱۴۰,۰۰۰ کاراکتر را از گلوگاه قدیمی ASCII عبور می‌دهند

مهندسان سیستم که بهینه‌سازی حافظه را در اولویت قرار می‌دهند، استدلال می‌کنند که هر کاراکتر متنی باید دقیقاً یک بایت فضا اشغال کند؛ محدودیتی که پایگاه‌های داده را سبک و بار کاری شبکه را کم‌حجم نگه می‌دارد. در مقابل، مدافعان بین‌المللی‌سازی پاسخ می‌دهند که یک بایت واحد، با سقف ۲۵۶ مقدار ممکن، از نظر ساختاری اکثر سیستم‌های نوشتاری جهان را حذف می‌کند و برای گنجاندن بیش از ۱۴۰,۰۰۰ کاراکتر جهانی، نیازمند گذار به معماری‌های با عرض ثابت ۱۶ یا ۳۲ بیتی است.[7]

در اوایل دهه ۱۹۹۰، این بن‌بست معماری تهدید می‌کرد که اینترنت را به شبکه‌های منطقه‌ای ناسازگار تجزیه کند. یک استاندارد ثابت ۳۲ بیتی به نام UTF-32 فضای کافی برای همه زبان‌ها فراهم می‌کرد، اما هزینه ذخیره‌سازی متن‌های استاندارد انگلیسی را چهار برابر می‌کرد و بایت‌های تهی را وارد سیستم می‌کرد که عملکردهای برنامه‌نویسی قدیمی C را مختل می‌ساخت.

راه‌حلی که در سال ۱۹۹۳ توسط کن تامپسون و راب پایک رسمیت یافت، یک طرح رمزگذاری با طول متغیر بود که بر اساس کاراکتر خاصی که در حال پردازش است، به صورت پویا از یک تا چهار بایت تغییر مقیاس می‌دهد.[3][7]

ظرافت UTF-8 در مکانیسم سیگنال‌دهی آن نهفته است که به طور دقیق در سند RFC 3629 کارگروه مهندسی اینترنت شرح داده شده است. وقتی سیستمی یک بایت از متن را می‌خواند، بالاترین بیت‌ها را بررسی می‌کند تا نحوه پردازش داده‌ها را تعیین کند. اگر اولین بیت صفر باشد، سیستم فوراً می‌فهمد که با یک کاراکتر استاندارد و یک‌بایتی ASCII سروکار دارد.

همان‌طور که در مشخصات این کارگروه آمده است، «UTF-8 کاراکترهای US-ASCII را در یک هشت‌تایی با همان مقدار معمول US-ASCII رمزگذاری می‌کند»؛ این یعنی هر سند قدیمی از سال ۱۹۷۵ بدون نیاز به حتی یک خط کد تبدیل، در سال ۲۰۲۶ کاملاً معتبر باقی می‌ماند.[1]

وقتی کاراکتری خارج از محدوده ۱۲۸ مقداری ASCII قرار می‌گیرد، مانند یک حرف سیریلیک، یک صامت عربی، یا یک ایموجی مدرن، رمزگذاری به یک توالی چندبایتی تغییر می‌کند. بایت اول این توالی به عنوان یک هدر عمل کرده و طول کل کاراکتر را به پردازنده اعلام می‌کند. بایتی که با بیت‌های ۱۱۰ شروع شود نشان‌دهنده یک کاراکتر دوبایتی است، ۱۱۱۰ سیگنال سه بایت را می‌دهد و ۱۱۱۱۰ یک توالی چهاربایتی را اعلام می‌کند.[1][8]

برای جلوگیری از اینکه کامپیوتر خواندن یک توالی چندبایتی را از وسط شروع کند و خروجی نامفهومی بدهد، UTF-8 از یک مرز ساختاری سخت‌گیرانه استفاده می‌کند. هر بایت بعدی در یک کاراکتر چندبایتی باید با بیت‌های ۱۰ شروع شود. همان‌طور که جان دی.

کوک، ریاضیدان، در تحلیل سال ۲۰۱۹ خود از این پروتکل اشاره می‌کند، این طراحی به این معناست که «شما می‌توانید خواندن یک جریان از بایت‌ها را از هر جایی شروع کنید و فوراً بدانید که آیا در ابتدای یک کاراکتر هستید یا خیر.» اگر پردازنده به بایتی برسد که با ۱۰ شروع می‌شود، به سادگی به عقب برمی‌گردد تا به یک هدر معتبر برسد.[4]

این مسیریابی پویا نیازمند یک بده‌بستان ریاضی میان فضای کاراکتر و سربار ساختاری است. در یک کاراکتر یک‌بایتی ASCII، هفت بیت از هشت بیت حامل داده‌های متنی واقعی هستند که بازدهی بار مفید را به ۸۷.۵ درصد می‌رساند.

با این حال، در یک توالی چهاربایتی، سیستم باید پنج بیت را برای هدر و دو بیت را برای هر یک از سه بایت ادامه‌دهنده صرف کند، که در مجموع ۱۱ بیت صرفاً برای مسیریابی مصرف می‌شود. این امر دقیقاً ۲۱ بیت را برای بار مفید کاراکتر از ۳۲ بیت تخصیص‌یافته باقی می‌گذارد و بازدهی ساختاری را به ۶۵.۶ درصد کاهش می‌دهد.[1][9]

این ۲۱ بیت یک سقف دلخواه نیستند. کنسرسیوم یونیکد حداکثر کد پوینت معتبر را در مبنای شانزده روی 10FFFF تنظیم کرده است که برای نمایش در مبنای دو، دقیقاً به ۲۱ بیت نیاز دارد. با هم‌تراز کردن کامل حداکثر ظرفیت چهاربایتی UTF-8 با حد بالای یونیکد، این پروتکل تضمین می‌کند که می‌تواند تمام ۱,۱۱۲,۰۶۴ کاراکتر ممکن را بدون نیاز به توالی‌های پنج یا شش‌بایتی رمزگذاری کند؛ محدودیتی که کارگروه مهندسی اینترنت در سال ۲۰۰۳ به طور رسمی آن را تثبیت کرد.[1][6]

قوانین سخت‌گیرانه الگوی بیت‌ها همچنین به عنوان یک مرز امنیتی حیاتی عمل می‌کنند. پیاده‌سازی‌های اولیه UTF-8 اجازه «رمزگذاری‌های بیش از حد طولانی» را می‌دادند؛ جایی که یک کاراکتر ساده ASCII مانند یک خط مورب می‌توانست با صفرهای پیشرو پر شده و در دو یا سه بایت رمزگذاری شود.

از آنجا که فیلترهای امنیتی قدیمی فقط نسخه یک‌بایتی یک کاراکتر خطرناک را بررسی می‌کردند، مهاجمان از این رمزگذاری‌های طولانی برای دور زدن محافظت‌های پیمایش دایرکتوری استفاده می‌کردند. رمزگشاهای مدرن UTF-8، با پیروی از دستورالعمل‌های رمزگذاری سال ۲۰۲۰ کنسرسیوم وب جهان‌گستر، هر توالی‌ای را که از بایت‌های بیشتری نسبت به نیاز ریاضی استفاده کند، به شدت رد می‌کنند.[2][5]

تسلط این پروتکل اکنون مطلق است و زیربنای بیش از ۹۸ درصد از تمام صفحات وب در سطح جهان را تشکیل می‌دهد. معماری با طول متغیر ثابت کرد که سازگاری جهانی نیازی به کنار گذاشتن زیرساخت‌های قدیمی ندارد. آستانه فنی بعدی نه بر گسترش ساختار بایت‌ها، بلکه بر این متمرکز است که مدل‌های پردازش زبان طبیعی هنگام آموزش روی مجموعه داده‌های غیرغربی، با چه دقتی این توالی‌های متغیر را نشانه‌گذاری می‌کنند.[2][9]