چگونه کدهای پاک‌شدگی رید-سولومون بقای داده‌های ابری را با نصف سربار ذخیره‌سازی تضمین می‌کنند

برای بازسازی فایلی که تکه‌تکه شده با تکیه بر اطلاعات توازن ریاضی، شبکه داخلی یک ارائه‌دهنده خدمات ابری باید قطعات داده را از مراکز داده مجزا پیش از خرابی دیسک دوم فوراً فراخوانی کند. اگر پهنای باند میان رک‌ها هنگام بازسازی گلوگاه شود، محاسبات ریاضی بقای داده دیگر عملاً بی‌اثر خواهند بود.[8]

همین محدودیت شبکه است که نحوه ذخیره اطلاعات در اینترنت مدرن را دیکته می‌کند. برای دهه‌ها، روش پیش‌فرض برای جلوگیری از نابودی داده‌ها صرفاً تکثیر سه‌گانه بود؛ یعنی ذخیره کپی کامل هر فایل روی سه درایو فیزیکی کاملاً مجزا.[2]

تکثیر سه‌گانه تضمین می‌کند که اگر دو درایو به‌طور همزمان از کار بیفتند، داده‌ها روی دیسک سوم دست‌نخورده باقی می‌مانند. با این حال، این رویکرد سنتی و کم‌بازده نیازمند سه مگابایت حافظه فیزیکی به ازای هر یک مگابایت داده کاربر است؛ سربار عظیمی که در مقیاس اگزابایت از نظر مالی توجیه‌ناپذیر می‌شود.[3]

برای گریز از این بن‌بست فیزیکی، غول‌های ابری در مقیاس ابربزرگ، تکثیر ساده را برای داده‌های کم‌مصرف کنار گذاشته و به کدهای پاک‌شدگی رید-سولومون روی آوردند. این روش الگوریتمی، ماندگاری داده‌ها در استاندارد صنعتی یازده نُه را حفظ می‌کند و در عین حال سربار ذخیره‌سازی را بیش از پنجاه درصد کاهش می‌دهد.[5]

ریاضیات بقا

کدهای پاک‌شدگی ایده نگهداری نسخه‌های یکسان و کامل از فایل را دور می‌ریزند. در عوض، نرم‌افزار سامانه ذخیره‌سازی شیء ورودی را به تعدادی قطعه هم‌اندازه تقسیم می‌کند که در ادبیات ریاضی معمولاً با متغیر k نام‌گذاری می‌شوند.[1]

سپس سامانه این قطعات داده را از یک الگوریتم چندجمله‌ای عبور می‌دهد تا مجموعه‌ای از قطعات توازن یا برابری تولید کند. در یک پیکربندی معمول، ده قطعه داده به چهار قطعه توازن منجر می‌شود و در مجموع چهارده قطعه روی رک‌های سرور مختلف توزیع می‌شوند.[4]

ویژگی ریاضی ماتریس رید-سولومون تضمین می‌کند که فایل اصلی دقیقاً از هر k قطعه بازمانده قابل بازسازی است. در یک ترکیب ده‌به‌علاوه-چهار، سامانه تنها به ده قطعه از چهارده قطعه برای بازسازی فایل نیاز دارد؛ یعنی چهار دیسک مجزا می‌توانند همزمان بسوزند بدون آنکه داده‌ای از بین برود.[6]

ریاضیات پشت این ساختار بر پایه‌ میدان‌های گالوا بنا شده است؛ شاخه‌ای از حساب میدان‌های متناهی که در آن جمع و ضرب همواره در یک محدوده ثابت خروجی می‌دهند. این امر مانع از سرریز محاسبات چندجمله‌ای از حدود تعیین‌شده اعداد صحیح در پردازنده‌ها می‌شود.[6]

جیمز پلنک، پژوهشگر علوم رایانه در دانشگاه تنسی، راهنمایی بنیادین در زمینه اعمال این ماتریس‌ها روی آرایه‌های ذخیره‌سازی نگاشته است. کار او نشان داد چگونه با بهینه‌سازی گونه‌های ماتریس کوشی در رید-سولومون، می‌توان بار پردازشی روی پردازنده‌های استاندارد سرور را کاهش داد.[6]

در مستندات پلتفرم ذخیره‌سازی توزیع‌شده سپ آمده است: «کدگذاری پاک‌شدگی اساساً معامله‌ای بین چرخه‌های پردازنده و فضای دیسک فیزیکی است.» پردازنده باید برای هر عملیات نوشتن، وارون‌سازی پیچیده ماتریسی انجام دهد و قدرت محاسباتی را فدای صرفه‌جویی در دیسک‌های سخت کند.[1]

معادله سربار

اثر مالی این جابه‌جایی الگوریتمی در ابعاد ابری حیرت‌آور است. یک سامانه تکثیر سه‌گانه سنتی برای یک پتابایت داده مشتری، نیازمند سه پتابایت دیسک فیزیکی خام تنها برای برقراری حاشیه امنیت پایه است.[2]

در مقابل، یک طرح کدگذاری پاک‌شدگی ده‌به‌علاوه-چهار برای حفظ همان یک پتابایت داده فقط به ۱.۴ پتابایت فضای خام احتیاج دارد. سربار ذخیره‌سازی از ۲۰۰ درصد به ۴۰ درصد کاهش می‌یابد و در عین حال تاب‌آوری در برابر خرابی همزمان از دو دیسک به چهار دیسک ارتقا پیدا می‌کند.[4]

بک‌بلیز، از ارائه‌دهندگان مطرح ذخیره‌سازی ابری، ساختار رید-سولومون با نسبت پانزده‌به‌علاوه-پنج را به کار می‌برد. این معماری فایل‌ها را به پانزده بخش داده و پنج بخش توازن تقسیم کرده و در بیست محفظه مجزا می‌نشاند تا حتی سوختن کامل یک شاسی سرور باعث از بین رفتن داده نشود.[7]

این پیکربندی با سربار ناچیز ۳۳ درصدی کار می‌کند، با این وجود توان تاب‌آوری در برابر نابودی همزمان هر پنج درایو در آرایه را دارد. این شرکت پیاده‌سازی مبتنی بر جاوا خود را در سال ۲۰۱۵ به‌شکل متن‌باز عرضه کرد تا دیگر توسعه‌دهندگان ناچار به نوشتن ریاضیات پیچیده ماتریسی از ابتدا نباشند.[7]

صرفه‌جویی در این مقیاس، فراتر از فاکتور خرید فیزیکی هارد دیسک‌هاست. حذف ۱.۶ پتابایت دیسک گردان از یک مرکز داده به‌طور مداوم مصرف برق، نیاز به سیستم‌های خنک‌کننده حرارتی و فضای اشغال‌شده رک‌ها را حذف می‌کند.[3]

پژوهش مایکروسافت همین انتقال ساختاری را در معماری ذخیره‌سازی آژور مستند کرده و نشان داده که رشد انفجاری داده‌ها ادامه تکثیر سنتی را ناممکن ساخت. با استفاده از کدهای پاک‌شدگی اختصاصی، آژور فضای سخت‌افزاری خود را کاهش داد و در عین حال استانداردهای سخت‌گیرانه بقا را حفظ کرد.[3]

جریمه بازسازی در شبکه

نقطه آسیب‌پذیری اصلی کدهای پاک‌شدگی نه در شرایط عادی، بلکه دقیقاً هنگام خرابی ناگزیر یک دیسک سخت نمایان می‌شود. در سامانه‌های تکثیر سنتی، خرابی دیسک تنها مستلزم یک کپی ترتیبی ساده از فایل دست‌نخورده روی دیسک جایگزین است.[8]

اما بازسازی یک قطعه مفقود در کدهای پاک‌شدگی مستلزم هجوم سنگین ترافیک به شبکه داخلی است. خوشه ذخیره‌سازی باید در سراسر شبکه قطعات بازمانده را بخواند، به پردازنده مرکزی برساند، قطعه گمشده را مجدداً محاسبه کند و در دیسک جدید بنویسد.[1]

این بازسازی بار سنگینی روی پهنای باند میان رک‌ها و چرخه پردازنده وارد می‌کند و رقابتی با زمان به راه می‌اندازد. سامانه باید این محاسبه را قبل از آنکه خرابی دیسک‌های بعدی از آستانه توازن فراتر برود، کامل کند.[8]

فیسبوک سامانه ذخیره‌سازی f4 خود را دقیقاً با هدف مهار این جریمه سنگین بازسازی مهندسی کرد. این شبکه اجتماعی با محدود کردن کدهای پاک‌شدگی به عکس‌ها و ویدیوهای کم‌مراجعه، ترافیک سنگین بازسازی توازن را از پایگاه‌های داده بلادرنگ جدا کرد.[4]

کالبدشکافی یازده نُه

شرکت‌های ابری معمولاً پلتفرم‌های ذخیره‌سازی شیء خود مانند آمازون S3 را با ادعای پایداری ۹۹.۹۹۹۹۹۹۹۹۹ درصدی تبلیغ می‌کنند. این شاخص یازده نُه، یک مدل‌سازی آماری از احتمال است، نه تضمینی تاریخی برای زمان دردسترس‌بودن یا ایمنی کامل در برابر قطعی سرویس.[5]

پایداری تنها احتمال سالانه نابودی دائمی یک فایل به علت نقص فنی سخت‌افزار را برآورد می‌کند. یازده نُه یعنی اگر کاربری ده میلیون فایل ذخیره کند، احتمالاً در هر ده‌هزار سال فقط یک فایل به دلیل تخریب دیسک از بین خواهد رفت.[2]

این شاخص فرض را بر مستقل بودن خرابی دیسک‌ها و روند بازسازی خودکار سریع می‌گذارد. رویدادهایی با وابستگی مستقیم، مانند آتش‌سوزی در مرکز داده، باج‌افزارها یا باگ‌های نرم‌افزاری که کل پایگاه را پاک می‌کنند، در این محاسبه آماری جایی ندارند.[8]

مایکروسافت آژور با توجه به سطوح افزونگی، پیکربندی‌های مختلفی از قطعات را اجرا می‌کند. ذخیره‌سازی محلی همه قطعات را در یک مرکز نگه می‌دارد، در حالی که در ذخیره‌سازی جغرافیایی، بلوک‌ها به منطقه‌ای با فاصله صدها کیلومتر منتقل می‌شوند.[3]

پایداری با دردسترس‌بودن کاملاً متفاوت است؛ مؤلفه دوم نشان می‌دهد کاربر در لحظه آیا به فایل خود دسترسی دارد یا خیر. یک خوشه ذخیره‌سازی ممکن است بر اثر خطای مسیریابی شبکه کاملاً قطع باشد، در حالی که بقای فیزیکی و ریاضی داده‌ها روی دیسک‌ها دست‌نخورده باقی مانده است.[8]

خدمات وب آمازون رسماً این دو مفهوم را در توافق‌نامه سطح خدمات خود تفکیک کرده است. در حالی که ذخیره‌سازی استاندارد S3 ادعای پایداری یازده نُه دارد، سطح دسترسی آن ۹۹.۹۹ درصد تضمین می‌شود و نشان می‌دهد اختلالات شبکه گاه‌وبیگاه دسترسی را موقتاً قطع می‌کنند.[5]

محدودیت فایل‌های کوچک

با وجود تمام این دستاوردها، رید-سولومون به خاطر فیزیک فایل‌های بسیار کوچک نمی‌تواند جایگزین تکثیر سه‌گانه شود. خرد کردن یک فایل متنی چهار کیلوبایتی به پانزده قطعه، سربار ابرداده و ردگیری سنگینی ایجاد می‌کند که کنترلر ذخیره‌سازی را زیر فشار می‌برد.[1]

ابرداده موردنیاز برای ردیابی موقعیت فیزیکی چهارده قطعه، اغلب حجمی بیشتر از خود قطعات اشغال می‌کند. افزون بر این، خواندن یک فایل کوچک نیازمند چهارده عملیات جستجوی مجزا روی دیسک‌ها است که تأخیر خواندن را نابود کرده و کارایی آرایه را مختل می‌سازد.[4]

برای دور زدن این بن‌بست، سامانه‌های نوین به‌صورت ترکیبی عمل می‌کنند. آن‌ها تکثیر سه‌گانه را برای فایل‌های کوچک، پایگاه‌های داده و حجم‌های حساس به تأخیر حفظ کرده و کدهای پاک‌شدگی را برای اشیاء بزرگ مانند ویدیوها و فایل‌های پشتیبان به کار می‌گیرند.[1]

با شتاب تولید داده‌ها در سراسر جهان، حیات اقتصادی فضای ابری ابربزرگ کاملاً به این شعبده‌بازی ریاضی وابسته است. بدون جبر میدان‌های گالوا در کدهای پاک‌شدگی، ردپای فیزیکی اینترنت کنونی بیش از دو برابر ابعاد فعلی آن می‌شد.[3][9]