راهنمای استقرار مدل زبان بزرگ محلی: VRAM، کوانتیزاسیون و پنجره‌های متنی

یک مدل زبان ۳۵ میلیارد پارامتری در حالت خام و فشرده نشده، برای اجرا به حدود ۷۰ گیگابایت حافظه ویدیویی نیاز دارد—حجمی که سخت‌افزار دیتاسنتر را می‌طلبد. برای توسعه‌دهندگان و علاقه‌مندانی که در سال ۲۰۲۶ قصد اجرای هوش مصنوعی به صورت محلی را دارند، این مانع سخت‌افزاری، محدودیت اصلی است. واحد پردازش گرافیکی (GPU) داخل یک ایستگاه کاری مصرف‌کننده باید کل مدل را در حافظه ویدیویی (VRAM) خود نگه دارد تا متن را با سرعت قابل استفاده تولید کند. اگر مدل به RAM سیستم معمولی سرریز کند، استنتاج به شدت کند می‌شود.

راه‌حلی که استقرار محلی را ممکن می‌سازد، کوانتیزاسیون است. با فشرده‌سازی وزن‌های مدل از دقت ۱۶ بیتی به ۴ بیتی با استفاده از فرمت GGUF، همان مدل ۳۵ میلیارد پارامتری به طرز چشمگیری کوچک می‌شود. بر اساس داده‌های بنچمارک LocalLLM، یک مدل ۳۵B که به استاندارد رایج Q4_K_M کوانتیزه شده است، تنها به ۲۱.۰۶ گیگابایت برای وزن‌های خود نیاز دارد.[1]

اما وزن‌ها تنها خط مبنا هستند. هر توکن متنی که به مدل داده می‌شود—دستور سیستم، سندی که خلاصه می‌شود، تاریخچه چت در حال انجام—حافظه اضافی را در چیزی که به عنوان حافظه کش کلید-مقدار (KV Cache) شناخته می‌شود، مصرف می‌کند. یک راهنمای استقرار ۲۰۲۶ از QWE اشاره می‌کند: «میزان VRAM جایی است که اکثر مردم دست کم می‌گیرند. وزن‌های یک مدل ۷B Q4_K_M حدود ۴.۱ گیگابایت است – اما حافظه کش KV و بافرهای محاسباتی در یک زمینه متنی بزرگ می‌توانند کل مصرف را چندین گیگابایت افزایش دهند.»[5]

برای یک مدل ۳۵B، حفظ یک پنجره متنی ۳۲,۰۰۰ توکنی، ۰.۶۱ گیگابایت به ردپای حافظه اضافه می‌کند، در حالی که بک‌اند llama.cpp به یک سربار پایه ۰.۷۵ گیگابایتی نیاز دارد. در مجموع، کل نیاز VRAM به ۲۲.۴۲ گیگابایت می‌رسد.[1]

این عدد خاص، تصمیمات خرید سخت‌افزار را دیکته می‌کند، زیرا پرچمدار GPU مصرف‌کننده در بازار—NVIDIA RTX 4090، که در اکتبر ۲۰۲۲ عرضه شد و همچنان با قیمت حدود ۳,۴۹۴ دلار خرده‌فروشی می‌شود—دقیقاً ۲۴ گیگابایت VRAM از نوع GDDR6X دارد. ردپای ۲۲.۴۲ گیگابایتی تنها ۱.۵۸ گیگابایت فضای خالی باقی می‌گذارد و ۳۵ میلیارد پارامتر را به عنوان سقف مطلق برای یک کارت گرافیک مصرف‌کننده تکی تعیین می‌کند.[1][4][6]

تلاش برای اجرای چیزی بزرگتر روی یک کارت تکی منجر به شکست می‌شود. یک مدل ۷۰ میلیارد پارامتری، حتی اگر به شدت به ۴ بیت کوانتیزه شود، به حدود ۴۰ تا ۴۴ گیگابایت VRAM نیاز دارد. از آنجایی که NVIDIA پشتیبانی NVLink را در RTX 4090 محدود می‌کند، جفت کردن دو کارت ۲۴ گیگابایتی، سیستم را مجبور می‌کند تا از طریق گذرگاه PCIe کندتر ارتباط برقرار کند، که سرعت استنتاج موازی تانسور را کاهش می‌دهد.[2][3][4]

تحلیل سخت‌افزاری GMI Cloud توضیح می‌دهد: «بهترین GPU برای کار LLM محلی، کارتی نیست که بالاترین TFLOPs را در برگه مشخصات دارد. بلکه کارتی است که مدل شما را در VRAM جای دهد، با مصرف برقی کار کند که پریز برق و سیستم خنک‌کننده شما بتواند تحمل کند، و سیستمی را برای شما به جا بگذارد که نیازی به یک هفته درگیری با درایورها نداشته باشد.»[2]

برای کاربرانی که به ۳۵ میلیارد پارامتر نیاز ندارند، محاسبات سخت‌افزاری بسیار آسان‌تر می‌شود. یک مدل ۱۴ میلیارد پارامتری به راحتی در ۱۲ گیگابایت VRAM جای می‌گیرد، که کارت‌های میان‌رده‌ای مانند RTX 4070 Ti را بسیار توانمند می‌سازد. مدل‌های کوچک‌تر ۷B تا ۹B تنها به ۸ گیگابایت VRAM نیاز دارند و امکان اجرا روی GPUهای سطح پایه مانند RTX 4060 را فراهم می‌کنند.[1][3]

استثنا در سلطه مصرف‌کننده NVIDIA، تراشه‌های Apple Silicon است. از آنجایی که تراشه‌های سری M اپل از حافظه یکپارچه (Unified Memory) استفاده می‌کنند، GPU می‌تواند به کل استخر RAM سیستم دسترسی داشته باشد. یک مک M3 یا M5 Max با ۶۴ گیگابایت یا ۱۲۸ گیگابایت حافظه یکپارچه می‌تواند یک مدل ۷۰B را به طور کامل در VRAM بارگذاری کند بدون نیاز به تقسیم‌بندی چند-GPU. اگرچه پهنای باند حافظه کمتر از یک RTX 4090 اختصاصی است—که منجر به تولید توکن کندتر می‌شود—اما ظرفیت محض به سخت‌افزار اپل اجازه می‌دهد مدل‌هایی را اجرا کند که در غیر این صورت به کارت‌های حرفه‌ای دیتاسنتر نیاز دارند.[3]

چشم‌انداز هوش مصنوعی محلی در سال ۲۰۲۶ کاملاً توسط این محاسبات حافظه تعریف می‌شود. توسعه‌دهندگان ابتدا باید اندازه مدل و پنجره متنی مورد نظر خود را ترسیم کنند، ردپای کوانتیزه شده را محاسبه کنند، و تنها پس از آن سخت‌افزاری را خریداری کنند که VRAM لازم را فراهم کند. همانطور که مدل‌ها به رشد خود ادامه می‌دهند، محدودیت فیزیکی سخت حافظه ویدیویی مصرف‌کننده، مهم‌ترین مشخصه در استقرار محلی باقی می‌ماند.[2]