چرا استفاده از هوش مصنوعی به زبان‌های غیرانگلیسی گران‌تر است؟ کشف «مالیات پنهان» در توکنایزرها

در دنیای مدل‌های زبانی بزرگ، کلمات واحد شمارش نیستند؛ بلکه همه‌چیز با قطعات کوچکی به نام «توکن» اندازه‌گیری می‌شود. بررسی‌های منتشرشده در اواخر اکتبر ۲۰۲۶ نشان می‌دهد که این شیوه محاسبه، یک نابرابری ساختاری عمیق ایجاد کرده است. کاربرانی که به زبان‌هایی غیر از انگلیسی با هوش مصنوعی کار می‌کنند، برای پردازش یک مفهوم واحد باید توکن‌های بسیار بیشتری مصرف کنند.[1][4]

این پدیده که پژوهشگران آن را «مالیات پنهان زبان» می‌نامند، مستقیماً روی هزینه‌های نهایی و کارایی مدل تأثیر می‌گذارد. توکنایزرها (Tokenizer) که وظیفه خرد کردن متن به قطعات قابل فهم برای ماشین را دارند، عمدتاً با داده‌های انگلیسی آموزش دیده‌اند. در نتیجه، یک کلمه رایج انگلیسی معمولاً یک توکن محسوب می‌شود، اما همان کلمه در زبان‌های دیگر به چندین توکن بی‌معنی تجزیه می‌گردد.[1][3]

بیشتر مدل‌های امروزی از روشی به نام «رمزگذاری جفت‌بایت» (BPE) استفاده می‌کنند که کاراکترهای پرکاربرد را با هم ترکیب می‌کند. از آنجا که الفبای لاتین در داده‌های آموزشی غالب است، کلمات انگلیسی بهینه‌ترین ترکیب‌ها را دریافت می‌کنند. اما در زبان‌هایی با الفبای غیرلاتین مانند فارسی، عربی یا هندی، کلمات به کاراکترهای منفرد یا حتی بایت‌های خام شکسته می‌شوند که تعداد توکن‌ها را به شدت افزایش می‌دهد.[1][4]

بررسی‌های اخیر روی توکنایزرهای مختلف نشان می‌دهد که این اختلاف بسیار چشمگیر و قابل اندازه‌گیری است. به عنوان مثال، پردازش یک متن ثابت به زبان هندی حدود ۲٫۲ برابر و به زبان تلوگو تا ۴٫۹ برابر بیشتر از انگلیسی توکن مصرف می‌کند. حتی زبان‌های اروپایی مانند فرانسوی نیز بر اساس معماری مدل، بین ۳۱ تا ۵۸ درصد توکن بیشتری نسبت به انگلیسی نیاز دارند.[1][4]

این اختلاف فقط یک مسئله فنی نیست؛ بلکه مستقیماً به معنای پرداخت پول بیشتر برای سرویس‌های هوش مصنوعی است. از آنجا که شرکت‌هایی مانند OpenAI و گوگل هزینه خدمات خود را بر اساس تعداد توکن‌های ورودی و خروجی محاسبه می‌کنند، یک درخواست طولانی به زبان فارسی می‌تواند تا چند برابر گران‌تر از همان درخواست به زبان انگلیسی تمام شود.[3]

علاوه بر زبان‌های طبیعی، این مشکل در پردازش کدهای برنامه‌نویسی و فایل‌های لاگ نیز دیده می‌شود. شناسه‌های تصادفی و کدهای هگزادسیمال به دلیل نداشتن ساختار تکرارشونده، به ازای هر کاراکتر یک توکن مصرف می‌کنند. در یک بررسی مشخص شد که پردازش یک فایل لاگ ۵۰۰ خطی می‌تواند بیش از ۳۱ هزار توکن هزینه داشته باشد، صرفاً به این دلیل که توکنایزر نمی‌تواند شناسه‌های طولانی را فشرده کند.[1]

فراتر از هزینه‌های مستقیم، این موضوع باعث پر شدن سریع‌تر «پنجره زمینه» (Context Window) مدل‌های زبانی می‌شود. وقتی یک متن به توکن‌های بیشتری تجزیه شود، حافظه کوتاه‌مدت هوش مصنوعی بسیار زودتر از حد معمول اشغال می‌گردد. این یعنی کاربران غیرانگلیسی‌زبان نمی‌توانند اسناد طولانی‌تری را به مدل بدهند یا مکالمات پیچیده را بدون فراموشی مدل پیش ببرند.[1][2]

با این حال، برخی از شرکت‌ها در حال تغییر معماری توکنایزرهای خود برای کاهش این شکاف هستند. در به‌روزرسانی‌های اخیر اکتبر ۲۰۲۶، توکنایزر جدید مدل Gemini 4 Argon گوگل توانسته هزینه پردازش زبان‌های کره‌ای و ژاپنی را حدود ۸ درصد کاهش دهد. اما در همین مدل، هزینه پردازش برخی زبان‌های هندی تا ۱۹ درصد افزایش یافته است.[2]

این تغییرات نشان می‌دهد که بهینه‌سازی دایره واژگان توکنایزر برای یک زبان، ممکن است به قیمت افت کارایی برای زبان‌های دیگر تمام شود. مدل‌های توسعه‌یافته در چین مانند Qwen 3.8 و DeepSeek V4 با اختصاص بخش بزرگی از دایره واژگان خود به کاراکترهای چینی، توانسته‌اند هزینه پردازش این زبان را حتی از انگلیسی ارزان‌تر کنند.[4]

یکی از راهکارهای عملی برای کاهش این هزینه‌ها، استفاده از قابلیت «کش کردن پرامپت» (Prompt Caching) است. زمانی که یک متن ثابت مانند دستورالعمل‌های سیستم به دفعات تکرار می‌شود، ارائه‌دهندگان هزینه توکن‌های کش‌شده را تا ۹۰ درصد کاهش می‌دهند. این روش می‌تواند تأثیر مالیات زبان را برای درخواست‌های تکراری به شکل قابل‌توجهی خنثی کند.[1][3]

برای توسعه‌دهندگانی که محصولات چندزبانه می‌سازند، آگاهی از این تفاوت‌های ساختاری کاملاً ضروری است. تخمین هزینه‌های زیرساخت صرفاً بر اساس بنچمارک‌های انگلیسی می‌تواند به صدور صورت‌حساب‌های غیرمنتظره و سنگین منجر شود. تا زمانی که معماری مدل‌های زبانی به سمت برابری زبانی حرکت نکند، ارزیابی دقیق مصرف توکن پیش از عرضه محصول الزامی است.[1][3]