سازوکار توکن‌سازی: چگونه متن به عدد تبدیل می‌شود و پنجره متنی مدل‌های زبان بزرگ را تعریف می‌کند

هنگامی که کاربر فرمانی را در یک مدل زبان بزرگ (LLM) تایپ می‌کند، هوش مصنوعی حروف، کلمات یا جملات را نمی‌بیند. بلکه یک دنباله از اعداد را مشاهده می‌کند. لایه ترجمه بین زبان انسانی و ریاضیات ماشین، توکن‌سازی نامیده می‌شود و این گلوگاه نامرئی است که هم قابلیت‌ها و هم محدودیت‌های سخت هوش مصنوعی مدرن را تعریف می‌کند.[4][5]

توکن، واحد بنیادی داده‌ای است که توسط مدل زبان بزرگ پردازش می‌شود. لزوماً یک کلمه کامل نیست؛ می‌تواند یک کاراکتر، یک هجا، یا یک عبارت رایج باشد. فرآیند تجزیه متن به این واحدها توسط الگوریتم‌هایی کنترل می‌شود که رایج‌ترین آن‌ها رمزگذاری جفت بایت (BPE) است. BPE با ادغام مکرر جفت‌های کاراکتر یا بایت‌هایی که بیشترین تکرار را در مجموعه داده آموزشی دارند، کار می‌کند تا زمانی که به اندازه واژگان از پیش تعریف شده‌ای برسد.[1][5]

این سازوکار فشرده‌سازی برای کلمات رایج انگلیسی بسیار کارآمد است. کلمه «apple» ممکن است یک توکن واحد باشد. با این حال، کلمات کمتر رایج، اسامی خاص، یا کلمات در زبان‌های دیگر ممکن است به چندین توکن تقسیم شوند.

به عنوان مثال، یک اصطلاح فنی پیچیده ممکن است به سه یا چهار شناسه عددی مجزا تجزیه شود. این تفاوت توضیح می‌دهد که چرا مدل‌های زبان بزرگ، انگلیسی را کارآمدتر از بسیاری از زبان‌های دیگر پردازش می‌کنند، زیرا نسبت توکن به کلمه در انگلیسی پایین‌تر است و ظرفیت پردازشی کمتری از مدل را مصرف می‌کند.[1][4]

نحوه توکن‌سازی متن مستقیماً بر توانایی مدل زبان بزرگ در انجام وظایف خاصی تأثیر می‌گذارد. از آنجا که مدل بر اساس توکن‌ها عمل می‌کند نه کاراکترهای مجزا، ذاتاً فاقد درک در سطح کاراکتر از متنی است که تولید می‌کند.

به همین دلیل است که مدل‌های زبان بزرگ اغلب در وظایفی مانند شمردن تعداد حرف «r» در کلمه «strawberry»، نوشتن اشعار سرواژه‌ای (acrostic poems)، یا معکوس کردن املای یک کلمه دچار مشکل می‌شوند. مدل «نمی‌داند» یک کلمه چگونه هجی می‌شود؛ بلکه فقط رابطه آماری بین توکنی که نماینده آن کلمه است و توکن‌های دیگر را می‌داند.[1][5]

توکن‌سازی به طور ناگسستنی با مفهوم پنجره متنی گره خورده است. پنجره متنی حداکثر تعداد توکن‌هایی است که یک مدل زبان بزرگ می‌تواند در یک زمان در حافظه فعال خود نگه دارد، که شامل هم فرمان کاربر و هم پاسخ تولید شده توسط مدل می‌شود. اگر مدلی دارای پنجره متنی ۱۲۸٬۰۰۰ توکنی باشد، می‌تواند تقریباً معادل یک کتاب ۳۰۰ صفحه‌ای را در یک تعامل واحد پردازش کند.[2][3]

هنگامی که یک مکالمه یا سند از پنجره متنی فراتر می‌رود، مدل شروع به «فراموش کردن» اطلاعات اولیه می‌کند. این فرآیند بر اساس اصل پنجره کشویی عمل می‌کند و قدیمی‌ترین توکن‌ها را حذف می‌کند تا فضایی برای توکن‌های جدید باز شود. این محدودیت یک قید فیزیکی سخت است که توسط معماری ترنسفورمر دیکته شده است، جایی که هزینه محاسباتی پردازش توکن‌ها به صورت درجه دوم (quadratic) با طول دنباله افزایش می‌یابد.[2][3]

اندازه پنجره متنی یک میدان نبرد اصلی در توسعه هوش مصنوعی است. مدل‌های اولیه به چند هزار توکن محدود بودند و آن‌ها را به مکالمات کوتاه یا خلاصه‌سازی محدود می‌کردند. مدل‌های پیشرفته مدرن دارای پنجره‌های متنی از ۱۲۸٬۰۰۰ تا بیش از یک میلیون توکن هستند که آن‌ها را قادر می‌سازد کل پایگاه‌های کد را تحلیل کنند، چندین سند طولانی را ترکیب نمایند، یا انسجام را در تعاملات طولانی‌مدت حفظ کنند.[2][4]

با این حال، صرفاً گسترش پنجره متنی، بازیابی کامل اطلاعات را تضمین نمی‌کند. تحقیقات نشان می‌دهد که مدل‌ها اغلب از پدیده «گم‌شده در میانه» رنج می‌برند، به این صورت که می‌توانند اطلاعات را از همان ابتدا یا انتهای یک فرمان طولانی به دقت بازیابی کنند، اما برای استخراج حقایق دفن شده در میانه یک پنجره متنی عظیم دچار مشکل می‌شوند. این کاهش عملکرد، تفاوت بین ظرفیت نظری و کاربرد عملی را برجسته می‌کند.[3][5]

اقتصاد هوش مصنوعی نیز به توکن‌سازی گره خورده است. ارائه‌دهندگان API معمولاً توسعه‌دهندگان را بر اساس تعداد توکن‌های پردازش شده — هم ورودی (فرمان) و هم خروجی (متن تولید شده) — شارژ می‌کنند. بنابراین، توکن‌سازی کارآمد تنها یک ضرورت فنی نیست؛ بلکه یک الزام مالی است. یک توکن‌ساز که متن را مؤثرتر فشرده می‌کند، هزینه اجرای مدل را کاهش داده و اجازه می‌دهد اطلاعات بیشتری در پنجره متنی جای گیرد.[4][5]

با چندوجهی شدن مدل‌های هوش مصنوعی، که تصاویر، صدا و ویدئو را در کنار متن پردازش می‌کنند، مفهوم توکن‌سازی در حال گسترش است. داده‌های بصری به «تکه‌های تصویر» (image patches) یا توکن‌های بصری تجزیه می‌شوند، که به معماری ترنسفورمر اجازه می‌دهد تا با استفاده از همان چارچوب ریاضی زیربنایی، وجوه مختلف را پردازش کند. این رویکرد یکپارچه به توکن‌سازی، زیربنای نسل بعدی سیستم‌های هوش مصنوعی است که قادر به استدلال در میان اشکال مختلف داده هستند.[5]

با وجود این پیشرفت‌ها، سازوکارهای بنیادی توکن‌سازی متن همچنان یک حوزه حیاتی برای مطالعه باقی مانده است. محققان در حال بررسی رویکردهای جایگزین برای BPE هستند و به دنبال روش‌هایی می‌گردند که در زبان‌های مختلف عادلانه‌تر بوده و برای استدلال در سطح کاراکتر قوی‌تر باشند. تا زمانی که یک تغییر پارادایم رخ دهد، درک اینکه چگونه متن به عدد تبدیل می‌شود، برای هر کسی که به دنبال تسلط بر قابلیت‌ها و محدودیت‌های مدل‌های زبان بزرگ است، ضروری است.[1][5]