رفتن به محتوای اصلی
توضیح کوهستانمعماری LLMکالبدشکافی۹ شهریور ۱۴۰۵، ۱:۱۸· 6 دقیقه مطالعه· در فناوری

کالبدشکافی مدل‌های زبانی بزرگ (LLM): چرا هوش مصنوعی واقعاً «فکر» نمی‌کند و فقط کلمه بعدی را حدس می‌زند؟

پشت پاسخ‌های هوشمندانه و استدلال‌های ظاهری چت‌بات‌های مدرن، هیچ مغز متفکری وجود ندارد؛ آن‌ها تنها سیستم‌های آماری قدرتمندی هستند که محتمل‌ترین کلمه بعدی را پیش‌بینی می‌کنند.

به قلم ایمان شریعتی

پژوهشگران اخلاق هوش مصنوعی 35%توسعه‌دهندگان تجاری 35%کاربران عمل‌گرا 30%
پژوهشگران اخلاق هوش مصنوعی
معتقدند که مدل‌های زبانی تنها طوطی‌های تصادفی هستند که درک واقعی ندارند.
توسعه‌دهندگان تجاری
بر این باورند که مقیاس‌پذیری و پیش‌بینی کلمه بعدی، به نوعی استدلال نوظهور منجر شده است.
کاربران عمل‌گرا
تمرکز آن‌ها بر کاربرد ابزاری است، فارغ از اینکه مدل واقعاً فکر می‌کند یا خیر.

نکات کلیدی

  1. هوش مصنوعی مدرن بر اساس مکانیزم ساده «پیش‌بینی کلمه بعدی» کار می‌کند و تفکر منطقی ندارد.
  2. معماری ترانسفورمر (Transformer) با پردازش موازی متن، انقلاب مدل‌های زبانی بزرگ را رقم زد.
  3. اصطلاح «طوطی تصادفی» نشان می‌دهد که این مدل‌ها زبان را بدون درک معنای واقعی آن تقلید می‌کنند.
  4. توهمات هوش مصنوعی ناشی از ماهیت آماری آن است، زیرا مدل مفهومی از حقیقت یا دروغ ندارد.
  5. شناخت این محدودیت‌ها به کاربران کمک می‌کند تا از هوش مصنوعی به عنوان یک ابزار، نه یک مرجع بی‌نقص، استفاده کنند.

وقتی با ابزارهایی مانند چت‌جی‌پی‌تی (ChatGPT) یا کلود (Claude) گفتگو می‌کنید، به راحتی ممکن است احساس کنید که یک ذهن هوشمند در آن سوی صفحه نمایش نشسته است. این سیستم‌ها به سؤالات پیچیده پاسخ می‌دهند، کدهای برنامه‌نویسی می‌نویسند و حتی با لحنی همدلانه بحث می‌کنند. بزرگ‌ترین تصور غلط درباره هوش مصنوعی مدرن این است که گمان کنیم این سیستم‌ها حرف‌های ما را «می‌فهمند» یا برای یافتن پاسخ «فکر» می‌کنند. در واقعیت، در زیر پوسته این فناوری هیچ مغز متفکری وجود ندارد؛ بلکه تنها با یک سیستم تکمیل خودکار (Autocomplete) بسیار پیشرفته روبرو هستیم که فقط کلمه بعدی را حدس می‌زند.[2][4]

برای درک اینکه این سیستم‌ها واقعاً چگونه کار می‌کنند، باید به هسته اصلی آن‌ها یعنی مکانیزم «پیش‌بینی توکن بعدی» (Next-Token Prediction) نگاه کنیم. وقتی شما یک پرسش را مطرح می‌کنید، هوش مصنوعی آن را برای درک معنایش نمی‌خواند. به جای آن، متن شما را به عنوان یک دنباله ریاضی در نظر می‌گیرد و با استفاده از الگوهایی که از میلیاردها صفحه متن در اینترنت آموخته است، محاسبه می‌کند که از نظر آماری چه کلمه‌ای باید بلافاصله پس از کلمات شما بیاید.[5]

به عنوان مثال، اگر تایپ کنید «پایتخت کشور فرانسه شهر...»، مدل زبانی تمام متون مشابهی را که در طول آموزش دیده است بررسی می‌کند و به این نتیجه می‌رسد که کلمه «پاریس» با احتمال ۹۹ درصد کلمه بعدی است. او این کلمه را به جمله اضافه می‌کند و سپس دوباره برای کلمه بعدی همین محاسبه را انجام می‌دهد. این حلقه ساده — یعنی حدس زدن کلمه بعدی، اضافه کردن آن به متن و تکرار این فرآیند — همان موتور محرکی است که کل انقلاب هوش مصنوعی مولد را به پیش می‌راند.[2][6]

اما پیش از آنکه مدل بتواند کلمات را حدس بزند، باید آن‌ها را به زبانی که کامپیوتر می‌فهمد ترجمه کند. این فرآیند «توکنایز کردن» (Tokenization) نام دارد. هوش مصنوعی کلمات را به قطعات کوچکتری به نام توکن تقسیم می‌کند و به هر کدام یک عدد اختصاص می‌دهد. برای یک مدل زبانی، کلمه «سلام» یک مفهوم دوستانه نیست، بلکه صرفاً مجموعه‌ای از اعداد است که در یک فضای چندبعدی ریاضی، در نزدیکی اعداد مربوط به کلمات «خداحافظ» یا «صبح‌بخیر» قرار گرفته است.[2]

تا پیش از سال ۲۰۱۷، مدل‌های هوش مصنوعی برای پردازش زبان از شبکه‌های عصبی بازگشتی (RNN) استفاده می‌کردند. این شبکه‌ها متن را کلمه به کلمه و به ترتیب می‌خواندند. مشکل بزرگ آن‌ها این بود که وقتی به انتهای یک پاراگراف طولانی می‌رسیدند، کلمات ابتدایی را «فراموش» می‌کردند و نمی‌توانستند ارتباط بین مفاهیم دور از هم را درک کنند. این محدودیت باعث می‌شد که تولید متن‌های طولانی و منسجم تقریباً غیرممکن باشد.

نقطه عطف تاریخی در سال ۲۰۱۷ رقم خورد؛ زمانی که گروهی از پژوهشگران شرکت گوگل مقاله‌ای انقلابی با عنوان «توجه تمام چیزی است که نیاز دارید» (Attention Is All You Need) منتشر کردند. این مقاله معماری جدیدی به نام «ترانسفورمر» (Transformer) را معرفی کرد که محدودیت‌های قبلی را به طور کامل از بین برد و پایه و اساس تمام مدل‌های زبانی بزرگ امروزی (مانند GPT) شد.[1][4]

راز قدرت ترانسفورمر در مکانیزمی به نام «توجه به خود» (Self-Attention) نهفته است. برخلاف مدل‌های قدیمی که متن را کلمه به کلمه می‌خواندند، ترانسفورمر کل جمله را به صورت همزمان و موازی بررسی می‌کند. هر کلمه از نظر ریاضی به تمام کلمات دیگر در جمله «توجه» می‌کند تا زمینه و بافت متن را درک کند. مثلاً وقتی مدل کلمه «شیر» را می‌بیند، با بررسی کلمات اطرافش متوجه می‌شود که منظور شیر جنگل است، شیر آب، یا شیر خوراکی.[1]

راز قدرت ترانسفورمر در مکانیزمی به نام «توجه به خود» (Self-Attention) نهفته است.

این معماری موازی به پژوهشگران اجازه داد تا مدل‌ها را در مقیاس‌های غول‌پیکر آموزش دهند. آن‌ها تریلیون‌ها کلمه از ویکی‌پدیا، کتاب‌ها، مقالات علمی و کدهای برنامه‌نویسی را به این شبکه‌های عصبی تزریق کردند. با افزایش حجم داده‌ها و تعداد پارامترهای مدل (که به میلیاردها و تریلیون‌ها رسید)، مدل‌های زبانی بزرگ (LLM) متولد شدند.[2][5]

با بزرگ‌تر شدن این مدل‌ها، اتفاق عجیبی رخ داد. این سیستم‌ها که تنها برای حدس زدن کلمه بعدی طراحی شده بودند، ناگهان توانایی‌های خیره‌کننده‌ای از خود نشان دادند. آن‌ها شروع به ترجمه زبان‌ها، نوشتن کدهای پیچیده و حتی استدلال‌های ظاهری کردند. به نظر می‌رسید که با یادگیری الگوهای آماری زبان، مدل‌ها توانسته‌اند نمایشی از منطق پنهان در پس آن کلمات را نیز در شبکه‌های خود بازسازی کنند.[5][6]

با این حال، این هوشمندی ظاهری یک محدودیت بنیادین دارد. در سال ۲۰۲۱، گروهی از پژوهشگران برجسته اخلاق هوش مصنوعی، اصطلاح «طوطی تصادفی» (Stochastic Parrot) را برای توصیف این مدل‌ها ابداع کردند. یک سیستم تصادفی (Stochastic) سیستمی است که بر اساس احتمالات کار می‌کند. همان‌طور که یک طوطی می‌تواند صدای انسان را بدون درک معنای آن به دقت تقلید کند، مدل‌های زبانی نیز کلمات را بدون فهمیدن مفاهیم آن‌ها کنار هم می‌چینند.[3]

استعاره «طوطی تصادفی» به ما یادآوری می‌کند که هوش مصنوعی فرم زبان را از معنای آن جدا کرده است. این سیستم‌ها هیچ تجربه زیسته‌ای ندارند، درد را حس نمی‌کنند، مدل فیزیکی از جهان ندارند و هیچ مفهومی از «حقیقت» در کدهای آن‌ها تعریف نشده است. وقتی یک هوش مصنوعی پاسخ درخشانی به شما می‌دهد، به این دلیل نیست که مسئله را درک کرده است؛ بلکه به این دلیل است که آن توالی خاص از کلمات، از نظر آماری محتمل‌ترین مسیر در شبکه عصبی آن بوده است.[3][6]

درک این مکانیزم، دلیل اصلی پدیده «توهم» (Hallucination) در هوش مصنوعی را روشن می‌کند. از آنجا که مدل تفاوت بین واقعیت و داستان را نمی‌داند، تنها به دنبال تولید جملاتی است که از نظر آماری و گرامری درست به نظر برسند. اگر الگوهای آماری به سمت یک کتاب وجود نداشته یا یک قانون جعلی اشاره کنند، هوش مصنوعی آن را با اعتماد به نفس کامل و لحنی متقاعدکننده برای شما اختراع می‌کند.[2][3]

شناخت این واقعیت که هوش مصنوعی تنها یک پیش‌بینی‌کننده کلمه بعدی است، نباید ارزش آن را در چشم ما کم کند؛ بلکه باید نحوه استفاده ما از آن را اصلاح نماید. وقتی از نگاه کردن به هوش مصنوعی به عنوان یک «دانای کل» دست برداریم و آن را به عنوان یک ابزار قدرتمند برای پردازش الگوها بپذیریم، می‌توانیم با خیال راحت‌تری از آن برای ایده‌پردازی، خلاصه‌سازی و تحلیل داده‌ها استفاده کنیم، در حالی که وظیفه تفکر انتقادی و راستی‌آزمایی را همچنان بر عهده ذهن انسان باقی می‌گذاریم.[6]

اصطلاحات کلیدی

توکن (Token)
کوچک‌ترین واحد پردازش متن در هوش مصنوعی که می‌تواند یک کلمه کامل یا بخشی از یک کلمه باشد.
پیش‌بینی کلمه بعدی (Next-Token Prediction)
مکانیزم اصلی مدل‌های زبانی که در آن سیستم با محاسبه احتمالات، محتمل‌ترین کلمه بعدی را در یک جمله حدس می‌زند.
طوطی تصادفی (Stochastic Parrot)
اصطلاحی استعاری برای توصیف هوش مصنوعی که نشان می‌دهد این سیستم‌ها مانند طوطی، زبان انسان را بدون درک معنای آن تقلید می‌کنند.
مکانیزم توجه (Attention Mechanism)
روشی در معماری ترانسفورمر که به مدل اجازه می‌دهد هنگام پردازش یک کلمه، به کلمات مرتبط دیگر در همان جمله «توجه» کند تا زمینه را بفهمد.

منابع

پوشش منابع

6 منبع

3 دیدگاه شناسایی‌شده

پژوهشگران اخلاق هوش مصنوعی 35%توسعه‌دهندگان تجاری 35%کاربران عمل‌گرا 30%
  1. [1]arXivتوسعه‌دهندگان تجاری

    Attention Is All You Need

    مطالعه در arXiv
  2. [2]Elasticکاربران عمل‌گرا

    What is a large language model (LLM)?

    مطالعه در Elastic
  3. [3]Wikipediaپژوهشگران اخلاق هوش مصنوعی

    Stochastic parrot

    مطالعه در Wikipedia
  4. [4]Stanford HAIکاربران عمل‌گرا

    What is a Large Language Model?

    مطالعه در Stanford HAI
  5. [5]IBMتوسعه‌دهندگان تجاری

    What are Generative Pre-trained Transformers (GPTs)?

    مطالعه در IBM
  6. [6]تیم سردبیری کوهستانکاربران عمل‌گرا

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

دریافت فناوری اخبار همراه با پوشش کامل منابع و تحلیل دیدگاه‌ها، مستقیم در صندوق ورودی شما.