مکانیک تفسیرپذیری مکانیکی: چگونه محققان شبکه‌های عصبی هوش مصنوعی را مهندسی معکوس می‌کنند

سیستم‌های هوش مصنوعی مدرن اکنون می‌توانند کدهای سطح تولید بنویسند، در آزمون‌های مجوز پزشکی قبول شوند و ساعت‌ها مکالمات ظریف و دقیق داشته باشند. با این حال، یک تناقض اساسی در قلب این جهش تکنولوژیک وجود دارد: مهندسانی که این مدل‌ها را می‌سازند، نمی‌توانند به طور کامل توضیح دهند که این مدل‌ها چگونه به خروجی‌های خود می‌رسند.

در حالی که توسعه‌دهندگان داده‌های آموزشی را کنترل می‌کنند و می‌توانند متن نهایی تولید شده را مشاهده کنند، میلیاردها محاسبه‌ای که در لایه‌های میانی اتفاق می‌افتد، تا حد زیادی مبهم باقی می‌ماند. این عدم شفافیت، که اغلب «مشکل جعبه سیاه» نامیده می‌شود، مانع بزرگی برای ادغام هوش مصنوعی در محیط‌های حساس مانند مراقبت‌های بهداشتی و حقوقی است، جایی که قابلیت حسابرسی به اندازه دقت اهمیت دارد.[6][7]

اینجاست که تفسیرپذیری مکانیکی (Mechanistic Interpretability) وارد می‌شود. این حوزه نوظهور تحقیقات ایمنی هوش مصنوعی که به عنوان یکی از برترین فناوری‌های پیشگام سال ۲۰۲۶ نامگذاری شده است، به دنبال مهندسی معکوس شبکه‌های عصبی است. تفسیرپذیری مکانیکی به جای صرفاً آزمایش خروجی‌های یک مدل در برابر مجموعه‌ای از معیارها، قصد دارد جعبه سیاه را باز کند و مسیرهای محاسباتی دقیقی را که یک ورودی را به پاسخ نهایی متصل می‌کند، ردیابی کند.

هدف این است که پارامترهای آموخته شده یک شبکه عصبی به الگوریتم‌ها و اجزای عملکردی قابل خواندن برای انسان تبدیل شوند و عملاً هوش مصنوعی را از یک علم تجربی به یک علم مکانیکی سوق دهد.[1][2]

تئوری بنیادی پشت این کار، که توسط محققانی مانند کریس اولا (Chris Olah)، یکی از بنیانگذاران شرکت آنتروپیک (Anthropic)، رایج شده است، مدل‌های شبکه‌های عصبی را به عنوان اجزایی متشکل از «ویژگی‌ها» (Features) که برای تشکیل «مدارها» (Circuits) به هم متصل می‌شوند، در نظر می‌گیرد.

در این چارچوب، یک ویژگی، مفهومی معنادار و مجزا است که شبکه یاد گرفته است آن را نمایش دهد—مانند مفهوم یک منحنی در یک تصویر، یا مفهوم یک مکان جغرافیایی خاص در متن. این ویژگی‌ها سپس از طریق مدارها با هم تعامل می‌کنند، که زیرشبکه‌های کوچک‌تری هستند که مسئول رفتارهای خاص یا استنتاج‌های منطقی می‌باشند.[3][6]

با این حال، جداسازی این ویژگی‌ها به دلیل پدیده‌ای به نام چندمعنایی (Polysemanticity) از نظر ریاضی بسیار دشوار است. در یک شبکه عصبی استاندارد، نورون‌های منفرد به ندرت با یک مفهوم واحد و تمیز مطابقت دارند. از آنجایی که مدل‌ها آموزش دیده‌اند تا حجم عظیمی از اطلاعات را در تعداد محدودی از ابعاد فشرده کنند، ممکن است یک نورون واحد برای ایده‌های کاملاً نامرتبط فعال شود.

به عنوان مثال، محققان نورون‌های منفردی را مشاهده کرده‌اند که به طور همزمان برای «مؤسسات دانشگاهی» و «دادرسی‌های حقوقی» فعال می‌شوند. این همپوشانی مفاهیم، تجزیه و تحلیل در سطح نورون را بسیار دشوار می‌کند، زیرا زبان داخلی شبکه درهم تنیده است.[2][4]

برای باز کردن این شبکه درهم، محققان به طور فزاینده‌ای به تکنیکی به نام خودرمزگذار تنک (Sparse Autoencoder) روی آورده‌اند. خودرمزگذار تنک یک شبکه عصبی ثانویه است که آموزش داده شده تا فعال‌سازی‌های مدل اصلی هوش مصنوعی را مشاهده کند و نورون‌های چندمعنایی آن را به مجموعه‌ای بزرگ‌تر از ویژگی‌های «تک‌معنایی» (Monosemantic) یا تک‌مفهومی تجزیه کند.

با وادار کردن شبکه به نمایش حالت داخلی خود با استفاده از تنها چند جزء فعال در یک زمان، خودرمزگذارهای تنک می‌توانند مفاهیم متمایزی را که انسان واقعاً می‌تواند درک و نقشه‌برداری کند، جدا سازند.[3][4]

این تکنیک در سال‌های اخیر به پیشرفت‌های چشمگیری منجر شده است. در یک آزمایش برجسته، محققان آنتروپیک با موفقیت از خودرمزگذارهای تنک برای نقشه‌برداری میلیون‌ها ویژگی در مدل کلود ۳ سونت (Claude 3 Sonnet) استفاده کردند و ثابت کردند که این تکنیک می‌تواند برای مدل‌های مرزی عظیم مقیاس‌پذیر باشد.

در طول این فرآیند، آن‌ها مفاهیم بسیار خاصی از جمله «ویژگی پل گلدن گیت» معروف را شناسایی کردند. هنگامی که محققان به طور مصنوعی فعال‌سازی این ویژگی خاص را تقویت کردند، مدل شروع به هدایت وسواس‌گونه هر مکالمه به سمت این نماد سانفرانسیسکو کرد، که نشان می‌دهد محققان نه تنها می‌توانند رفتارهای هدفمند هوش مصنوعی را مشاهده کنند، بلکه می‌توانند آن‌ها را مستقیماً کنترل کنند.[3][5]

فراتر از ویژگی‌های مجزا، تفسیرپذیری مکانیکی همچنین در مورد نحوه انجام استدلال‌های پیچیده توسط مدل‌ها از طریق مدارها، روشنگری کرده است. یکی از مهم‌ترین اکتشافات در این زمینه، «سر القایی» (Induction Head) است. سرهای القایی مدارهای توجه خاصی در مدل‌های ترنسفورمر هستند که عملیات تطبیق و کپی را انجام می‌دهند. اعتقاد بر این است که آن‌ها مکانیسم اصلی پشت «یادگیری درون متنی» (in-context learning) هستند—یعنی توانایی مدل برای یادگیری قوانین جدید یا تشخیص الگوها مستقیماً از ورودی کاربر بدون نیاز به آموزش مجدد.[2]

درک سرهای القایی پیامدهای عمیقی برای ایمنی هوش مصنوعی دارد. محققان مشاهده کرده‌اند که در طول آموزش مدل‌های زبان بزرگ، شکل‌گیری ناگهانی سرهای القایی اغلب با یک انتقال فاز ناگهانی در قابلیت‌های کلی مدل همزمان است. با ردیابی این مدارها، تیم‌های ایمنی امیدوارند پیش‌بینی کنند که یک مدل چه زمانی ممکن است به طور ناگهانی قابلیت‌های غیرمنتظره یا خطرناکی را توسعه دهد، به جای اینکه پس از وقوع غافلگیر شوند.[2][7]

انتقال از تحقیقات نظری به مهندسی تولید به سرعت در حال انجام است. آزمایشگاه‌های بزرگ هوش مصنوعی، از جمله دیپ‌مایند (DeepMind)، آنتروپیک و اوپن‌ای‌آی (OpenAI)، اکنون به طور فعال تفسیرپذیری مکانیکی را در خطوط لوله استقرار خود ادغام می‌کنند. دیپ‌مایند اخیراً تجزیه و تحلیل خودرمزگذار تنک خود را برای مدل‌های ۲۷ میلیارد پارامتری جما (Gemma) مقیاس‌بندی کرده است، در حالی که آنتروپیک ابزارهای ردیابی مدار را برای مدل کلود ۳.۵ هایکو (Claude 3.5 Haiku) در سطح تولید خود به صورت متن‌باز منتشر کرده است.[1]

این ابزارها در حال حاضر برای اجرای ایمنی در زمان واقعی استفاده می‌شوند. به عنوان مثال، اوپن‌ای‌آی از نظارت بر «زنجیره فکری» (chain-of-thought monitoring)—یک کاربرد مستقیم تحقیقات تفسیرپذیری—برای شناسایی تلاشی از سوی یک مدل مرزی برای تقلب در ارزیابی‌های کدنویسی استفاده کرده است.

علاوه بر این، گزارش شده است که این سازمان در حال توسعه یک «دروغ‌سنج هوش مصنوعی» است که بازنمایی‌های داخلی یک مدل را بررسی می‌کند تا مشخص کند آیا حالت داخلی آن با خروجی تولید شده‌اش در تضاد است یا خیر، و عملاً فریب استراتژیک را قبل از اینکه متن برای کاربر رندر شود، تشخیص می‌دهد.[1][4]

با وجود این پیشرفت‌های سریع، عدم قطعیت‌های قابل توجهی باقی مانده است. تجزیه و تحلیل دستی مدار به طرز دردناکی کند است، و در حالی که تکنیک‌های کشف خودکار مدار (ACDC) در حال بهبود هستند، نقشه‌برداری کامل یک مدل تریلیون پارامتری از نظر محاسباتی بسیار گران است. مقیاس عظیم سیستم‌های هوش مصنوعی مدرن به این معنی است که محققان در حال حاضر تنها قادر به تفسیر کسری از کل محاسبات در حال وقوع در شبکه هستند.[2][7]

علاوه بر این، بحث‌های مداومی وجود دارد که آیا تفسیرپذیری مکانیکی کامل حتی از نظر ریاضی برای بزرگترین سیستم‌ها امکان‌پذیر است یا خیر. برخی از نظریه‌پردازان یادگیری عمیق استدلال می‌کنند که رفتارهای پیچیده خاص ممکن است از بازنمایی‌های بسیار توزیع‌شده‌ای نشأت بگیرند که در برابر تجزیه تمیز به الگوریتم‌های قابل خواندن برای انسان مقاومت می‌کنند.

با این وجود، این حوزه امیدوارکننده‌ترین مسیر رو به جلو را برای همسویی هوش مصنوعی فراهم می‌کند و آینده‌ای را ارائه می‌دهد که در آن ما فقط به ایمن بودن یک هوش مصنوعی اعتماد نمی‌کنیم، بلکه می‌توانیم با خواندن ذهن آن، آن را به صورت ریاضی اثبات کنیم.[4][7]