پژوهشگران ام‌آی‌تی با مدل GPT-6 آسترا وزن‌های مدل کوئن را مستقیماً ویرایش کردند؛ رشد ۶ برابری امتیاز ریاضی

در ۲ نوامبر ۲۰۲۶، گروهی از پژوهشگران آزمایشگاه علوم کامپیوتر و هوش مصنوعی ام‌آی‌تی (CSAIL) ابزارهای مرسوم آموزش شبکه‌های عصبی را کنار گذاشتند. آن‌ها ماتریس وزن‌های عددی خام یک مدل متن‌باز کوچک را به مدل GPT-6 آسترا سپردند و خواستند نقص استدلالی آن را برطرف کند.[1][2]

این دستکاری موفقیت‌آمیز بود. مدل آسترا با ویرایش مستقیم تنها ۱۳۱٬۰۷۲ پارامتر—حدود ۰٫۰۱۶ درصد از کل پارامترهای مدل Qwen3.5-0.8B—دقت این شبکه را در بنچمارک MATH-500 از ۷٫۹ درصد به ۴۸٫۱ درصد رساند. پژوهشگران نام این رویکرد را «برنامه‌نویسی در فضای وزن‌ها» گذاشته‌اند؛ روشی که نشان می‌دهد یک مدل زبانی پیشرو می‌تواند سازوکار درونی شبکه‌ای دیگر را بدون آموزش مجدد بخواند و بازنویسی کند.[1][3]

پژوهشگران در یادداشت ۲ نوامبر خود نوشتند: «در قالب زبان طبیعی، اکنون این امکان پدیدار شده که فقط با یک دستور از مدل زبانی بخواهیم ویژگی یا خطای پنهان درون وزن‌های یک شبکه عصبی را پیدا کند، آن را برطرف سازد یا حتی شبکه‌ای کاملاً تازه از صفر بسازد.»[2]

ریشه‌یابی و درمان حلقه تکرار

البته جهش ۶ برابری امتیاز ریاضی نباید به منزله پدیداری معجزه تلقی شود؛ باید دقیق دید این ویرایش چه کرده است. مدل کوئن پیش از این اصلاح، هنگام حل مسائل گرفتار حلقه‌های تکراری می‌شد و با تولید واژه‌های مشابه، سقف خروجی ۳۲٬۷۶۸ توکنی خود را می‌سوزاند. مدل دانش ریاضی را داشت، اما رفتار انحرافی‌اش مانع از ارائه پاسخ می‌شد.[2][6]

آسترا برای این مأموریت به ۵۰ درخواست ارزیابی و یک نوتبوک پایتون شامل وزن‌های مدل مجهز شد. طی ۲۰ ساعت و در خلال ۱۵۸ گام گفت‌وگو، این ایجنت منشأ حلقه تکرار را به یک جهت‌گیری عددی مشخص در پرسپترون‌های چندلایه در لایه‌های ۱۵ و ۱۹ نسبت داد.[1][7]

به جای آموزش مفاهیم تازه ریاضی، آسترا یک عمل تفریق برداری برای حذف آن جهت عددی خاص از ۶۴ ستون خروجی در آن دو لایه اعمال کرد. با رفع این مانع مکانیکی، مدل موفق شد پاسخ‌هایی را که استخراج آن‌ها را از قبل بلد بود، بدون گیر افتادن کامل کند.[3][6]

اهمیت این دستاورد در ماهیت جراحی‌گونه و دقیق آن نهفته است. پژوهشگران تأیید کردند که همین ویرایش، امتیاز تبعیت از دستورالعمل‌ها در بنچمارک IFEval را از ۲۱٫۰ درصد به ۶۲٫۳ درصد رسانده و عملکرد مدل در GSM8K را نیز از ۱۳٫۸ درصد به ۶۷٫۱ درصد جهش داده است.[5][6]

خواندن مستقیم وزن‌ها بدون راهنما

فراتر از ترمیم مدل‌های زبانی، تیم ام‌آی‌تی آزمود که آیا مدل‌های نسل بعد قادرند ماتریس‌های خام پارامترها را بدون هیچ پیش‌زمینه یا کانتکستی درک کنند یا خیر. آن‌ها چهار شبکه عصبی سیاستی یکسان را با یادگیری تقویتی برای اجرای بازی‌های ویدیویی کلاسیک آموزش دادند و سپس فقط وزن‌های عددی خام را در اختیار آسترا گذاشتند.[2][5]

ماتریس‌ها بدون لایه‌های ورودی و خروجی در واقع چیزی جز فهرست‌های بلندی از اعداد نبودند. با این حال، آسترا با تحلیل تراکم وزن‌ها در لایه نخست و شیوه ساختاردهی توجه درونی، توانست تشخیص دهد هر شبکه برای چه بازی آموزش دیده و به درستی نام‌های بریک‌اوت، پونگ، پک‌من و فری‌وی را اعلام کرد.[2][5]

تیم پژوهشی این سنجش تفسیرپذیری را به مدل‌های دیفیوژنِ آموزش‌دیده برای ترسیم اشکال هندسی پایه نیز گسترش داد. آسترا بدون اجرای هیچ گذر رو به جلو (Forward Pass) یا بهره‌گیری از ابزارهای بیرونی، صرفاً از طریق بررسی وزن واحدهای پنهان در ترسیم اضلاع لایه خروجی، دایره‌ها، مثلث‌ها و مربع‌ها را شناسایی کرد.[5]

این ایجنت حتی توانست یک شبکه کاربردی را از صفر بازنویسی کند. با دریافت قواعد ساده‌شده بازی بریک‌اوت، آسترا در یک پاسخ شبکه سیاستی کاملی تولید کرد که امتیاز ۵۱۷٫۴ را کسب کرد؛ در حالی که یک مدل مبنا آموزش‌دیده با الگوریتم متداول PPO پس از ۱۰۰ میلیون گام، تنها به امتیاز ۲۵٫۳ رسیده بود.[2][5]

در آزمونی کنترل‌شده دیگر، آسترا یک شبکه شبیه‌ساز رانندگی را که پیوسته روی یک سطح شیب‌دار متوقف می‌شد اصلاح کرد. پس از بررسی توصیف صحنه و تنها یک سناریوی شکست، ایجنت ۳٫۵ درصد از وزن‌های شبکه را دگرگون کرد؛ به‌طوری که خط‌مشی اصلاح‌شده در تمامی ۱٬۰۲۴ دور آزمایشی بعدی با موفقیت مسیر را پیمود.[2][6]

مرزها و محدودیت‌های روش

با وجود این نتایج درخشان روی شبکه‌های کوچک، محققان به محدودیت‌های بنیادین این تکنیک نیز اذعان دارند. وقتی همین شیوه ویرایش وزن روی مدل Gemma 3 270M گوگل—مدلی که معمولاً دچار حلقه تکرار در استدلال نمی‌شود—آزموده شد، آسترا نتوانست هیچ بهبودی در عملکرد ریاضی آن حاصل کند.[1][7]

این روش در مواجهه با ویژگی‌های رفتاری ظریف‌تر نیز ناکام ماند. آسترا نتوانست تنها با مشاهده وزن‌ها تشخیص دهد کدام‌یک از دو مدل برای تملق و چاپلوسی کاربر آموزش دیده‌اند؛ موفقیت تنها زمانی حاصل شد که پژوهشگران اجازه دادند الگوهای توجه مدل هنگام تولید متن زنده ارزیابی شود.[2]

بار محاسباتی این فرآیند ویرایش هم بالاست. رسیدن به وصله مدل کوئن نیازمند ۸۰ بار اجرای کد پایتون و ساعت‌ها معطلی در قطعی‌های سرویس بود. ایجنت برای آزمودن فرضیه‌های خود اتکای سنگینی به مسائل نمونه و استنتاج‌های کنترل‌شده داشت.[1][7]

تحول در نگهداری و ترمیم مدل‌ها

اگر این روش مقیاس‌پذیر و پایدار شود، چشم‌انداز نوینی برای نگهداری و ترمیم سیستم‌های هوش مصنوعی سازمانی باز می‌کند. امروزه رفع یک خطای شناخته‌شده مستلزم گردآوری داده‌های جدید و اجرای دوره‌های پرهزینه تنظیم دقیق (فاین‌تیونینگ) است که گاه به تخریب دیگر قابلیت‌ها می‌انجامد.[1][6]

برنامه‌نویسی در فضای وزن‌ها نویدبخش آینده‌ای است که در آن مهندسان می‌توانند همانند باگ‌های نرم‌افزاری، وصله‌های هدفمندی را روی وزن‌ها اعمال کنند. این تغییرات درون وزن‌ها ذخیره می‌شوند و نیاز به مدلی دیگر برای رصد دائم تک‌تک خروجی‌های کاربر را برطرف می‌سازند.[6]

یافته‌های CSAIL هنوز در مرحله آزمایشگاهی قرار دارند و جامعه هوش مصنوعی در حال بازبینی و اعتبارسنجی گزارش‌ها و اسناد ویرایشِ منتشرشده است. تحلیل‌گران مستقل اشاره می‌کنند هرچند اصلاح مدل کوئن بازتولیدپذیر است، این شیوه در حال حاضر بیشتر نقشی تشخیصی برای برخی عیوب معین دارد.[3][7]

آزمون واقعی برنامه‌نویسی در فضای وزن‌ها زمانی رخ خواهد داد که روی مدل‌های عظیم چندصدمیلیارد پارامتری پیاده شود. تا آن زمان، اثبات این که یک مدل هوش مصنوعی می‌تواند سازوکار عددی مدلی دیگر را بخواند و بازنویسی کند، گامی عینی به سوی سیستم‌های خودنگهدار محسوب می‌شود.[1][2]