«مهندسی زمینه» جایگزین پرامپت‌نویسی به عنوان مهارت اصلی مدل‌های زبان بزرگ می‌شود؛ تمرکز بر مدیریت پنجره زمینه

در طول دو سال گذشته، مهارت تعیین‌کننده عصر هوش مصنوعی مولد، مهندسی پرامپت بود—هنر استخراج خروجی صحیح از یک مدل زبان بزرگ با استفاده از کلمات با دقت انتخاب شده. اما با تکامل سیستم‌های هوش مصنوعی از چت‌بات‌های ساده به عوامل مستقل (Agent) که جریان‌های کاری چند مرحله‌ای را اجرا می‌کنند، یک دستورالعمل ایستا دیگر کافی نیست. صنعت به سرعت در حال چرخش به سمت یک رشته ساختاری‌تر به نام مهندسی زمینه است.[6]

مهندسی زمینه، عمل طراحی، مونتاژ و مدیریت کل محیط اطلاعاتی است که یک مدل قبل از تولید پاسخ مشاهده می‌کند. به جای صرفاً پرسیدن سؤال درست، توسعه‌دهندگان اکنون بر ایجاد پل‌هایی تمرکز دارند که یک مدل جداشده را به دنیای خارج متصل می‌کند، داده‌های خارجی را بازیابی می‌کند، از ابزارها استفاده می‌کند و به مدل حافظه‌ای می‌دهد تا پاسخ‌های خود را بر اساس حقایق بنا کند.[6]

این تغییر ناشی از گسترش سریع «پنجره زمینه» است—حافظه کاری یک مدل زبان بزرگ. پنجره زمینه که بر حسب توکن اندازه‌گیری می‌شود (توکن‌ها تکه‌هایی از متن هستند که به طور متوسط تقریباً سه‌چهارم یک کلمه انگلیسی را تشکیل می‌دهند)، دقیقاً تعیین می‌کند که یک مدل در هر زمان معین چقدر اطلاعات می‌تواند در خود نگه دارد و به آن ارجاع دهد.[2][3]

مدل‌های اولیه به چند هزار توکن محدود بودند و توسعه‌دهندگان را مجبور می‌کردند در پرامپت‌های خود بسیار صرفه‌جو باشند. امروزه، سیستم‌های مدرن دارای پنجره‌های زمینه‌ای هستند که قادر به نگهداری صدها هزار، یا حتی میلیون‌ها توکن هستند. از لحاظ نظری، این ظرفیت عظیم به مدل اجازه می‌دهد تا کل پایگاه‌های کد، کتابخانه‌های حقوقی، یا سال‌ها سابقه مکالمه را در یک مرحله جذب کند.[2][5]

با این حال، این فرض که یک پنجره زمینه بزرگ‌تر به طور خودکار عملکرد بهتری به همراه دارد، نادرست ثابت شده است. محققان یک نقطه کور معماری اساسی در مدل‌های زبان مدرن کشف کرده‌اند، پدیده‌ای که به طور گسترده در ادبیات دانشگاهی به عنوان اثر «گم شدن در میانه» (lost in the middle) مستند شده است.[1]

هنگامی که محققان آزمایش کردند که مدل‌ها چگونه از اطلاعات در موقعیت‌های مختلف در یک پنجره زمینه بزرگ استفاده می‌کنند، یک منحنی عملکردی متمایز به شکل U یافتند. مدل‌ها اطلاعات قرار داده شده در ابتدای یا انتهای پرامپت را به طور قابل اعتماد استخراج می‌کردند. اما هنگامی که حقایق حیاتی در میانه یک سند طولانی دفن شده بودند، مدل‌ها به طور مداوم در بازیابی آن‌ها شکست می‌خوردند و اغلب به جای آن پاسخ‌های ساختگی (توهم) تولید می‌کردند.[1]

این افت عملکرد به دلیل نحوه تخصیص توجه (Attention) توسط معماری ترانسفورمر زیربنایی رخ می‌دهد. با افزایش حجم متن بدون ساختار، توجه مدل رقیق می‌شود. این مدل تقریباً مانند یک خواننده انسانی عمل می‌کند که یک کتاب درسی بزرگ را مرور می‌کند—به شدت بر مقدمه و نتیجه‌گیری تمرکز می‌کند در حالی که از فصل‌های میانی و متراکم به سادگی می‌گذرد.[1][7]

علاوه بر این، هزینه محاسباتی پردازش این پنجره‌های زمینه عظیم به صورت درجه دوم (Quadratic) افزایش می‌یابد. از آنجایی که مکانیسم خودتوجهی (Self-Attention) باید روابط بین هر جفت توکن را محاسبه کند، دو برابر کردن اندازه زمینه، قدرت پردازشی مورد نیاز را چهار برابر می‌کند. صرفاً پر کردن یک پنجره زمینه تا حداکثر حد آن نه تنها غیرقابل اعتماد است، بلکه بسیار گران و کند نیز هست.[1][3]

اینجاست که مهندسی زمینه به یک ضرورت ریاضی و عملیاتی تبدیل می‌شود. مهندسان زمینه به جای برخورد با پنجره زمینه به عنوان یک محل تخلیه نامحدود، آن را به عنوان یک منبع کمیاب و بسیار ارزشمند در نظر می‌گیرند. هدف آن‌ها یافتن کوچک‌ترین مجموعه ممکن از توکن‌های با سیگنال بالا است که احتمال دستیابی به نتیجه مطلوب را به حداکثر می‌رساند.[6]

برجسته‌ترین تکنیک در این رشته جدید، تولید مبتنی بر بازیابی (Retrieval-Augmented Generation) است که معمولاً به اختصار RAG نامیده می‌شود. یک سیستم RAG به جای تکیه بر داده‌های آموزشی ایستا مدل یا تغذیه کل یک پایگاه داده به آن به طور همزمان، به طور فعال پایگاه‌های دانش خارجی را برای یافتن پاراگراف‌های خاص مرتبط با پرسش کاربر جستجو می‌کند.[4][8]

سپس، تنها آن تکه‌های بسیار مرتبط را استخراج کرده و درست قبل از اینکه مدل پاسخ خود را تولید کند، آن‌ها را به پنجره زمینه تزریق می‌کند. این کار تضمین می‌کند که مدل به داده‌های تازه و معتبر دسترسی دارد، بدون اینکه مکانیسم توجه آن را تحت فشار قرار دهد یا از محدودیت‌های توکن آن فراتر رود.[4][8]

اما مهندسی زمینه بسیار فراتر از بازیابی ساده است. این شامل استراتژی‌های پیچیده‌ای مانند پنجره‌های کشویی (Sliding Windows) است که پیام‌های اخیر را نگه می‌دارند در حالی که پیام‌های قدیمی‌تر را حذف می‌کنند تا یک مکالمه منسجم حفظ شود بدون اینکه تعداد توکن‌ها به طور ناگهانی افزایش یابد. همچنین شامل خلاصه‌سازی بازگشتی (Recursive Summarization) است، جایی که اسناد طولانی قبل از تغذیه به مدل، به خلاصه‌های متراکم فشرده می‌شوند.[6]

این رشته همچنین مدیریت وضعیت ابزار (Tool State Management) را در بر می‌گیرد. هنگامی که یک عامل هوش مصنوعی از ماشین حساب استفاده می‌کند، یک API را فراخوانی می‌کند یا یک اسکریپت پایتون را اجرا می‌کند، خروجی‌های آن ابزارها باید قالب‌بندی شده و دوباره به پنجره زمینه تزریق شوند تا مدل بتواند در مورد نتایج استدلال کند. نحوه ساختاردهی آن داده‌ها—چه به صورت یک خلاصه تمیز یا یک توده داده بزرگ و پر سر و صدا—به شدت بر تصمیمات بعدی مدل تأثیر می‌گذارد.[6]

محققان فعالانه در حال توسعه تکنیک‌هایی برای کاهش سوگیری‌های موقعیتی هستند که مهندسی زمینه را تا این حد ضروری می‌سازند. مطالعات اخیر مکانیسم‌های کالیبراسیون توجه را پیشنهاد کرده‌اند که برای وادار کردن مدل‌ها به ارزیابی توکن‌ها بر اساس ارتباط واقعی آن‌ها، نه موقعیتشان در توالی، طراحی شده‌اند.[7]

این تکنیک‌های کالیبراسیون امیدوارکننده بوده‌اند و عملکرد بازیابی را تا ۱۵ واحد درصد در سناریوهای چالش‌برانگیز که اطلاعات هدف در میانه توالی پنهان شده‌اند، بهبود بخشیده‌اند. با این حال، حتی با وجود این بهبودهای معماری، اصول اساسی مهندسی زمینه برای عملکرد کارآمد حیاتی باقی می‌مانند.[7]

گذار از مهندسی پرامپت به مهندسی زمینه، نشان‌دهنده بلوغ توسعه هوش مصنوعی است. این نشان‌دهنده تغییری است از برخورد با مدل‌های زبان به عنوان جعبه‌های سیاه جادویی که به افسون‌های هوشمندانه پاسخ می‌دهند، به برخورد با آن‌ها به عنوان موتورهای محاسباتی اصلی در سیستم‌های نرم‌افزاری بزرگ‌تر و قطعی.[6]

برای شرکت‌ها و توسعه‌دهندگانی که نسل بعدی برنامه‌های هوش مصنوعی را می‌سازند، موفقیت دیگر به یافتن عبارت‌بندی عالی وابسته نیست. بلکه به ساخت خطوط لوله داده قوی، تسلط بر الگوریتم‌های بازیابی، و معماری یک محیط اطلاعاتی بستگی دارد که در آن مدل از نظر ریاضی در موقعیت موفقیت قرار گیرد.[6]