رفتن به محتوای اصلی
کوهستان
توضیح کوهستاناتوماسیون وبگزارش تشریحی· 7 دقیقه مطالعه· در هوش مصنوعی

چگونه ایجنت‌های هوش مصنوعی مدل شیء دسترسی‌پذیری را به وب‌گردی خودکار تبدیل می‌کنند

در حالی که ایجنت‌های خودکار هوش مصنوعی بیش از پیش در حال وب‌گردی هستند، آن‌ها نه به چیدمان‌های بصری، بلکه به درخت دسترسی‌پذیری مرورگر متکی‌اند. این ساختار معنایی که در اصل برای صفحه‌خوان‌ها ساخته شده بود، اکنون به رابط برنامه‌نویسی (API) واقعی برای اینترنت ایجنت‌محور تبدیل شده است.

به قلم کوروش پاکزاد

به‌طور خلاصه

  • ایجنت‌های هوش مصنوعی برای درک و پیمایش صفحات وب، به جای DOM خام، به درخت دسترسی‌پذیری مرورگر متکی هستند.
  • حجم DOM خام اغلب از ۱۰۰,۰۰۰ توکن فراتر می‌رود که باعث اضافه‌بار شدید اطلاعات و کوتاه شدن توکن‌ها برای مدل‌های زبانی می‌شود.
  • درخت دسترسی‌پذیری یک صفحه وب را در چند صد توکن با معنای خالص فشرده می‌کند و امکان اجرای قطعی را فراهم می‌سازد.

وقتی یک ایجنت خودکار هوش مصنوعی برای رزرو پرواز یا استخراج یک مجموعه داده وارد یک صفحه وب می‌شود، موفقیت آن عملیات به ندرت توسط قابلیت‌های استدلالی مدل زبانی زیربنایی تعیین می‌شود. در واقع، نتیجه کار میلی‌ثانیه‌ها قبل‌تر مشخص می‌شود؛ در طول یک مرحله ترجمه بی‌صدا که در آن موتور رندر مرورگر، نویزهای بصری را حذف می‌کند تا درخت دسترسی‌پذیری را بسازد.

این ساختار داده موازی و نامرئی تعیین می‌کند که آیا ایجنت می‌تواند عناصر تعاملی روی صفحه را درک کند یا خیر. اگر این درخت تمیز و از نظر معنایی دقیق باشد، ایجنت می‌تواند سایت را بی‌نقص پیمایش کند. اگر درخت خراب یا ناقص باشد، ایجنت عملاً نابینا است، فارغ از اینکه چند میلیارد پارامتر لایه تصمیم‌گیری آن را تغذیه می‌کنند. این مرحله ترجمه، گلوگاه قطعی در اتوماسیون وب مدرن است که بار سازگاری ایجنت‌ها را مستقیماً بر دوش توسعه‌دهندگان فرانت‌اند وب می‌اندازد.[6]

مشکل اساسی در وب‌گردی ایجنت‌ها، مقیاس عظیم مدل شیء سند (DOM) خام است. دام یک صفحه وب مدرن، سلسله‌مراتبی گسترده از کانتینرهای چیدمان، قلاب‌های استایل‌دهی و اسکریپت‌های ردیابی است که حجم آن اغلب بین ۱۰,۰۰۰ تا ۱۰۰,۰۰۰ توکن متغیر است. در سایت‌های رسانه‌ای بسیار پیچیده، مانند صفحه اصلی سی‌ان‌ان (CNN)، دام خام می‌تواند از ۱.۵ میلیون توکن فراتر رود.

تغذیه مستقیم این اچ‌تی‌ام‌ال (HTML) فیلترنشده به یک مدل زبانی بزرگ، باعث اضافه‌بار شدید اطلاعات می‌شود. حتی با وجود پنجره‌های زمینه گسترده در مدل‌های پیشرفته، پردازش کامل دام منجر به کوتاه شدن توکن‌ها، کاهش توجه و هزینه‌های بازدارنده تأخیر می‌شود. مدل، رد عناصر تعاملی واقعی را که در میان هزاران خط کد تزئینی مدفون شده‌اند، گم می‌کند.[3][5]

برای دور زدن این گلوگاه، لایه‌های اجرایی ایجنت‌های وب مدرن—یعنی مرورگرهای بدون هد (headless) که در واقع کلیک‌ها و فشردن کلیدها را انجام می‌دهند—تا حد زیادی تجزیه دام خام را کنار گذاشته‌اند. در عوض، فریم‌ورک‌هایی مانند پروتکل زمینه مدل پلی‌رایت (Playwright) مایکروسافت و ابزارهای توسعه‌دهنده کروم (Chrome DevTools)، درخت دسترسی‌پذیری مرورگر را رهگیری می‌کنند.

درخت دسترسی‌پذیری که در اصل برای پشتیبانی از فناوری‌های کمکی مانند صفحه‌خوان‌ها مهندسی شده بود، نسخه ساده‌شده‌ای از صفحه وب است که هیچ اطلاعات بصری در خود ندارد. بر اساس تحلیل فنی منتشر شده توسط نو هکس (No Hacks) در فوریه ۲۰۲۶: «در حالی که دام کامل شامل هر تگ div، span، استایل و اسکریپت است، درخت دسترسی‌پذیری نویزها را حذف کرده و تنها آنچه را که اهمیت دارد نمایان می‌کند: عناصر تعاملی، نقش‌ها، نام‌ها و وضعیت‌های آن‌ها.»[2]

تبدیل مدل شیء سند (DOM) خام به درخت دسترسی‌پذیری، ردپای توکن‌ها را از هزاران به چند صد توکن کاهش می‌دهد.

با تکیه بر این داده‌های ساختاریافته، لایه اجرایی می‌تواند یک شناسه منحصربه‌فرد و قطعی—که اغلب به عنوان «مرجع» (ref) شناخته می‌شود، مانند @e1 یا @e2—را به هر گره تعاملی اختصاص دهد. مدل زبانی این نمایش متنی بسیار فشرده را دریافت می‌کند که معمولاً به جای ۵,۰۰۰ توکن مورد نیاز برای دام کامل، تنها ۲۰۰ تا ۴۰۰ توکن مصرف می‌کند.

سپس مدل درباره هدف خود استدلال کرده و یک فراخوانی ابزار با ارجاع به همان شناسه دقیق صادر می‌کند. لایه اجرایی، شناسه را به گره دام مربوطه نگاشت کرده و کلیک یا ورودی متن را اجرا می‌کند. این سیستم مرجع معنایی همان چیزی است که به ایجنت‌هایی مانند اطلس (Atlas) اوپن‌ای‌آی و کومت (Comet) پرپلکسیتی اجازه می‌دهد تا برنامه‌های پیچیده وب را بدون توهم مختصات، به شکلی قابل اعتماد پیمایش کنند.[2][4]

استانداردسازی این فرآیند توسط پروتکل زمینه مدل (MCP) هدایت می‌شود؛ یک معماری متن‌باز که راهی جهانی برای اتصال مدل‌های زبانی به ابزارهای خارجی فراهم می‌کند. به عنوان مثال، MCP ابزارهای توسعه‌دهنده کروم، دسترسی مستقیم به ردیابی‌های عملکرد مرورگر و درخت‌های کامل دسترسی‌پذیری را برای ایجنت‌ها فراهم می‌کند.

این امر به ایجنت اجازه می‌دهد تا به جای تعاملات مبتنی بر مختصات، با استفاده از مراجع معنایی عناصر عمل کند و لایه ادراک را از لایه استدلال جدا سازد. با استانداردسازی نحوه ارائه درخت دسترسی‌پذیری به مدل، پروتکل زمینه مدل تضمین می‌کند که یک ایجنت ساخته شده توسط یک شرکت می‌تواند به طور یکپارچه مرورگری را که توسط شرکت دیگری میزبانی می‌شود، کنترل کند؛ به شرطی که HTML معنایی زیربنایی آن سالم باشد.[4]

وقتی درخت دسترسی‌پذیری ضعیف ساخته شده باشد، ایجنت‌ها مجبور می‌شوند به روش‌های ادراکی جایگزین و کمتر قابل اعتماد پناه ببرند. رایج‌ترین روش جایگزین، تحلیل مبتنی بر بینایی است که توسط ابزارهایی مانند کلاود کامپیوتر یوز (Claude Computer Use) آنتروپیک استفاده می‌شود؛ این ابزار یک اسکرین‌شات واقعی از صفحه رندر شده می‌گیرد و برای شناسایی دکمه‌ها و پیوندها به یک مدل بینایی متکی است.

وقتی درخت دسترسی‌پذیری ضعیف ساخته شده باشد، ایجنت‌ها مجبور می‌شوند به روش‌های ادراکی جایگزین و کمتر قابل اعتماد پناه ببرند.

اگرچه مدل‌های بینایی می‌توانند چیدمان‌های بصری فاقد نشانه‌گذاری معنایی را تفسیر کنند، اما زمان اجرای قابل‌توجهی را به سیستم تحمیل کرده و در اجرای قطعی با مشکل مواجه می‌شوند. یک مدل بینایی ممکن است دکمه‌ای را از نظر بصری به درستی شناسایی کند، اما اگر چیدمان صفحه در طول تعامل به صورت پویا جابجا شود، در محاسبه دقیق کادر قابل کلیک آن شکست می‌خورد.[1][4]

پژوهشگران همچنین در حال بررسی فیلترسازی برنامه‌نویسی‌شده برای فشرده‌سازی دام در مواقعی هستند که درخت دسترسی‌پذیری کافی نیست. مقاله‌ای در نوامبر ۲۰۲۵ روشی به نام پرونه‌فوروب (Prune4Web) را معرفی کرد که از اسکریپت‌های سبک پایتون برای فیلتر کردن پویای دام بر اساس نشانه‌های معنایی استفاده می‌کند.

با واگذاری پیمایش و امتیازدهی به برنامه‌های اجرایی به جای مجبور کردن مدل زبانی به خواندن HTML خام، پرونه‌فوروب به کاهش ۲۵ تا ۵۰ برابری در عناصر کاندید دست یافت. به طور مشابه، در اوت ۲۰۲۵، وب‌فیوز (Webfuse) تکنیکی به نام «کاهش نمونه‌برداری دام» (DOM Downsampling) را معرفی کرد که گره‌های مجاور را میانگین‌گیری می‌کند تا در ازای کاهش وفاداری ساختاری، ردپای توکن کوچک‌تری ایجاد کند و در عین حال ساختار سند معتبری را حفظ نماید.[3][5]

با وجود این جایگزین‌های آزمایشی، صنعت تجاری به سرعت در حال همگرایی به سمت درخت دسترسی‌پذیری به عنوان رابط استاندارد برای وب ایجنت‌محور است. مایکروسافت عمداً داده‌های دسترسی‌پذیری را به جای رندر بصری برای استاندارد اتوماسیون مرورگر خود انتخاب کرد و خاطرنشان ساخت که پلی‌رایت صرفاً روی داده‌های ساختاریافته کار می‌کند و نیازی به مدل‌های بینایی ندارد.

مستندات رسمی اوپن‌ای‌آی برای ایجنت چت‌جی‌پی‌تی اطلس (ChatGPT Atlas) به صراحت بیان می‌کند که از تگ‌های آریا (ARIA)—همان برچسب‌ها و نقش‌هایی که از صفحه‌خوان‌ها پشتیبانی می‌کنند—برای تفسیر ساختار صفحه استفاده می‌کند. برای ماشین، دسترسی‌پذیری و خوانایی دقیقاً به یک مسئله مهندسی واحد تبدیل شده‌اند.[1][2]

ترافیک خودکار در سال ۲۰۲۴ برای اولین بار از ترافیک انسانی پیشی گرفت و انگیزه‌های توسعه وب را تغییر داد.

این همگرایی معماری، انگیزه‌های توسعه وب را به طور بنیادین تغییر می‌دهد. بر اساس گزارش ربات‌های مخرب ایمپروا (Imperva) در سال ۲۰۲۵، ترافیک خودکار برای اولین بار در سال ۲۰۲۴ از ترافیک انسانی پیشی گرفت و ۵۱ درصد از کل تعاملات وب را تشکیل داد.

اگرچه همه این ترافیک نشان‌دهنده وب‌گردی پیشرفته ایجنت‌ها نیست، اما مسیر روشن است: مخاطبان غیرانسانی برای یک وب‌سایت متوسط اکنون بزرگ‌تر از مخاطبان انسانی هستند. وب‌سایت‌هایی که هدف خود را منحصراً از طریق پیکسل‌های نقاشی‌شده، چیدمان‌های بصری و انیمیشن‌های سی‌اس‌اس (CSS) منتقل می‌کنند، عملاً برای سریع‌ترین بخش در حال رشد مصرف‌کنندگان وب نامرئی هستند.[2]

خطرات این موضوع به ویژه برای پلتفرم‌های تجارت الکترونیک بالاست؛ جایی که وب‌گردی ایجنت‌ها در حال گذار از یک نوآوری پژوهشی به یک کانال درآمدی اصلی است. ایجنت‌های هوش مصنوعی به طور فزاینده‌ای وظیفه تحقیق درباره محصولات، مقایسه قیمت‌ها در میان فروشندگان متعدد و اجرای جریان‌های پیچیده و چندمرحله‌ای پرداخت را به صورت خودکار بر عهده دارند.

اگر دکمه پرداخت یک خرده‌فروش آنلاین فاقد نقش ARIA یا نام قابل دسترس مناسب باشد، ایجنت نمی‌تواند خرید را تکمیل کند. این تراکنش در سکوت با شکست مواجه می‌شود، بدون اینکه پیام خطایی به یک کاربر انسانی که ممکن است راه حلی پیدا کند، ارائه شود. در وب ایجنت‌محور، دسترسی‌پذیری ضعیف مستقیماً به سبدهای خرید رهاشده و از دست دادن سهم بازار ترجمه می‌شود.[1][2]

پروتکل زمینه مدل (Model Context Protocol) نحوه رهگیری درخت دسترسی‌پذیری توسط ایجنت‌ها برای اجرای اقدامات قطعی را استانداردسازی می‌کند.

در نتیجه، پایه و اساس سازگاری ایجنت‌ها، HTML معنایی است. گزارش نو هکس نتیجه‌گیری می‌کند: «مؤثرترین کاری که می‌توانید برای سازگاری ایجنت‌های هوش مصنوعی انجام دهید، همان کاری است که حامیان دسترسی‌پذیری وب دهه‌ها برای آن تلاش کرده‌اند.» وقتی توسعه‌دهندگان از عناصر بومی HTML مانند `<button>` و `<nav>` استفاده می‌کنند، مرورگر به طور خودکار یک درخت دسترسی‌پذیری تمیز و دقیق تولید می‌کند.

وقتی آن‌ها به تگ‌های تودرتوی `<div>` با کنترل‌کننده‌های کلیک جاوا اسکریپت سفارشی متکی می‌شوند، درخت حاصل ناقص و گمراه‌کننده خواهد بود که باعث توقف ایجنت یا شکست کامل وظیفه می‌شود. آینده اتوماسیون وب خودکار کاملاً به استانداردهایی متکی است که در اصل برای ناتوانی‌های انسانی ساخته شده‌اند و دسترسی‌پذیری وب را از یک چک‌لیست انطباق، به رابط برنامه‌نویسی واقعی برای اینترنت هوش مصنوعی تبدیل می‌کنند.[2][6]

اصطلاحات کلیدی

مدل شیء سند (DOM)
نمایش کامل و سلسله‌مراتبی از کد HTML یک صفحه وب، شامل تمام عناصر ساختاری، بصری و عملکردی.
درخت دسترسی‌پذیری
یک ساختار داده موازی و ساده‌شده که توسط مرورگر تولید می‌شود و تنها عناصر معنایی و تعاملی یک صفحه وب را نمایان می‌کند.
آریا (ARIA)
مجموعه‌ای از ویژگی‌های HTML که نقش‌ها، وضعیت‌ها و خصوصیات عناصر رابط کاربری را برای فناوری‌های کمکی تعریف می‌کنند.
پروتکل زمینه مدل (MCP)
یک معماری متن‌باز که نحوه اتصال و تعامل مدل‌های هوش مصنوعی با ابزارها و منابع داده خارجی را استانداردسازی می‌کند.

پرسش‌های متداول

تفاوت بین DOM و درخت دسترسی‌پذیری چیست؟

دام (DOM) شامل هر خط کد در یک صفحه وب است، از جمله استایل‌های بصری، کانتینرهای چیدمان و اسکریپت‌ها. درخت دسترسی‌پذیری نسخه ساده‌شده‌ای است که توسط مرورگر ساخته می‌شود و تنها شامل عناصری است که کاربر می‌تواند با آن‌ها تعامل داشته باشد، مانند دکمه‌ها، پیوندها و فیلدهای فرم.

چرا ایجنت‌های هوش مصنوعی با DOM خام مشکل دارند؟

دام یک صفحه وب مدرن می‌تواند شامل بیش از ۱۰۰,۰۰۰ توکن باشد که پنجره زمینه بیشتر مدل‌های زبانی را تحت فشار قرار می‌دهد. این امر منجر به اضافه‌بار اطلاعات می‌شود و باعث می‌شود ایجنت رد عناصر تعاملی را گم کرده و در انجام وظیفه خود شکست بخورد.

آیا بهینه‌سازی برای ایجنت‌های هوش مصنوعی باعث بهبود سئو (SEO) می‌شود؟

بله. HTML معنایی مورد نیاز برای ساخت یک درخت دسترسی‌پذیری تمیز برای ایجنت‌های هوش مصنوعی، دقیقاً همان داده‌های ساختاریافته‌ای است که خزنده‌های موتورهای جستجو برای درک و رتبه‌بندی محتوا از آن استفاده می‌کنند.

بررسی عمیق دیدگاه‌ها

حامیان وب معنایی

طرفداران سرسخت استانداردهای وب، وب ایجنت‌محور را تأیید نهایی HTML معنایی می‌دانند.

دهه‌هاست که حامیان دسترسی‌پذیری در تلاش‌اند تا توسعه‌دهندگان را متقاعد کنند که HTML معنایی و نقش‌های ARIA را در اولویت قرار دهند، اما اغلب با مقاومت‌هایی بر سر سرعت توسعه مواجه شده‌اند. اتکای ایجنت‌های هوش مصنوعی به درخت دسترسی‌پذیری، ناگهان انگیزه‌های تجاری را با استانداردهای دسترسی‌پذیری همسو کرده است. این گروه استدلال می‌کند که وب نیازی به پروتکل‌های جدید و مختص هوش مصنوعی ندارد؛ بلکه تنها نیازمند آن است که توسعه‌دهندگان از عناصر بومی HTML به درستی استفاده کنند تا اطمینان حاصل شود که هم صفحه‌خوان‌ها و هم ایجنت‌های خودکار می‌توانند در این چشم‌انداز دیجیتال پیمایش کنند.

مهندسان اتوماسیون هوش مصنوعی

مهندسانی که جریان‌های کاری ایجنت‌محور را می‌سازند، اجرای قطعی و کارایی توکن‌ها را در اولویت قرار می‌دهند.

از منظر مهندسی، دام خام یک نقطه ضعف است. مهندسان اتوماسیون استدلال می‌کنند که تغذیه ۱۰۰,۰۰۰ توکن از تگ‌های چیدمان `<div>` و استایل‌های درون‌خطی به یک مدل زبانی، هدر دادن عظیم توان محاسباتی و پنجره زمینه است. با رهگیری درخت دسترسی‌پذیری، آن‌ها می‌توانند وضعیت صفحه را در چند صد توکن با معنای خالص فشرده کنند. این گروه برای ماهیت قطعی شناسه‌های مرجع ارزش قائل است، زیرا به ایجنت اجازه می‌دهد تا بدون حدس زدن مختصات بصری که ممکن است در طول بارگذاری صفحه تغییر کنند، با اطمینان روی یک گره خاص کلیک کند.

طرفداران مدل‌های بینایی

پژوهشگرانی که روی مدل‌های چندوجهی تمرکز دارند، استدلال می‌کنند که ایجنت‌ها در نهایت باید به ادراک بصری متکی باشند.

یک مکتب فکری رقیب که توسط توسعه‌دهندگان ابزارهایی مانند کلاود کامپیوتر یوز حمایت می‌شود، استدلال می‌کند که تکیه بر کد زیربنایی ذاتاً شکننده است. از آنجا که بخش عمده‌ای از وب مدرن با ساختار معنایی ضعیفی ساخته شده است، ایجنتی که کاملاً به درخت دسترسی‌پذیری وابسته باشد، ناگزیر در سایت‌هایی با کدنویسی ضعیف شکست خواهد خورد. این گروه معتقد است که ایجنت‌های همه‌منظوره واقعی باید وب را به صورت بصری درک کنند و با تحلیل پیکسل‌های رندر شده، چیدمان‌ها و عناصر تعاملی را دقیقاً مانند یک کاربر انسانی درک کنند، فارغ از اینکه HTML زیربنایی چقدر آشفته باشد.

حامیان وب معنایی 40%مهندسان اتوماسیون هوش مصنوعی 40%طرفداران مدل‌های بینایی 20%
حامیان وب معنایی
طرفداران سرسخت استانداردهای وب، وب ایجنت‌محور را تأیید نهایی HTML معنایی می‌دانند.
مهندسان اتوماسیون هوش مصنوعی
مهندسانی که جریان‌های کاری ایجنت‌محور را می‌سازند، اجرای قطعی و کارایی توکن‌ها را در اولویت قرار می‌دهند.
طرفداران مدل‌های بینایی
پژوهشگرانی که روی مدل‌های چندوجهی تمرکز دارند، استدلال می‌کنند که ایجنت‌ها در نهایت باید به ادراک بصری متکی باشند.

دیدگاه‌هایی که این گزارش پوشش نداده

  • کاربران صفحه‌خوان‌ها که ابزارهایشان توسط ترافیک هوش مصنوعی در حال تسخیر است.

منابع

پوشش منابع

6 منبع

3 دیدگاه شناسایی‌شده

حامیان وب معنایی 40%مهندسان اتوماسیون هوش مصنوعی 40%طرفداران مدل‌های بینایی 20%
  1. [1]Search Engine Journalطرفداران مدل‌های بینایی

    How AI Agents See Your Website

    مطالعه در Search Engine Journal →
  2. [2]No Hacksحامیان وب معنایی

    How AI Agents See Your Website (And How to Build for Them)

    مطالعه در No Hacks →
  3. [3]AlphaXivمهندسان اتوماسیون هوش مصنوعی

    Prune4Web: DOM Tree Pruning Programming for Web Agent

    مطالعه در AlphaXiv →
  4. [4]arXivمهندسان اتوماسیون هوش مصنوعی

    Element Reference Systems in Browser Automation

    مطالعه در arXiv →
  5. [5]Webfuseمهندسان اتوماسیون هوش مصنوعی

    DOM Downsampling for LLM-Based Web Agents

    مطالعه در Webfuse →
  6. [6]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان →

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

اخبار هوش مصنوعی با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.