رفتن به محتوای اصلی
استانداردهای وبخزنده‌های وب· 7 دقیقه مطالعه· در فناوری

توافق غول‌های هوش مصنوعی بر سر یک استاندارد واحد برای مسدودسازی خزنده‌ها؛ راهکاری داوطلبانه پس از بلعیدن وب

بزرگ‌ترین توسعه‌دهندگان هوش مصنوعی جهان توافق کرده‌اند از پروتکلی استاندارد و یکپارچه پیروی کنند که به مدیران وب‌سایت‌ها اجازه می‌دهد با یک دستور واحد، مانع از استخراج داده‌های خود شوند. این چارچوب اختیاری جایگزین سیستمی آشفته و فرسایشی می‌شود که پیش‌تر ناشران را مجبور می‌کرد ده‌ها ربات مختلف را به‌صورت دستی مسدود کنند.

به قلم ایمان شریعتی

این خبر را به اشتراک بگذارید

گوش‌ دهید

بزرگ‌ترین شرکت‌های فعال در حوزه هوش مصنوعی روی پروتکلی مشترک به توافق رسیده‌اند که به صاحبان وب‌سایت‌ها اجازه می‌دهد ربات‌های استخراج داده آن‌ها را تنها با یک خط کد مسدود کنند. گوگل، مایکروسافت، OpenAI و آنتروپیک در ۳۰ اکتبر ۲۰۲۶ رسماً این استاندارد مشترک را معرفی کردند.[1][2]

این اقدام تازه جایگزین ساختار نامنسجمی می‌شود که طی آن ناشران برای حفظ محتوای خود ناچار بودند تک‌تک خزنده‌ها را شناسایی کرده و ده‌ها ربات وب را به‌طور مداوم و دستی مسدود نمایند. اکنون، با ثبت یک دستور سراسری در ساختار سایت، می‌توان به مدل‌ها پیام داد که متون و تصاویر آن وب‌سایت برای آموزش غیرمجاز است.[3][6]

طی سه سال گذشته، رابطه میان شرکت‌های توسعه‌دهنده هوش مصنوعی مولد و ناشران دیجیتال بیش از هر چیز با بهره‌کشی یک‌طرفه و دادخواهی حقوقی توصیف می‌شد. این شرکت‌ها بدون دریافت اجازه یا پرداخت حق‌الزحمه، تمام داده‌های وب باز را برای ساخت پایگاه‌های داده عظیم مورد نیاز آموزش مدل‌های پیشرو جمع‌آوری کردند.[8]

صاحبان سایت‌هایی که تمایلی به استفاده از محتوایشان نداشتند، عملاً درگیر موش‌وگربه‌بازی فرسایشی مداومی با غول‌های فناوری شده بودند؛ با راه‌اندازی هر استارتاپ جدید یا معرفی خزنده‌ای تازه، مدیران وب ناچار می‌شدند تنظیمات سرور خود را از نو به‌روزرسانی کنند تا نام کارگزار کاربر (user-agent) جدید را در لیست سیاه بگذارند.[4][5]

استاندارد جدید این سپر دفاعی را ساده‌تر می‌کند. این چهار غول فناوری با پذیرش یک برچسب مشترک در دل پروتکل‌های دیرینه وب، عملاً تابلوی «ورود ممنوع» دیجیتال را برای فرایند آموزش هوش مصنوعی یکدست و استاندارد کرده‌اند.[1][7]

مزیت این پروتکل در تفکیک نمایه‌سازی جستجوی سنتی از بهره‌کشی برای آموزش نهفته است. در تحلیل فنی منتشرشده توسط Search Engine Roundtable آمده است که این تفکیک به صاحبان وب‌سایت‌ها امکان می‌دهد حضور خود را در نتایج جستجو حفظ کنند و در عین حال دارایی‌های فکری‌شان را از دایره مصرف مدل‌ها خارج نگه دارند.[4]

استاندارد واحد نیاز به مسدود کردن دستی ده‌ها خزنده مختلف هوش مصنوعی را برطرف می‌کند.

سازوکار فنی استاندارد واحد برای انصراف از استخراج داده

پیاده‌سازی فنی این راهکار بر پایه گسترش فایل robots.txt است؛ استانداردی وب که از سال ۱۹۹۴ برای راهنمایی خزنده‌های موتورهای جستجو شکل گرفت. از این پس وب‌مسترها می‌توانند به جای نام بردن از تک‌تک ربات‌ها مانند GPTBot یا Anthropic-ai، صرفاً از یک دستور فراگیر استفاده کنند.[6][8]

گوگل که هم کنترل موتور جستجوی مسلط بر جهان و هم یکی از بزرگ‌ترین شاخه‌های توسعه هوش مصنوعی را در اختیار دارد، تأکید کرده است که استفاده از این سازوکار بازدارنده خللی در رتبه و نمایش سایت در نتایج عادی جستجو ایجاد نمی‌کند و صرفاً دسترسی خزنده‌های آموزش داده را محدود می‌سازد.[2][4]

مایکروسافت و OpenAI که همکاری نزدیکشان موتور محرکه رونق اخیر هوش مصنوعی بوده، تأیید کردند که خزنده‌های آن‌ها بی‌درنگ از این دستور واحد پیروی خواهند کرد. آنتروپیک، سازنده خانواده مدل‌های کلود (Claude) نیز برای پوشش‌دهی حداکثری بازار به این ائتلاف پیوسته است.[3][5]

اجماع این چهار کمپانی، بخش عمده‌ای از جریان تجاری توسعه مدل‌های پیشرو را زیر چتر خود می‌برد. با این حال، پایبندی به این استاندارد کاملاً داوطلبانه و بر پایه توافقی اخلاقی است، نه یک چارچوب الزام‌آور قانونی یا یک قفل رمزنگاری‌شده فنی.[8]

منتقدان به‌درستی گوشزد می‌کنند که این برچسب اگرچه جلوی معروف‌ترین بازیگران را می‌گیرد، از نظر فنی هیچ مانعی در برابر خزیدن بازیگران متفرقه ایجاد نمی‌کند. یک توسعه‌دهنده بی‌نام‌ونشان یا رقیبی خارجی می‌تواند بدون دغدغه فایل متنی robots.txt را نادیده بگیرد و به غارت داده‌ها ادامه دهد.[1][8]

گذشته از این، قاعده جدید صرفاً برای داده‌های آینده اعمال می‌شود؛ هیچ تعهدی برای پاک‌سازی یا بازآموزی مدل‌هایی چون GPT-4 یا Claude 3.5 که طی سال‌های گذشته انبوهی از متون دارای کپی‌رایت را بلعیده‌اند، بر عهده شرکت‌ها قرار نگرفته است.[3][8]

آتش‌بس مقطعی در جبهه حقوق مؤلفان

زمان‌بندی ارائه این استاندارد با تشدید فشارهای حقوقی بر غول‌های فناوری هم‌راستاست. در سال‌های ۲۰۲۴ و ۲۰۲۵، ناشران بزرگی از جمله نیویورک تایمز و گروه انتشاراتی تریبیون پرونده‌های شکایتی تاریخی را پیرامون نقض حق کپی‌رایت علیه OpenAI و مایکروسافت به جریان انداختند.[1][3]

شاکیان در این پرونده‌ها استدلال می‌کنند که ارزش‌گذاری‌های میلیارد دلاری این شرکت‌ها بر تاراج نظام‌مند دسترنج روزنامه‌نگاران، نویسندگان و هنرمندان استوار شده است. اکنون به نظر می‌رسد این نرمش مشترک بیش از هر چیز تلاشی برای نشان دادن حسن‌نیت به نهادهای نظارتی و دادگاه‌ها باشد.[5][8]

سهم خزنده‌های هوش مصنوعی مولد از کل ترافیک وب از سال ۲۰۲۳ روندی صعودی را تجربه کرده است.

آزمایشگاه روزنامه‌نگاری نیمن (Nieman Journalism Lab) گزارش داد که ناشران از زمان آغاز تب هوش مصنوعی همواره خواستار یک کلید خاموشی فراگیر بوده‌اند: «این توافق اگرچه زمانی حاصل می‌شود که مدل‌های اصلی متولد و آموزش داده شده‌اند، اما سرانجام سازوکار لازم را محقق می‌سازد.»[3]

تفکیک فرایند ایندکس جستجو از آموزش مدل، اصلی‌ترین محل تنش میان طرفین بوده است. در طول دهه‌ها وب‌سایت‌ها از حضور خزنده‌ها استقبال می‌کردند زیرا در ازای ارائه داده‌های متنی، ترافیک ورودی و مخاطب دریافت می‌کردند که رابطه‌ای دوجانبه و سودمند بود.[4][7]

هوش مصنوعی مولد اما این قرارداد نانوشته اجتماعی را یک‌سویه باطل کرد. مدلی که یک مقاله را مصرف می‌کند تا شبکه عصبی خود را آموزش دهد، هیچ کاربری را به ناشر اصلی هدایت نمی‌کند؛ داده صرفاً هضم می‌شود تا پرسش کاربران در همان محیط چت پاسخ داده شود.[8]

پروتکل جدید با مستقل کردن نام خزنده‌ها به صاحبان سایت این امکان را می‌دهد که راهبردهای سئو (SEO) خود را دنبال کنند و دسترسی مدل‌ها به محتوای اختصاصی‌شان را ببندند؛ یعنی میزبان Googlebot برای جستجو باشند و هم‌زمان ورود Google-Extended را برای آموزش مسدود کنند.[2][6]

چالش‌های پیاده‌سازی و وضعیت پذیرش در صنعت

فرایند فراگیر شدن این استاندارد در سیستم‌های مدیریت محتوا و هاستینگ‌ها چند هفته زمان می‌برد. پلتفرم‌هایی نظیر وردپرس و اسکوئراسپیس در حال طراحی گزینه‌ای با دسترسی آسان و تک‌کلیک هستند تا مدیران بتوانند این دستور را به سادگی فعال کنند.[1][5]

اگرچه این چهار شرکت متعهد شده‌اند، زیست‌بوم کلان هوش مصنوعی کماکان چندپاره است؛ توسعه‌دهندگان مدل‌های متن‌باز، پژوهشگران دانشگاهی و دلالان تخصصی داده به این توافق‌نامه نپیوسته‌اند و عملاً روزنه‌ای فراخ در ساختار دفاعی وب باقی گذاشته‌اند.[8]

نشریه تک پالیسی پرس (Tech Policy Press) با اشاره به همین نقطه ضعف یادآور شد که کل سیستم بر مبنای اصل امانت‌داری و وجدان کاری بنا شده است. اگر استارتاپی منافع دریافت داده را بر پایبندی به نزاکت وب ترجیح دهد، ناشر همچنان ناچار است به ابزارهایی چون مسدودسازی آی‌پی یا اقدامات حقوقی رو بیاورد.[8]

همچنین معمای ممیزی و راستی‌آزمایی هنوز پابرجاست. در حال حاضر، ناشران هیچ راه مستقل و معتبری برای سنجش میزان وفاداری شرکت‌ها به این برچسب ندارند، مگر آنکه به‌طور پیوسته لاگ‌های ثبت سرور را زیر ذره‌بین بگذارند.[1][6]

تصویرگری: وب‌مسترها پیش از این مجبور بودند برای مهار خزنده‌های استارتاپ‌های تازه به صورت هفتگی تنظیمات سرور را دستکاری کنند.

اگر ناشری اثر خود را در خروجی یک چت‌بات بیابد، از نظر فنی و حقوقی اثبات اینکه متن پس از اعمال دستور مسدودسازی جمع‌آوری شده یا از داده‌های قدیمی نشئت گرفته، کاری به‌شدت دشوار و پیچیده خواهد بود.[3][8]

معادلات اقتصادی گزینه انصراف و قراردادهای داده

این استاندارد مشترک درست در برهه‌ای از راه می‌رسد که اقتصاد داده‌های متنی دستخوش دگرگونی بنیادین است؛ در پی کشیدن حصار به دور وب عمومی و فعال‌سازی دیوار پرداخت، غول‌های فناوری برای دسترسی به متون اصیل به سراغ قراردادهای انحصاری مالی رفته‌اند.[2][5]

گوگل و OpenAI در سال‌های ۲۰۲۵ و ۲۰۲۶ صدها میلیون دلار برای امضای توافق‌نامه‌های خرید داده با کارتل‌های رسانه‌ای، پلتفرم ردیت و انتشارات دانشگاهی هزینه کرده‌اند. این پروتکل جدید عملاً نظام وب را به فضایی طبقاتی و دونرخی تبدیل می‌کند.[1][3]

وب‌سایت‌هایی که با برچسب جدید جلوی دسترسی رایگان را می‌گیرند، اهرم فشار لازم برای گرفتن پول و امتیاز تجاری را حفظ خواهند کرد. با بستن مجرای مفت‌سواری، توسعه‌دهندگان چاره‌ای جز نشستن پای میز مذاکره نخواهند داشت.[5][8]

وب‌سایت‌هایی که با برچسب جدید جلوی دسترسی رایگان را می‌گیرند، اهرم فشار لازم برای گرفتن پول و امتیاز تجاری را حفظ خواهند کرد.

با این حال، تولیدکنندگان مستقل محتوا و پدیدآورندگان خرد از چنان ابعاد و نفوذی برخوردار نیستند که قراردادهای میلیون دلاری منعقد کنند؛ برای این قشر، گزینه خروج جمعی نه یک ترفند چانه‌زنی مالی، بلکه تنها حصار ممکن برای جلوگیری از غارت بی‌مزد و منت دسترنجشان است.[3][8]

توافق پاییز ۲۰۲۶ نخستین ابتکار هماهنگ صنعت فناوری برای نظم‌بخشی به جمع‌آوری لجام‌گسیخته داده‌های متنی به شمار می‌رود؛ سرنوشت و کارآمدی واقعی این تدبیر در نهایت به این بستگی دارد که سایر بازیگران هوش مصنوعی نیز تا چه اندازه مایل به احترام به آن باشند.[1][8]

نکات کلیدی

  1. گوگل، مایکروسافت، OpenAI و آنتروپیک استانداردی مشترک را در فایل robots.txt پذیرفته‌اند تا به ناشران اجازه مسدودسازی خزنده‌ها را بدهند.
  2. این پروتکل به وب‌سایت‌ها امکان می‌دهد بدون آسیب به وضعیت رتبه‌بندی در موتورهای جستجوی کلاسیک، مانع از تغذیه هوش مصنوعی از متون خود شوند.
  3. پایبندی به این استاندارد کاملاً داوطلبانه است و شرکت‌ها را مجبور به حذف محتواهایی که پیش‌تر برداشت کرده‌اند نمی‌کند.
  4. ناشران می‌توانند از این سد تازه برای حفظ مالکیت معنوی و به دست آوردن اهرم فشار در مذاکرات فروش حق امتیاز داده استفاده کنند.

آنچه نمی‌دانیم

  • آیا توسعه‌دهندگان مدل‌های متن‌باز و رقبای فرامرزی نیز از این استاندارد انصرافی اختیاری پیروی خواهند کرد؟
  • سازوکار مستقل و فنی ناشران برای راستی‌آزمایی اینکه فلان مدل واقعاً محدودیت را رعایت کرده یا نه، چگونه کار خواهد کرد؟
  • این اقدام تا چه میزان بر احکام پرونده‌های جاری شکایت نقض حق نشر علیه شرکت‌های فناوری اثرگذار خواهد بود؟

روند رویداد

  1. ۱۹۹۴

    پروتکل robots.txt برای هدایت ربات‌های اولیه موتورهای جستجو شکل گرفت.

  2. ۲۰۲۳

    شرکت‌های فعال در هوش مصنوعی مولد به کارگیری خزنده‌های اختصاصی را برای جمع‌آوری داده‌های آموزشی کلید زدند.

  3. ۲۰۲۴-۲۰۲۵

    ناشران بزرگ رسانه‌ای شکایات حقوقی برجسته‌ای پیرامون نقض حق کپی‌رایت علیه مایکروسافت و OpenAI اقامه کردند.

  4. اکتبر ۲۰۲۶

    چهار غول اصلی هوش مصنوعی توافق کردند امکانی استاندارد برای رد دسترسی داده‌ها به ناشران ارائه دهند.

توسعه‌دهندگان پیشرو هوش مصنوعی 40%ناشران محتوای دیجیتال 40%تحلیل‌گران حوزه جستجو و وب 20%
توسعه‌دهندگان پیشرو هوش مصنوعی
معتقدند این استاندارد نشانه شفافی از احترام به حقوق ناشران و گامی اساسی در جهت شکل‌گیری یک زیست‌بوم پایدار در تبادل داده است.
ناشران محتوای دیجیتال
این پروتکل را سپری ضروری هرچند دیرهنگام برای بازپس‌گیری کنترل بر دارایی‌های فکری و متوقف کردن فرسایش محتوا می‌دانند.
تحلیل‌گران حوزه جستجو و وب
بر اهمیت فنی تفکیک رتبه‌بندی جستجو از تاراج داده‌ها دست می‌گذارند و آن را راهکاری مناسب برای حفظ بازدهی سئو ارزیابی می‌کنند.

دیدگاه‌هایی که این گزارش پوشش نداده

  • تولیدکنندگان مستقل محتوا و پدیدآورندگان خرد در وب
  • توسعه‌دهندگان مدل‌های متن‌باز هوش مصنوعی

منابع

پوشش منابع

8 منبع

3 دیدگاه شناسایی‌شده

توسعه‌دهندگان پیشرو هوش مصنوعی 40%ناشران محتوای دیجیتال 40%تحلیل‌گران حوزه جستجو و وب 20%
  1. [1]The Vergeتوسعه‌دهندگان پیشرو هوش مصنوعی

    The biggest names in AI are backing a new way to opt out of scraping

    مطالعه در The Verge →
  2. [2]SiliconANGLEتوسعه‌دهندگان پیشرو هوش مصنوعی

    Google, Anthropic and others to support new AI crawling opt-out standard

    مطالعه در SiliconANGLE →
  3. [3]Nieman Journalism Labناشران محتوای دیجیتال

    Anthropic, OpenAI, Google, and Microsoft will make it easier for publishers to opt out of being scraped

    مطالعه در Nieman Journalism Lab →
  4. [4]Search Engine Roundtableتحلیل‌گران حوزه جستجو و وب

    Google Adopts New AI Training Control

    مطالعه در Search Engine Roundtable →
  5. [5]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان →
  6. [6]The Next Webتحلیل‌گران حوزه جستجو و وب

    Google, Microsoft, OpenAI and Anthropic will honour one shared AI training opt-out in robots.txt

    مطالعه در The Next Web →
  7. [7]Search Engine Journalتحلیل‌گران حوزه جستجو و وب

    Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out

    مطالعه در Search Engine Journal →
  8. [8]تیم سردبیری کوهستان

    تحلیل تیم سردبیری کوهستان

    مطالعه در تیم سردبیری کوهستان →
گوش‌ دهید

نظرات

همیشه در جریان باشید

هر زاویه. هر روز.

اخبار فناوری با پوشش کامل منابع و تحلیل دیدگاه‌ها، هر روز و رایگان.