پروتکل رزرو TDM کنسرسیوم وب؛ چالش پروتکل قدیمی Robots.txt در برابر استخراج داده برای هوش مصنوعی

در دهم دسامبر ۲۰۲۵، دادگاه عالی منطقه‌ای هانسیتیک در هامبورگ حکمی صادر کرد که نحوه محافظت ناشران وب از محتوای خود در برابر هوش مصنوعی را از ریشه دگرگون ساخت. دادگاه با رد شکایت کپی‌رایت علیه گروه پژوهشی غیرانتفاعی لایون (LAION)، تصریح کرد که اعلام انصراف‌های متنی به زبان طبیعی که در شرایط استفاده وب‌سایت‌ها پنهان شده‌اند، از نظر حقوقی برای حفاظت از داده‌ها کفایت نمی‌کنند.[1]

ناشران برای اینکه بتوانند حقوق خود را در برابر داده‌کاوی متنی و کاوش اطلاعات محفوظ نگه دارند، اکنون ملزم هستند از نشانه‌های شفاف و ماشین‌خوان بهره ببرند؛ نشانه‌هایی که سامانه‌های خودکار بتوانند بدون دخالت انسان آن‌ها را پردازش و تفسیر کنند. این حکم، گذار ساختاری در وب را سرعت بخشید و به تقابل میان «پروتکل استثنا کردن ربات‌ها» (Robots Exclusion Protocol) با سه دهه قدمت، و گزینه‌ای نوین به نام «پروتکل رزرو TDM» دامن زد.[1][7]

اهمیت فنی این دگرگونی ماه‌ها پیش از آن در قوانین اروپایی گنجانده شده بود و مهلت سفت‌وسختی را برای رعایت انطباق پیش روی توسعه‌دهندگان قرار می‌داد. در دوم اوت ۲۰۲۵، ماده ۵۳ «قانون هوش مصنوعی اتحادیه اروپا» به مرحله اجرا درآمد؛ ماده‌ای که ارائه‌دهندگان مدل‌های هوش مصنوعی چندمنظوره را مکلف می‌سازد اعلامیه‌های ماشین‌خوان مبنی بر عدم تمایل به استخراج کپی‌رایت را در تمام مراحل آموزش مدل‌ها لحاظ کنند.[3]

این الزام سراسری پیوند مستقیمی با بند ۳ از ماده ۴ «دستورالعمل حق تکثیر در بازار واحد دیجیتال اتحادیه اروپا» دارد که بر نحوه استخراج داده‌ها نظارت می‌کند. این دستورالعمل، کاوش متن و داده‌ها را با اهداف تجاری بر روی آثاری که به‌طور قانونی در دسترس قرار دارند مجاز می‌داند، مشروط به آنکه دارنده حق، به‌روشنی و به شیوه‌ای ماشین‌خوان حقوق خود را استثنا و محفوظ نکرده باشد.[3]

مدیران پایگاه‌های اینترنتی سال‌ها برای مدیریت ترافیک خودکار و صیانت از پهنای باند سرورها، صرفاً به یک فایل متنی اتکا می‌کردند. این فایل استثناسازی استاندارد که در سال ۱۹۹۴ بنیان‌گذاری شد، در ریشه دامنه قرار می‌گیرد و شناسه کاربری خزنده‌ها (User-Agent) را با فهرستی از مسیرهای مجاز و نامجاز تطبیق می‌دهد؛ سازوکاری که دقیقاً شبیه به یک دربان دیجیتال عمل می‌کند.[2]

محدودیت‌های رویکرد سنتی و تفکیک باینری

پروتکل قدیمی همچون دروازه‌بانی با منطق باینری (صفر و یک) کار می‌کند و تنها پاسخش این است که آیا یک ربات خاص در یک لحظه مشخص اجازه فراخوانی یک آدرس اینترنتی (URL) را دارد یا خیر. این استاندارد هیچ ساختار مفهومی و واژگانی برای فهم «هدف» از فراخوانی صفحه ندارد؛ از این رو نمی‌تواند خزنده‌ای را که برای نمایه‌سازی جستجو می‌آید، از رباتی که به دنبال جمع‌آوری داده برای آموزش مدل است تشخیص دهد.[2]

تحلیل فنی شرکت اسکرپینگ‌بی (ScrapingBee) در ژوئیه ۲۰۲۶ این مسئله را چنین توصیف می‌کند: «فایل robots.txt فقط به یک پرسش پاسخ می‌دهد: آیا این خزنده می‌تواند این آدرس را دریافت کند؟ این تک‌بیت اطلاعاتی، دیگر با مقصود مالکان سایت در سال ۲۰۲۶ همخوانی ندارد؛ چرا که آن‌ها مایل‌اند نمایه‌سازی برای موتورهای جستجو را مجاز دانسته اما آموزش مدل را منع کنند.»[2]

ضمانت اجرای حقوقی این نشانه صفر و یکی در خارج از خاک اروپا همچنان محل مناقشه جدی است و ناشران را در وضعیتی ناامن رها کرده است. در ایالات متحده، دادگاه فدرالی که پرونده شکایت شرکت زایف دیویس علیه اوپن‌ای‌آی (Ziff Davis v. OpenAI) را بررسی می‌کرد، دستور استانداردِ این فایل را به تابلوی «ورود ممنوع» تشبیه کرد؛ نشانه‌ای که الزامات الزام‌آور یک قرارداد حقوقی الزام‌آور را با خود به همراه ندارد.[1]

علاوه بر این، پروتکل سنتی به‌طور سفت‌وسخت به دامنه‌ای متصل است که فایل در آن مستقر شده، و این امر روزنه‌ای بزرگ پیش روی محتواهای بازنشرشده ایجاد می‌کند. چنانچه تصویر یا نوشته دارای حق نشر در شبکه‌های اجتماعی یا پایگاه‌های دیگر که خارج از کنترل پدیدآورنده اصلی هستند بازنشر شود، ترجیحات عدم دسترسی خالق اثر همراه با آن فایل منتقل نخواهد شد.[8]

کنسرسیوم وب جهان‌گستر (W3C) برای حل این کاستی‌های زیرساختی، گزینه‌ای اختصاصی متناسب با عصر هوش مصنوعی مولد تدوین کرد. این راه‌حل که در ۱۰ مه ۲۰۲۴ در قالب گزارش کارگروه به مرحله نهایی رسید، «پروتکل رزرو TDM» نام دارد و به ناشران اجازه می‌دهد بدون بستن دسترسی فیزیکی، سیاست‌های خود را پیرامون کاوش متن و داده اعلام نمایند.[7]

رزرو حقوق مبتنی بر هدف استفاده

این پروتکل از طریق یک متغیر بولی (Boolean) ساده تحت عنوان نشانگر رزرو (Reservation Flag) کار می‌کند که انطباق مستقیمی با چارچوب‌های قانونی اروپا دارد. هنگامی که یک ناشر این مقدار را برابر با ۱ قرار می‌دهد، صراحتاً اعلام می‌کند که حقوق کاوش متن و داده‌ها بر اساس قوانین حق نشر محفوظ است؛ در مقابل، مقدار ۰ نشان‌دهنده بلامانع بودن استخراج داده خواهد بود.[7]

ناشران می‌توانند این نشانه را از سه مجرای مجزا پیاده‌سازی کنند، ویژگی نوآورانه‌ای که انعطاف‌پذیری بالایی در قیاس با استاندارد قدیمی به همراه دارد. این مشخصه‌ها هم می‌توانند به‌صورت تگ‌های متای HTML درون صفحات جاگذاری شوند، هم در قالب هدرهای پاسخ HTTP ارسال گردند و هم در یک فایل با فرمت JSON در مسیر مشخصی از وب‌سرور متمرکز شوند.[6][7]

پدیدآورندگان با به‌کارگیری هدرهای HTTP یا متاتگ‌ها قادرند ترجیحات استخراج داده را به تک‌تک دارایی‌های خود الحاق کنند، بی‌آنکه ناچار به اعمال قاعده‌ای فراگیر بر تمام شاخه‌ها و پوشه‌ها باشند. آزمایشگاه خواندن دیجیتال اروپا (EDRLab) که در تدوین این مشخصه فنی مشارکت داشته، توضیح می‌دهد: «یک خزنده اصلاً نیازی به دانلود و فراخوانی کل محتوا ندارد تا از وضعیت انصراف و ترجیحات حقوقی آن مطلع شود.»[6]

نکته راهبردی در این پروتکل، تفکیک حق قانونی استخراج داده از امکان فنی مشاهده و دسترسی به آن است؛ امری که ماهیت باز و متصل وب را زنده نگه می‌دارد. رزرو حقوق استخراج با استفاده از استاندارد W3C مانع دریافت صفحه توسط خزنده نمی‌شود و تضمین می‌کند که داده‌ها برای موتورهای جستجو و سامانه‌های نسل افزوده بازیابی (RAG) همچنان قابل مشاهده باقی بمانند.[4][7]

این مشخصات فنی قابلیتی به نام policy نیز به همراه دارد؛ مشخصه‌ای که نشانی یک سند صدور مجوز ماشین‌خوان با فرمت JSON را دریافت می‌کند. این راهکار فرآیند اخذ مجوز را خودکار می‌سازد و توسعه‌دهندگان هوش مصنوعی را مستقیماً به درگاهی هدایت می‌کند که در آن می‌توانند حق کاوش و استخراج داده‌های محفوظ را به‌صورت قانونی و رسمی خریداری کنند.[7]

شکاف در پذیرش و چالش سیگنال‌های متناقض

علیرغم مزایای حقوقی روشن، این پروتکل تازه در مقایسه با همتای قدیمی خود که از پشتوانه ده‌ها سال اینرسی بهره می‌برد، مسیر سختی برای پذیرش همگانی پیش رو دارد. بررسی سراسری ۴۲ وب‌سایت برجسته در ژوئیه ۲۰۲۶ نشان داد که ۷۴ درصد از آن‌ها همچنان با دستورات سنتی حداقل دسترسی یک خزنده هوش مصنوعی را مسدود کرده‌اند.[2]

در نقطه مقابل، تنها ۲۱ درصد از دامنه‌های ارزیابی‌شده هر شکلی از نشانه‌های پروتکل رزرو کاوش متن و داده را ارسال می‌کردند. پذیرش این پروتکل به‌شدت متمایل به کشورهای اروپایی است؛ مناطقی که چارچوب حقوقی‌شان دریافت حمایت‌های قانونی در برابر استخراج غیرمجاز داده را صراحتاً به ارسال یک نشانه ماشین‌خوان مشروط کرده است.[2]

آمارهای منطقه‌ای این شکاف عمیق جغرافیایی را در رویکرد ناشران نسبت به خزش محتوا توسط هوش مصنوعی اثبات می‌کند. بنا بر گزارش آزمایشگاه خواندن دیجیتال اروپا، تا اواخر سال ۲۰۲۴ پروتکل رزرو در ۱۴۳ مورد از ۲۵۰ وب‌سایت پربازدید فرانسوی پیاده‌سازی شده است که بیش از نیمی از پرمخاطب‌ترین دامنه‌های این کشور را در بر می‌گیرد.[2][6]

به‌کارگیری هم‌زمان هر دو پروتکل، چالش فنی پیچیده‌ای را در مرحله ورود داده‌ها پیش روی توسعه‌دهندگان هوش مصنوعی گذاشته است: حل تعارض نشانه‌های متناقض. وضعیتی محتمل است که در آن یک ناشر خزنده‌ای را در سطح دامنه بلاک کرده باشد، اما هم‌زمان در فایل JSON خود مجوز تجاری استخراج داده را برای فروش عرضه کند.[2]

تحلیل اسکرپینگ‌بی درباره سایت‌هایی که از هر دو شیوه استفاده می‌کنند یادآور می‌شود: «robots.txt استفاده از داده را سد می‌کند و فایل لایسنس، فروش آن را پیش می‌نهد. درگاهی که تنها یکی از این دو نشانه را بخواند، به نتیجه اشتباه خواهد رسید.» این ناسازگاری، مهندسان را وادار ساخته است الگوهای تصمیم‌گیری پیچیده‌ای را برای تفسیر داده‌ها پیاده‌سازی کنند.[2]

استانداردسازی لایه انطباق با قانون

کمیسیون اروپا با درک این بحران در زمینه سازگاری، یک دوره رایزنی عمومی رسمی از اول دسامبر ۲۰۲۵ تا ۲۳ ژانویه ۲۰۲۶ برگزار کرد. هدف این برنامه، شناسایی و معرفی فهرستی جامع و قابل اتکا از راهکارهای فنی برای انصراف از استخراج داده بود تا هم ناشران و هم توسعه‌دهندگان هوش مصنوعی بتوانند بر آن تکیه کنند.[5]

انگیزه اصلی از این مشورت‌ها، گذار از مفهوم انتزاعی «ماشین‌خوان بودن» در قانون به یک رویه عملیاتی شفاف بود. قانون‌گذاران در پی دستیابی به زبانی فنی و مشترک هستند تا سامانه‌های هوشمند بتوانند بدون مداخله انسانی، وضعیت حقوقی میلیاردها صفحه اینترنتی را به صورتی دقیق و اتکاپذیر تحلیل نمایند.[5]

بگونیا گونزالس اوترو، مشاور مالکیت فکری در مؤسسه گاریگوس (Garrigues)، در یادداشت تحلیلی خود در فوریه ۲۰۲۶ با اشاره به این تغییرات تقنینی تصریح کرد: «هرگونه مکانیسم انصرافی که نیازمند تفسیر موردی و قضاوت باشد، با مقیاس گسترده کاوش متن و داده همخوانی ندارد و قطعیت حقوقی را برای توسعه‌دهندگان از میان می‌برد.»[5]

تا زمان تحقق یک استاندارد واحد و پذیرفته‌شده در سطح جهان، تیم‌های انطباق و راهبری در شرکت‌های بزرگ هوش مصنوعی ناچارند در میان انبوهی از مقررات پراکنده حرکت کنند. خطوط پردازش داده آن‌ها باید هم‌زمان از عهده خواندن فایل‌های سنتی، فایل‌های JSON نوین و هدرهای پاسخ HTTP برآیند تا مانع نقض حقوق مالکیت فکری شوند.[2][3]

این فشار فنی برای ارائه‌دهندگان مدل‌های هوش مصنوعی چندمنظوره که در قلمرو تحت کنترل اتحادیه اروپا فعالیت می‌کنند به‌مراتب سنگین‌تر است. آن‌ها مطابق قانون هوش مصنوعی موظف‌اند سیاست‌های انطباق با حق نشر را شفاف و مستند سازند و اثبات کنند خزنده‌هایشان به پروتکل‌های رزرو احترام می‌گذارند؛ وگرنه متحمل جریمه‌های سنگینی خواهند شد.[3]

شکاف قانونی در دو سوی اقیانوس اطلس

ایالات متحده در این میان یک استثنای چشمگیر باقی مانده است؛ کشوری که اساساً قانونی برای استثنای کاوش متن و داده‌ها تصویب نکرده است. در غیاب یک معادل فدرال برای دستورالعمل اروپا، ناشران آمریکایی نمی‌توانند به پروتکل W3C به عنوان ابزاری برای فعال‌سازی خودکار چتر حمایتی در برابر توسعه‌دهندگان داخلی بنگرند.[3]

در عوض، توسعه‌دهندگان هوش مصنوعی مستقر در آمریکا استخراج داده‌ها را با تکیه بر دکترین «استفاده منصفانه» (Fair Use) و «استفاده تحول‌آفرین» توجیه می‌کنند و معتقدند آموزش مدل ناقض اصل اثر نیست. بدین ترتیب منازعات حقوقی کپی‌رایت در آمریکا به جای یک پرچم استاندارد و ماشین‌خوان، وارد فرآیندهای دادرسی طولانی و پیچیده می‌شود.[3]

در پی این شرایط، ناشران آمریکایی اغلب به راهکارهای سطح شبکه و زیرساخت برای جلوگیری از استخراج غیرمجاز متوسل می‌شوند. برای نمونه در ژوئیه ۲۰۲۵، شرکت ارائه‌دهنده زیرساخت کلودفلر (Cloudflare) تنظیمات پیش‌فرض خود را برای تمام سایت‌های تازه تغییر داد تا خزنده‌های هوش مصنوعی مسدود شوند و نیازی به پیکربندی دستی فایل‌ها نباشد.[4]

کلودفلر هم‌زمان بازاری را بر بستر کد وضعیت HTTP 402 راه‌اندازی کرد که به صاحبان پایگاه‌ها اجازه می‌دهد از بات‌های خودکار در ازای دسترسی به صفحات هزینه دریافت کنند. این شیوه مبتنی بر زیرساخت، بار نظارت و اعمال قانون را از دوش ناشر برمی‌دارد و آن را به سطح شبکه منتقل می‌سازد و مسیر درآمدی جدیدی باز می‌کند.[4]

با بلوغ روزافزون زیرساخت‌های نرم‌افزاری، تفکیک میان مسدود کردن دسترسی و رزرو حقوقی محتوا، خط‌مشی بنیادین معماری آینده وب را شکل خواهد داد. پروتکل‌های قدیمی در آینده ابزارهایی کلی برای مهار و هدایت ترافیک سرور باقی می‌مانند، در حالی که پروتکل‌های نوظهور پاسخگوی ظرافت‌های حقوقی و اعطای مجوز مالکیت فکری خواهند بود.[2][5]