غول‌های هوش مصنوعی دستور مشترکی برای جلوگیری از استخراج اطلاعات سایت‌ها معرفی کردند

شرکت‌های گوگل، آنتروپیک، OpenAI و مایکروسافت متعهد شده‌اند که از یک دستورالعمل تازه در فایل robots.txt پشتیبانی کنند. این سازوکار جدید به ناشران و مالکان وب‌سایت‌ها اجازه می‌دهد تا ترجیحات و تمایلات خود را در زمینه جمع‌آوری داده‌های سایت (اسکرپینگ) برای آموزش مدل‌های هوش مصنوعی تعیین کنند. این شرکت‌ها طرحی را پذیرفته‌اند که هم‌اکنون در کارگروه مهندسی اینترنت (IETF) در دست بررسی قرار دارد و توسط «کوین کلی»، مدیر فنی بخش استانداردهای آنتروپیک، تدوین شده است.

در‌حال‌حاضر، مدیران وب‌سایت‌ها باید برای مدیریت دسترسی‌ها، ابزار اختصاصی (Crawler) هر شرکت را جداگانه شناسایی کرده و برای تک‌تک سرویس‌ها قوانین مجزایی در فایل تنظیمات خود بنویسند. این پیشنهاد جدید با تغییر شرایط باعث می‌شود تا تمام شرکت‌های هوش مصنوعی نام‌برده، یک نشانه و سیگنال مشترک را شناسایی کنند و به آن پایبند بمانند.

استانداردسازی دستورهای robots.txt برای جلوگیری از اسکرپینگ

ناشران برای اعمال این محدودیت، فقط باید بخش کاربری مشخصی موسوم به User-Agent را در فایل robots.txt وب‌سایت خود ایجاد کنند:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

با اجرای این دستور، ابزارهایی که به‌طور اختصاصی برای جمع‌آوری داده با هدف آموزش هوش مصنوعی طراحی شده‌اند، به‌طور کامل متوقف خواهند شد. بخش Allow این امکان را در اختیار مدیران قرار می‌دهد تا دسترسی این ابزارها را برای قسمت‌های خاصی از صفحات مانند پوشه اطلاعات خبری و مطبوعاتی آزاد بگذارند. این تنظیمات مانع بررسی و جست‌وجوی کلی ربات‌ها در سایت نمی‌شود و اثری بر ایندکس شدن محتوا یا نمایش سایت در نتایج جستجوی گوگل نخواهد داشت. برای مثال، گوگل این کد دستوری را دقیقاً معادل تابلوی ایست برای ربات جمع‌آوری داده‌ی Google-Extended قلمداد می‌کند؛ رباتی که صفحات وب را منحصراً جهت آموزش مدل‌های خانواده جمینای جمع‌آوری می‌کند.

البته باید در نظر داشت که این دستور فرایندهای اسکرپینگ قبلی را باطل نخواهد کرد؛ به این معنی که اگر این شرکت‌ها داده‌های یک وب‌سایت را در گذشته دریافت کرده باشند، آن اطلاعات همچنان در پایگاه داده آنها باقی می‌ماند. بنابراین این سازوکار تنها جلوی جمع‌آوری داده‌ها از کل سایت یا صفحات معین را در آینده خواهد گرفت.

آنتروپیک هم‌اکنون پشتیبانی از این دستور را آغاز کرده است، مایکروسافت تاریخ ۱ فوریه ۲۰۲۷ را برای آغاز پشتیبانی رسمی تعیین کرده، گوگل در اوایل سال ۲۰۲۷ آن را اجرایی می‌کند و OpenAI نیز متعهد شده است تا ظرف ماه‌های آینده این سیگنال مشترک را به سیستم‌های خود اضافه کند.