تتيح أدوات Cloudflare الجديدة للمواقع اكتشاف روبوتات الذكاء الاصطناعي وحظرها مجانًا

وفقًا لمؤسس Dark Visitors، Gavin King، لا يزال معظم عملاء الذكاء الاصطناعي الرئيسيين ملتزمين بملف robots.txt. يقول: “لقد كان هذا متسقًا إلى حد كبير”. ولكن ليس لدى جميع مالكي مواقع الويب الوقت أو المعرفة اللازمة لتحديث ملفات robots.txt الخاصة بهم باستمرار. وحتى عندما يفعلون ذلك، فإن بعض الروبوتات ستتحايل على توجيهات الملف: “إنهم يحاولون إخفاء حركة المرور”.

يقول برنس إن حظر الروبوتات في Cloudflare لن يكون أمرًا يمكن لهذا النوع من الممثلين السيئين تجاهله. ويقول: “إن ملف Robots.txt يشبه وضع علامة “ممنوع التعدي على ممتلكات الغير”. “هذا يشبه وجود جدار مادي يحرسه حراس مسلحون.” تمامًا كما تحدد الشركة أنواعًا أخرى من سلوكيات الويب المشبوهة، مثل روبوتات تجريف الأسعار المستخدمة لمراقبة الأسعار بشكل غير قانوني، فقد أنشأت الشركة عمليات لاكتشاف حتى أكثر برامج زحف الذكاء الاصطناعي المخفية بعناية.

تعلن Cloudflare أيضًا عن سوق قادم للعملاء للتفاوض على شروط الاستخدام مع شركات الذكاء الاصطناعي، سواء كان ذلك يتضمن الدفع مقابل استخدام المحتوى أو المقايضة للحصول على أرصدة لاستخدام خدمات الذكاء الاصطناعي مقابل الاستخلاص. يقول برينس: “نحن لا نهتم حقًا بماهية الصفقة، ولكننا نعتقد أنه يجب أن تكون هناك طريقة ما لإعادة القيمة إلى منشئي المحتوى الأصليين”. “لا يجب أن يكون التعويض بالدولار. يمكن أن يكون التعويض ائتمانًا أو اعترافًا. يمكن أن يكون هناك الكثير من الأشياء المختلفة.”

لا يوجد تاريخ محدد لإطلاق هذا السوق، ولكن حتى لو تم طرحه هذا العام، فسوف ينضم إلى مجال مزدحم بشكل متزايد من المشاريع التي تهدف إلى تسهيل اتفاقيات الترخيص وترتيبات الأذونات الأخرى بين شركات الذكاء الاصطناعي والناشرين والمنصات ومواقع الويب الأخرى.

ماذا تفعل شركات الذكاء الاصطناعي من هذا؟ يقول برنس: “لقد تحدثنا إلى معظمهم، وتراوحت ردود أفعالهم من “هذا منطقي ونحن منفتحون” إلى “اذهب إلى الجحيم”. (رغم أنه لم يذكر أسماء).

لقد كان المشروع سريع التحول إلى حد ما. يستشهد برنس بمحادثة مع الرئيس التنفيذي لشركة أتلانتيك (ورئيس تحرير WIRED السابق) نيك طومسون كمصدر إلهام للمشروع؛ ناقش طومسون عدد الناشرين المختلفين الذين واجهوا كاشطات الويب الخفية. يقول طومسون: “أنا أحب أنه يفعل ذلك”. ورأى برنس أنه إذا كافحت حتى المؤسسات الإعلامية ذات الأسماء الكبيرة للتعامل مع تدفق المواد الناشطة، فإن المدونين المستقلين وأصحاب المواقع الإلكترونية سيواجهون صعوبة أكبر.

تعد Cloudflare شركة رائدة في مجال أمن الويب منذ سنوات، وتوفر جزءًا كبيرًا من البنية التحتية التي تدعم الويب. لقد ظلت تاريخيًا محايدة قدر الإمكان فيما يتعلق بمحتوى المواقع الإلكترونية لخدماتها؛ وفي المناسبات النادرة التي قدمت فيها استثناءات لهذه القاعدة، أكد برنس أنه لا يريد أن يكون Cloudflare هو المحكم فيما هو مسموح به عبر الإنترنت.

هنا، يرى أن Cloudflare في وضع فريد لاتخاذ موقف. يقول برينس: “إن المسار الذي نسير عليه ليس مستدامًا”. “نأمل أن نكون جزءًا من التأكد من حصول البشر على أجر مقابل عملهم.”