وفقًا لمؤسس شركة Dark Visitors، جافين كينج، لا تزال معظم وكلاء الذكاء الاصطناعي الرئيسيين ملتزمين بملف robots.txt. ويقول: “لقد كان هذا ثابتًا إلى حد كبير”. ولكن ليس لدى جميع مالكي مواقع الويب الوقت أو المعرفة لتحديث ملفات robots.txt باستمرار. وحتى عندما يفعلون ذلك، فإن بعض الروبوتات ستتجنب توجيهات الملف: “إنهم يحاولون إخفاء حركة المرور”.
يقول برينس إن حظر الروبوتات من قبل Cloudflare لن يكون أمرًا يمكن لهذا النوع من الجهات الفاعلة السيئة تجاهله. يقول: “إن ملف Robots.txt يشبه وضع علامة “ممنوع التعدي”. “هذا يشبه وجود جدار مادي يحرسه حراس مسلحون”. تمامًا كما يشير إلى أنواع أخرى من سلوكيات الويب المشبوهة، مثل روبوتات كشط الأسعار المستخدمة لمراقبة الأسعار غير القانونية، فقد أنشأت الشركة عمليات لرصد حتى أكثر روبوتات الذكاء الاصطناعي المخفية بعناية.
كما أعلنت شركة Cloudflare عن سوق قادمة للعملاء للتفاوض على شروط استخدام البيانات المخزنة مع شركات الذكاء الاصطناعي، سواء كان ذلك يتضمن الدفع مقابل استخدام المحتوى أو المقايضة بالاعتمادات لاستخدام خدمات الذكاء الاصطناعي في مقابل البيانات المخزنة. يقول برينس: “نحن لا نهتم حقًا بنوع المعاملة، لكننا نعتقد أنه يجب أن تكون هناك طريقة ما لتقديم القيمة إلى منشئي المحتوى الأصليين. لا يجب أن يكون التعويض بالدولار. يمكن أن يكون التعويض ائتمانًا أو اعترافًا. يمكن أن يكون الكثير من الأشياء المختلفة”.
لم يتم تحديد موعد محدد لإطلاق هذا السوق، ولكن حتى لو تم إطلاقه هذا العام فسوف ينضم إلى مجال مزدحم بشكل متزايد من المشاريع التي تهدف إلى تسهيل اتفاقيات الترخيص وترتيبات الأذونات الأخرى بين شركات الذكاء الاصطناعي والناشرين والمنصات ومواقع الويب الأخرى.
ولكن ماذا تقول شركات الذكاء الاصطناعي في هذا الشأن؟ يقول برنس: “لقد تحدثنا إلى أغلب هذه الشركات، وكانت ردود أفعالها تتراوح بين “هذا منطقي ونحن منفتحون” و”اذهب إلى الجحيم”. (لكنه لم يذكر أسماء).
لقد كان المشروع سريع التحول إلى حد ما. ويستشهد برينس بمحادثة مع الرئيس التنفيذي لشركة أتلانتيك (ورئيس تحرير WIRED السابق) نيك تومسون كمصدر إلهام للمشروع؛ حيث ناقش تومسون كيف واجه العديد من الناشرين المختلفين برامج استخراج البيانات السرية على شبكة الإنترنت. ويقول تومسون: “أنا أحب أنه يقوم بذلك”. ويرى برينس أنه حتى المؤسسات الإعلامية الكبيرة كانت تكافح للتعامل مع تدفق برامج استخراج البيانات السرية، فإن المدونين المستقلين وأصحاب المواقع الإلكترونية سيواجهون صعوبة أكبر.
كانت Cloudflare شركة رائدة في مجال أمن الويب لسنوات، وهي توفر جزءًا كبيرًا من البنية الأساسية التي تدعم الويب. لقد ظلت تاريخيًا محايدة قدر الإمكان بشأن محتوى مواقع الويب التي تقدمها؛ وفي المناسبات النادرة التي قدمت فيها استثناءات لهذه القاعدة، أكد برينس أنه لا يريد أن تكون Cloudflare هي الحكم على ما هو مسموح به عبر الإنترنت.
وهنا يرى أن شركة Cloudflare تتمتع بمكانة فريدة تسمح لها باتخاذ موقف. ويقول برينس: “المسار الذي نسلكه ليس مستدامًا. ونأمل أن نتمكن من المشاركة في ضمان حصول البشر على أجر مقابل عملهم”.