Cloudflare يضيف عناصر تحكم منفصلة لزحف البحث وتدريب الذكاء الاصطناعي

Cloudflare أدخلت الشركة ضوابط منفصلة لزحف محركات البحث، وتدريب الذكاء الاصطناعي، ووكلاء الذكاء الاصطناعي الموجهين من قبل المستخدمين. يتيح هذا التغيير لأصحاب المواقع الإلكترونية إمكانية الإشارة إلى عدم استخدام محتواهم لتدريب الذكاء الاصطناعي دون حظر برامج الزحف المشاركة تلقائيًا من فهرسة محركات البحث التقليدية.

يُعدّ التمييز بين هذه الوظائف أمرًا بالغ الأهمية، إذ تؤدي برامج الزحف الذكية الشائعة مثل Googlebot وBingbot وApplebot أكثر من وظيفة واحدة. وقد يؤثر حظر هذه البرامج متعددة الاستخدامات بشكل كامل على كلٍّ من وصول الذكاء الاصطناعي وظهورها في نتائج البحث.

Cloudflare يفصل بين ثلاثة أنواع من أنشطة الزحف

Cloudflare يصنف الآن نشاط الزاحف تحت ثلاثة ضوابط:

• البحث يغطي هذا القسم عملية الزحف المستخدمة لبناء فهرس بحث تقليدي.
• التدريب يغطي الزحف المستخدم لتدريب أو ضبط نموذج الذكاء الاصطناعي.
• الوكيل يغطي هذا التقرير قيام وكيل الذكاء الاصطناعي بزيارة صفحة نيابة عن المستخدم.

يمكن أن يندرج برنامج الزحف ضمن أكثر من فئة. على سبيل المثال، يدعم برنامج Googlebot البحث التقليدي في جوجل، بينما تُشغّل جوجل أيضًا خدمات متعلقة بالذكاء الاصطناعي.

Cloudflare تم إضافة إعداد "منع تدريب الذكاء الاصطناعي" لهذه الحالة. يسمح هذا الإعداد لبرنامج الزحف المسؤول بمواصلة الوصول إلى الموقع للبحث مع الإشارة إلى أنه لا ينبغي استخدام المحتوى لتدريب النموذج.

وقد وفرت شركات آبل وجوجل ومايكروسوفت آليات أو التزمت بتوفيرها لاحترام تفضيلات البحث والتدريب المنفصلة، ​​وفقًا لـ Cloudflare إعلان (لقطة شاشة أدناه).

قد يؤثر الحظر الكامل على ظهور نتائج البحث التقليدية

Cloudflareتُطبَّق الآن إعدادات الحظر والحظر على الصفحات التي تحتوي على إعلانات على برامج الزحف متعددة الاستخدامات، بما في ذلك Applebot وBingbot وGooglebot. قد يؤثر اختيار أيٍّ من الخيارين على زحف البحث بالإضافة إلى النشاط المتعلق بالذكاء الاصطناعي.

ينبغي على أصحاب المواقع الإلكترونية الذين يرغبون في الحفاظ على فهرسة مواقعهم عدم استخدام إعداد الحظر الكامل لمجرد اعتراضهم على تدريب الذكاء الاصطناعي. Cloudflare يوصي باستخدام خاصية "عدم السماح بتدريب الذكاء الاصطناعي" عندما يكون الهدف هو الحفاظ على إمكانية الوصول إلى البحث مع إلغاء الاشتراك في التدريب.

Cloudflare كما يتم استبدال تسمية "حظر برامج الروبوت المدعومة بالذكاء الاصطناعي" الأوسع نطاقًا بعناصر تحكم منفصلة للبحث والتدريب والوكلاء. ويتم استبدال ملف "Managed Robots.txt" بميزة "مزامنة تفضيلات الروبوت"، التي تنقل اختيارات مالك الموقع الإلكتروني من خلال توجيهات الزحف المدعومة.

موجود Cloudflare يجري نقل الإعدادات

Cloudflare ويقول إن معظم العملاء الحاليين ليسوا بحاجة إلى اتخاذ إجراء فوري لأن تفضيلاتهم الحالية سيتم نقلها تلقائيًا.

عادةً ما ينتقل النطاق الذي يستخدم إعداد Block AI السابق إلى التكوين التالي:

• لا يزال البحث مسموحاً به.
• يُمنع تدريب الذكاء الاصطناعي.
• تم حظر وصول الوكلاء إلى الصفحات التي تحتوي على إعلانات.

النطاقات التي تستخدم بالفعل Cloudflareستحتفظ عناصر التحكم الدقيقة بالتأثير العملي لاختياراتها الحالية. سيتم نقل إعدادات التدريب السابقة "حظر" أو "حظر على الصفحات التي تحتوي على إعلانات" إلى "منع تدريب الذكاء الاصطناعي".

لا يزال بإمكان مالكي المواقع الإلكترونية تغيير هذه الإعدادات بعد عملية النقل. ينبغي على الشركات التي تعتمد بشكل كبير على نتائج البحث العضوية مراجعة الإعدادات الناتجة بدلاً من افتراض أن جميع القواعد السابقة قد نُقلت كما هو مُخطط لها.

تتلقى النطاقات الجديدة إعدادات موصى بها مختلفة

Cloudflare يوفر الآن إعدادات موصى بها مختلفة للمواقع الإلكترونية المدعومة بالإعلانات والمواقع الإلكترونية غير المدعومة بالإعلانات.

لا يزال الزحف إلى مواقع البحث مسموحًا به في كلا التكوينين. Cloudflare يوصي الموقع بتعطيل تدريب الذكاء الاصطناعي وحظره على الصفحات التي تحتوي على إعلانات للنطاقات الجديدة التي تُدرّ إيرادات إعلانية. أما النطاقات الجديدة التي لا تحتوي على إعلانات، فتُمنح في البداية إعدادات تدريب ووكلاء أكثر تساهلاً.

هذه الإعدادات المسبقة هي توصيات وليست قيودًا دائمة. يمكن للعملاء تغيير كل فئة من فئات برامج الزحف أثناء عملية الإعداد أو من خلال Cloudflare لوحة القيادة.

لا يزال دعم الزاحف يختلف باختلاف المشغل

تستخدم برامج الزحف آليات مختلفة لمعالجة تفضيلات الناشرين. تدعم جوجل ذلك. Google-Extended رمز robots.txt لعناصر التحكم في تدريب الذكاء الاصطناعي. تستخدمه شركة Apple Applebot-Extendedبينما توفر مايكروسوفت حاليًا عناصر تحكم مثل NOARCHIVE التوجيه وأدوات مشرفي المواقع من Bing.

Cloudflare وتؤكد أن خيارات إلغاء الاشتراك في التدريب لدى جوجل وآبل لا تؤثر على ترتيب نتائج البحث التقليدية. وتعمل مايكروسوفت على توسيع نطاق دعم ملف robots.txt على مستوى النطاقات، وهو ما Cloudflare ويقول إن الهدف هو أوائل عام 2027.

الجديد Cloudflare تُسهّل أدوات التحكم إدارة برامج الزحف، لكنها لا تُنشئ معيارًا عالميًا موحدًا. لا يزال لكل مُشغّل تحكمه في كيفية تفسيره وتطبيقه لتفضيلات الناشر.

HostScoreخذ

ينبغي على أصحاب المواقع الإلكترونية التوقف عن التعامل مع جميع برامج الزحف المدعومة بالذكاء الاصطناعي كفئة واحدة. ففهرسة البحث، وتدريب النماذج، وزيارات المستخدمين الموجهة من قِبل هذه البرامج، كلها تُنتج فوائد ومخاطر مختلفة. قد يحمي الحظر الكامل لبرامج الزحف المحتوى من استخدامٍ ما، ولكنه قد يُقصي الموقع من قناة اكتشاف قيّمة.

يزداد هذا الخطر مع برامج الزحف متعددة الاستخدامات، لأن برنامج التصفح الواحد قد يدعم عدة خدمات. بالنسبة للناشرين الذين يديرون مواقع محتوى، يُرجى مراجعة الإعدادات التالية:

• Cloudflare البحث والتدريب وأدوات التحكم الخاصة بالوكلاء.
• قواعد ملف robots.txt الحالية.
• توجيهات Google-Extended و Applebot-Extended.
• أدوات الفهرسة والذكاء الاصطناعي المتاحة في Bing.
• نشاط الزحف في Cloudflare التحليلات وسجلات الخادم.
• تغييرات الفهرسة في أدوات مشرفي المواقع من جوجل وبينج.

Cloudflareيُتيح هذا التغيير مزيدًا من التحكم، لكن الإعداد الأمثل يعتمد على نموذج عمل الموقع الإلكتروني. فقد يفرض الناشر المُموّل بالإعلانات قيودًا أشد على وكلاء الذكاء الاصطناعي مقارنةً بالشركة التي ترغب في الاستشهاد بوثائقها في الإجابات المُولّدة بواسطة الذكاء الاصطناعي.

يتمثل النهج الأمثل في وضع سياسات منفصلة للبحث والتدريب ووصول الوكلاء، ثم التحقق من سلوك برامج الزحف الفعلي. ولا تُظهر إعدادات لوحة التحكم وحدها ما إذا كان موقع الويب يظل مرئيًا عبر محركات البحث ومنصات الذكاء الاصطناعي.