Cloudflare Telah memperkenalkan kontrol terpisah untuk perayapan pencarian, pelatihan AI, dan agen AI yang diarahkan pengguna. Perubahan ini memungkinkan pemilik situs web untuk mengkomunikasikan bahwa konten mereka tidak boleh digunakan untuk pelatihan AI tanpa secara otomatis memblokir perayap yang berpartisipasi dari pengindeksan pencarian tradisional.
Perbedaan ini penting karena bot AI populer seperti Googlebot, Bingbot, dan Applebot menjalankan lebih dari satu fungsi. Memblokir crawler multifungsi ini sepenuhnya dapat memengaruhi akses AI dan visibilitas pencarian.
Cloudflare Memisahkan Tiga Jenis Aktivitas Perayap
Cloudflare kini mengklasifikasikan aktivitas crawler di bawah tiga kontrol:
- Cari Mencakup proses crawling yang digunakan untuk membangun indeks pencarian tradisional.
- Pelatihan Meliputi proses crawling yang digunakan untuk melatih atau menyempurnakan model AI.
- Agen Mencakup agen AI yang mengunjungi halaman atas nama pengguna.
Sebuah crawler dapat termasuk dalam lebih dari satu kategori. Googlebot, misalnya, mendukung Google Search tradisional sementara Google juga mengoperasikan layanan terkait AI.
Cloudflare memperkenalkan pengaturan "Larangan Pelatihan AI" untuk situasi ini. Pengaturan ini memungkinkan crawler yang bertanggung jawab untuk terus mengakses situs untuk pencarian sambil mengkomunikasikan bahwa konten tersebut tidak boleh digunakan untuk pelatihan model.
Apple, Google, dan Microsoft telah menyediakan atau berkomitmen pada mekanisme untuk menghormati preferensi pencarian dan pelatihan yang terpisah, menurut Cloudflare pengumuman (tangkapan layar di bawah).
Pemblokiran Penuh Dapat Mempengaruhi Visibilitas Pencarian Tradisional
CloudflarePengaturan Blokir dan Blokir pada halaman dengan iklan kini berlaku untuk perayap serbaguna, termasuk Applebot, Bingbot, dan Googlebot. Memilih salah satu opsi dapat memengaruhi perayapan pencarian serta aktivitas terkait AI.
Pemilik situs web yang ingin tetap terindeks sebaiknya tidak menggunakan pengaturan Blokir sepenuhnya hanya karena mereka keberatan dengan pelatihan AI. Cloudflare Merekomendasikan penggunaan Disallow AI Training ketika tujuannya adalah untuk mempertahankan akses pencarian sambil menolak pelatihan.
Cloudflare Selain itu, label yang lebih luas "Blokir Bot AI" juga digantikan dengan kontrol Pencarian, Pelatihan, dan Agen yang terpisah. File Robots.txt yang dikelola digantikan oleh Sinkronisasi Preferensi Bot, yang mengkomunikasikan pilihan pemilik situs web melalui arahan perayap yang didukung.
yang ada Cloudflare Pengaturan Sedang Dimigrasikan
Cloudflare menyatakan bahwa sebagian besar pelanggan yang sudah ada tidak perlu mengambil tindakan segera karena preferensi mereka saat ini akan dimigrasikan secara otomatis.
Domain yang menggunakan pengaturan Block AI sebelumnya umumnya akan beralih ke konfigurasi berikut:
- Penggeledahan tetap diperbolehkan.
- Pelatihan AI tidak diperbolehkan.
- Akses agen diblokir di halaman yang berisi iklan.
Domain yang sudah menggunakan CloudflareKontrol granular akan mempertahankan efek praktis dari pilihan yang ada. Pengaturan Pelatihan sebelumnya berupa Blokir atau Blokir pada halaman dengan iklan akan dipindahkan ke Larang Pelatihan AI.
Pemilik situs web masih dapat mengubah pengaturan ini setelah migrasi. Bisnis yang sangat bergantung pada pencarian organik harus meninjau konfigurasi yang dihasilkan daripada berasumsi bahwa setiap aturan sebelumnya telah ditransfer sesuai rencana.
Domain Baru Menerima Rekomendasi Pengaturan yang Berbeda
Cloudflare kini menyediakan pengaturan yang direkomendasikan berbeda untuk situs web yang didukung iklan dan situs web tanpa iklan.
Pengindeksan mesin pencari tetap diizinkan dalam kedua konfigurasi tersebut. Cloudflare Merekomendasikan untuk Melarang Pelatihan AI dan Memblokir pada halaman dengan iklan untuk domain baru yang menghasilkan pendapatan iklan. Domain baru tanpa iklan awalnya ditawarkan pengaturan Pelatihan dan Agen yang lebih permisif.
Pengaturan awal ini merupakan rekomendasi, bukan batasan permanen. Pelanggan dapat mengubah setiap kategori crawler selama proses onboarding atau melalui menu pengaturan. Cloudflare dasbor.
Dukungan untuk Crawler Masih Bervariasi Tergantung Operator
Operator crawler menggunakan mekanisme berbeda untuk memproses preferensi penerbit. Google mendukung hal ini. Google-Extended Token robots.txt untuk kontrol pelatihan AI. Apple menggunakannya. Applebot-Extended, sementara Microsoft saat ini menyediakan kontrol seperti NOARCHIVE arahan dan Bing Webmaster Tools.
Cloudflare menyatakan bahwa pilihan untuk tidak ikut serta dalam pelatihan yang dilakukan Google dan Apple tidak memengaruhi peringkat pencarian tradisional. Microsoft sedang berupaya untuk memberikan dukungan robots.txt yang lebih luas di tingkat domain, yang Cloudflare katanya ditargetkan untuk awal tahun 2027.
Baru Cloudflare Kontrol-kontrol tersebut mempermudah pengelolaan crawler, tetapi tidak menciptakan standar universal tunggal. Setiap operator masih mengontrol bagaimana mereka menafsirkan dan menerapkan preferensi penerbit.
HostScore'mempertaruhkan
Pemilik situs web sebaiknya berhenti memperlakukan semua perayap AI sebagai satu kategori. Pengindeksan pencarian, pelatihan model, dan kunjungan agen yang diarahkan pengguna menciptakan manfaat dan risiko yang berbeda. Pemblokiran perayap secara penuh mungkin melindungi konten dari satu penggunaan sekaligus menghilangkan situs tersebut dari saluran penemuan yang berharga.
Risiko ini paling tinggi pada crawler multi-guna karena satu user agent dapat mendukung beberapa layanan. Bagi penerbit yang menjalankan situs web konten, Anda harus meninjau pengaturan berikut:
- Cloudflare Kontrol Pencarian, Pelatihan, dan Agen.
- Aturan robots.txt yang sudah ada.
- Direktif Google-Extended dan Applebot-Extended.
- Kontrol pengindeksan dan AI yang tersedia di Bing.
- Aktivitas merayap di Cloudflare analitik dan log server.
- Perubahan pengindeksan di Google Search Console dan Bing Webmaster Tools.
CloudflarePerubahan ini memberikan kontrol lebih besar, tetapi konfigurasi yang tepat bergantung pada model bisnis situs web tersebut. Penerbit yang didanai oleh iklan mungkin membatasi agen AI lebih ketat daripada bisnis yang ingin dokumentasinya dikutip dalam jawaban yang dihasilkan AI.
Pendekatan yang berguna adalah menetapkan kebijakan terpisah untuk pencarian, pelatihan, dan akses agen, kemudian memverifikasi perilaku crawler yang sebenarnya. Pengaturan dasbor saja tidak menunjukkan apakah situs web tetap terlihat di seluruh mesin pencari dan platform AI.
