Cloudflare telah memperkenalkan kawalan berasingan untuk perayapan carian, latihan AI dan ejen AI yang diarahkan pengguna. Perubahan ini membolehkan pemilik laman web untuk menyampaikan bahawa kandungan mereka tidak boleh digunakan untuk latihan AI tanpa menyekat perayap yang mengambil bahagian secara automatik daripada pengindeksan carian tradisional.
Perbezaan ini penting kerana bot AI yang popular seperti Googlebot, Bingbot dan Applebot menjalankan lebih daripada satu fungsi. Menyekat sepenuhnya perayap guna campur ini boleh menjejaskan akses AI dan keterlihatan carian.
Cloudflare Memisahkan Tiga Jenis Aktiviti Perayap
Cloudflare kini mengklasifikasikan aktiviti perayap di bawah tiga kawalan:
- Cari merangkumi perayapan yang digunakan untuk membina indeks carian tradisional.
- Latihan merangkumi perayapan yang digunakan untuk melatih atau memperhalusi model AI.
- Agent merangkumi ejen AI yang melawat halaman bagi pihak pengguna.
Sebuah crawler boleh tergolong dalam lebih daripada satu kategori. Googlebot, sebagai contoh, menyokong Carian Google tradisional manakala Google juga mengendalikan perkhidmatan berkaitan AI.
Cloudflare memperkenalkan tetapan Latihan AI Tidak Benarkan untuk situasi ini. Tetapan ini membolehkan perangkak yang bertanggungjawab terus mengakses tapak untuk carian sambil menyampaikan bahawa kandungan tersebut tidak boleh digunakan untuk latihan model.
Apple, Google dan Microsoft telah menyediakan atau komited kepada mekanisme untuk menghormati pilihan carian dan latihan yang berasingan, menurut Cloudflare pengumuman (tangkapan skrin di bawah).
Sekatan Penuh Boleh Mempengaruhi Keterlihatan Carian Tradisional
CloudflareSekat dan Sekat pada halaman dengan tetapan iklan kini terpakai pada perayap guna campuran, termasuk Applebot, Bingbot dan Googlebot. Memilih mana-mana pilihan boleh menjejaskan perayapan carian serta aktiviti berkaitan AI.
Pemilik laman web yang ingin kekal diindeks tidak seharusnya menggunakan tetapan Blok penuh hanya kerana mereka membantah latihan AI. Cloudflare mengesyorkan penggunaan Latihan AI Tidak Benarkan apabila objektifnya adalah untuk mengekalkan akses carian semasa memilih untuk tidak mengikuti latihan.
Cloudflare juga menggantikan label “Block AI Bots” yang lebih luas dengan kawalan Carian, Latihan dan Ejen yang berasingan. Managed Robots.txt digantikan dengan Bot Preference Sync, yang menyampaikan pilihan pemilik laman web melalui arahan perayap yang disokong.
Sedia ada Cloudflare Tetapan Sedang Dihijrahkan
Cloudflare mengatakan kebanyakan pelanggan sedia ada tidak perlu mengambil tindakan segera kerana pilihan semasa mereka akan dipindahkan secara automatik.
Domain yang menggunakan tetapan Block AI sebelumnya biasanya akan beralih ke konfigurasi berikut:
- Carian masih dibenarkan.
- Latihan AI tidak dibenarkan.
- Akses ejen disekat pada halaman yang mempunyai iklan.
Domain yang sudah menggunakan CloudflareKawalan terperinci akan mengekalkan kesan praktikal pilihan sedia ada. Tetapan Latihan sebelumnya bagi Blok atau Blok pada halaman dengan iklan akan beralih kepada Tidak Benarkan Latihan AI.
Pemilik laman web masih boleh menukar tetapan ini selepas penghijrahan. Perniagaan yang sangat bergantung pada carian organik harus menyemak konfigurasi yang terhasil dan bukannya menganggap bahawa setiap peraturan sebelumnya telah dipindahkan seperti yang dimaksudkan.
Domain Baharu Menerima Tetapan Disyorkan Berbeza
Cloudflare kini menyediakan tetapan yang disyorkan berbeza untuk laman web yang disokong pengiklanan dan bukan pengiklanan.
Perayapan carian kekal dibenarkan di bawah kedua-dua konfigurasi. Cloudflare mengesyorkan Larang Latihan dan Sekat AI pada halaman dengan iklan untuk domain baharu yang menjana pendapatan pengiklanan. Domain baharu tanpa pengiklanan pada mulanya ditawarkan tetapan Latihan dan Ejen yang lebih permisif.
Pratetap ini adalah cadangan dan bukannya sekatan kekal. Pelanggan boleh menukar setiap kategori perayap semasa onboarding atau melalui Cloudflare papan pemuka.
Sokongan Crawler Masih Berbeza mengikut Pengendali
Pengendali perayap menggunakan mekanisme berbeza untuk memproses pilihan penerbit. Google menyokong Google-Extended token robots.txt untuk kawalan latihan AI. Apple menggunakan Applebot-Extended, sementara Microsoft kini menyediakan kawalan seperti NOARCHIVE arahan dan Alat Webmaster Bing.
Cloudflare mengatakan bahawa pilihan untuk tidak mengikuti latihan Google dan Apple tidak menjejaskan kedudukan carian tradisional. Microsoft sedang berusaha ke arah sokongan robots.txt peringkat domain yang lebih luas, yang Cloudflare dikatakan disasarkan pada awal tahun 2027.
Baru Cloudflare Kawalan memudahkan pengurusan perayap, tetapi ia tidak mewujudkan satu standard universal. Setiap pengendali masih mengawal cara ia mentafsir dan melaksanakan pilihan penerbit.
HostScore's Take
Pemilik laman web harus berhenti menganggap semua perayap AI sebagai satu kategori. Pengindeksan carian, latihan model dan lawatan ejen yang diarahkan pengguna menghasilkan faedah dan risiko yang berbeza. Blok perayap penuh boleh melindungi kandungan daripada satu penggunaan sambil mengalih keluar tapak daripada saluran penemuan yang berharga.
Risiko ini paling tinggi dengan perayap guna campuran kerana satu ejen pengguna boleh menyokong beberapa perkhidmatan. Bagi penerbit yang menjalankan laman web kandungan, anda harus menyemak tetapan berikut:
- Cloudflare Kawalan Carian, Latihan dan Ejen.
- Peraturan robots.txt sedia ada.
- Arahan Google-Extended dan Applebot-Extended.
- Kawalan pengindeksan dan AI Bing yang tersedia.
- Aktiviti merangkak dalam Cloudflare analitik dan log pelayan.
- Perubahan pengindeksan dalam Google Search Console dan Bing Webmaster Tools.
CloudflarePerubahan ini memberikan lebih kawalan, tetapi konfigurasi yang betul bergantung pada model perniagaan laman web. Penerbit yang dibiayai oleh pengiklanan mungkin menyekat ejen AI dengan lebih ketat berbanding perniagaan yang mahu dokumentasinya dipetik dalam jawapan yang dijana AI.
Pendekatan yang berguna adalah dengan menetapkan dasar berasingan untuk carian, latihan dan akses ejen, kemudian mengesahkan tingkah laku perayap sebenar. Tetapan papan pemuka sahaja tidak menunjukkan sama ada laman web kekal kelihatan merentasi enjin carian dan platform AI.
