BANTEN — Platform hosting dan keamanan web Cloudflare mengumumkan perubahan kebijakan besar terkait web crawler atau "perayap web" yang digunakan perusahaan kecerdasan buatan (AI). Mulai 15 September 2026, Cloudflare akan memblokir secara otomatis crawler yang memiliki fungsi ganda: mengindeks situs untuk mesin pencari sekaligus mengambil data untuk melatih model AI.
Kebijakan ini berlaku sebagai pengaturan default bagi pelanggan baru dan situs web baru dari pelanggan lama. Situs yang menampilkan iklan akan otomatis diblokir dari penggunaan untuk pelatihan AI dan agen AI. Pengguna akun gratis juga akan beralih ke pengaturan ini secara otomatis, kecuali mereka memilih keluar (opt-out) sebelum tenggat waktu tersebut.
Mengapa Cloudflare Mengubah Kebijakan Sekarang?
Matthew Prince, CEO dan salah satu pendiri Cloudflare, menyatakan bahwa mayoritas lalu lintas internet saat ini sudah bukan berasal dari manusia. "Kami harus melangkah lebih jauh dan bertindak lebih cepat agar ekosistem yang berkelanjutan bisa muncul," ujarnya dalam pernyataan resmi.
Prince menambahkan bahwa alat dan kemitraan baru Cloudflare memberi pemilik situs visibilitas yang lebih besar dan peluang komersial. "Kami berharap perubahan default ini mendorong crawler campuran untuk memisahkan fungsi pencarian dari penggunaan sebagai agen dan pelatihan AI," katanya.
Siapa yang Paling Terdampak? Google Jadi Sasaran Utama
Kebijakan ini secara tidak langsung menyasar Google. Crawler utama Google, yaitu Googlebot, saat ini menjalankan tiga fungsi sekaligus: mengindeks situs untuk hasil pencarian, mengumpulkan data untuk melatih model AI Gemini, dan mendukung fitur AI seperti AI Overviews dan AI Mode.
Cloudflare menyoroti ketimpangan akses data. "Mesin pencari terbesar memiliki akses ke informasi sekitar 2 kali lebih banyak dibanding perusahaan AI terkemuka, karena mereka menyulitkan pelanggan untuk tetap bisa ditemukan tanpa juga digunakan untuk AI," tulis Cloudflare dalam pengumumannya.
Google memang menyediakan crawler terpisah bernama Google-Extended yang hanya mengindeks untuk hasil pencarian tradisional. Namun, jika penerbit ingin kontennya muncul di AI Mode tetapi tidak ingin datanya dipakai melatih model AI, tidak ada opsi yang tersedia. Cloudflare ingin memaksa Google dan perusahaan lain untuk mengubah taktik mereka.
Fitur Baru: Pay Per Use, Bukan Sekadar Per Crawl
Cloudflare juga merilis versi baru dari fitur Pay Per Crawl yang diperkenalkan pada 2025. Fitur yang kini bernama Pay Per Use ini mengubah skema pembayaran. Alih-alih membayar berdasarkan jumlah halaman yang di-crawl, pemilik situs akan dibayar ketika konten mereka muncul dalam jawaban dari chatbot AI.
Untuk saat ini, Cloudflare baru mengumumkan kemitraan dengan Ceramic.AI dan You.com. Cloudflare berharap lebih banyak perusahaan AI akan bergabung seiring pelanggan mereka memilih opsi ini.
Dampak bagi Pemilik Situs dan Pengguna Indonesia
Bagi penerbit konten di Indonesia, kebijakan ini bisa menjadi kabar baik. Selama ini, banyak situs berita dan blog yang kontennya diambil tanpa izin untuk melatih model AI, tanpa kompensasi apa pun. Dengan adanya fitur Pay Per Use, pemilik situs berpotensi mendapatkan pendapatan langsung dari penggunaan konten mereka oleh AI.
Namun, ada risiko juga. Situs yang mengaktifkan pemblokiran crawler AI secara default mungkin tidak muncul di fitur AI Overviews Google atau layanan AI lain yang mengandalkan crawler campuran. Pemilik situs perlu mempertimbangkan trade-off antara visibilitas di mesin pencari dan kontrol atas data mereka.
