Seperti yang kita diketahui selama ini, untuk memastikan sebuah situs web dapat ditemukan oleh pengunjung, situs web tersebut tentunya harus terindeks terlebih dahulu oleh mesin pencari seperti Google.
Nah, proses indexing ini dilakukan oleh bot atau crawler dari mesin pencari seperti Googlebot. Googlebot sendiri memiliki tugas untuk memindai teks dan tautan pada situs web tersebut untuk menggolongkannya ke dalam beberapa kelompok atau kategori yang berguna untuk memudahkan pengunjung ketika mencari suatu hal secara relevan.
Namun, terkadang ada juga website yang sulit terindeks oleh Google ketika pengunjung melakukan pencarian pada mesin pencarian. Hal ini tentu saja akan menyulitkan pemilik website dalam menaikan trafik atau bahkan sulit untuk menaikan ranking SEO website.
Sebenarnya ada beberapa alasan yang mungkin terjadi jika suatu situs website sulit atau tidak dapat terindex oleh Google. Namun kali ini Google memberitahu dan menjelaskan alasan yang biasanya terjadi adalah pemblokiran Googlebot yang dilakukan oleh situs website itu sendiri.
Namun, beberapa situs web melaporkan bahwa Googlebot mengalami kesulitan dalam mengakses halaman web mereka, dan ada dugaan bahwa ini disebabkan oleh firewall atau Content Delivery Network (CDN) yang diterapkan pada situs tersebut.
Menurut salah satu webmaster dari Google yaitu Gary Illyes ia menjelaskan:
“Sejauh ini, masalah paling umum yang terjadi dari pemblokiran Googlebot berasalkan dari firewall atau CDN yang memblokir lalu lintas googlebot. Setelah saya menjangkau situs pemblokiran tersebut, dalam sebagian besar kasus melakukan pemblokiran Googlebot secara tidak sengaja."
Gary juga menjelaskan apa yang harus dilakukan jika hal ini terjadi:
“Pemilik website seharusnya sudah membiasakan diri dalam memeriksa aturan blokir. Kami telah menerbitkan rentang IP sehingga akan membantu Anda untuk menjalankan otomatisasi dalam memeriksa aturan blokir terhadap googlebot subnet."
Gary juga memberikan dokumen yang dapat membantu dalam menyelesaikan masalah ini
Dalam beberapa kasus, masalah blokir Googlebot oleh firewall atau CDN mungkin disebabkan oleh konfigurasi situs web yang salah atau bug pada perangkat lunak. Pemilik website dapat meminta bantuan dari tim teknis atau spesialis SEO untuk mengatasi masalah tersebut.
Secara keseluruhan, memastikan bahwa Googlebot tidak terblokir oleh firewall atau CDN adalah hal penting bagi para pemilik website. Hal ini dilakukan untuk memastikan visibilitas situs web di mesin pencari.
Dengan melakukan langkah-langkah yang tepat dan memantau kinerja situs web melalui Google Search Console, para webmaster dapat memastikan bahwa situs web mereka dapat diindeks dan ditemukan oleh pengguna di mesin pencari.
