Status “Crawled – currently not indexed” di Google Search Console sering membuat pemilik website bertanya-tanya karena URL yang diperiksa sebenarnya sudah dikunjungi oleh Googlebot. Namun, setelah proses crawling selesai, halaman tersebut belum masuk ke indeks Google sehingga belum memiliki peluang normal untuk muncul di hasil pencarian.
Kondisi ini tidak selalu menunjukkan adanya error teknis. Google dapat menunda pengindeksan atau memilih tidak mengindeks URL tertentu karena berbagai pertimbangan, termasuk kualitas dan keunikan konten, kemiripan dengan halaman lain, canonical, serta kondisi keseluruhan situs. Karena itu, memperbaikinya tidak cukup hanya dengan menekan tombol Request Indexing berulang kali.
Apa Arti Crawled – Currently Not Indexed?
Crawled – currently not indexed berarti Google sudah melakukan crawling terhadap URL, tetapi URL tersebut belum dimasukkan ke Google Index.
Sederhananya, proses Google Search dapat dipahami melalui tiga tahap utama:
- Crawling – Googlebot menemukan dan mengambil halaman.
- Indexing – Google menganalisis dan menyimpan informasi halaman ke dalam indeks.
- Serving – Google mempertimbangkan halaman tersebut untuk ditampilkan ketika pengguna melakukan pencarian.
Jadi, ketika Search Console menampilkan “Crawled – currently not indexed”, tahap crawling sudah terjadi, tetapi halaman belum melewati tahap indexing. Google sendiri tidak menjamin bahwa setiap URL yang berhasil di-crawl akan selalu masuk ke indeks.
Penyebab Crawled – Currently Not Indexed
Ada beberapa kondisi yang perlu diperiksa ketika banyak URL berada pada status ini.
1. Konten Terlalu Mirip dengan Halaman Lain
Salah satu hal pertama yang perlu diperiksa adalah kemiripan konten.
Jika sebuah website mempunyai beberapa halaman yang membahas topik hampir sama dengan informasi yang sangat mirip, Google dapat mengelompokkan halaman tersebut sebagai halaman duplikat atau sangat mirip.
Google menggunakan proses canonicalization untuk menentukan URL mana yang dianggap sebagai versi utama dari beberapa halaman yang memiliki konten serupa. URL lain tidak selalu perlu masuk indeks secara terpisah.
Contohnya, sebuah website memiliki beberapa artikel seperti:
- Cara Optimasi SEO Website
- Tips Optimasi SEO Website
- Panduan Optimasi SEO untuk Pemula
Jika ketiganya memiliki struktur, pembahasan, dan informasi yang hampir sama, sebaiknya evaluasi kembali apakah masing-masing halaman memang memberikan nilai yang berbeda.
Solusinya: buat setiap halaman mempunyai tujuan pencarian dan informasi yang jelas berbeda.
2. Konten Kurang Memberikan Nilai Tambahan
Google menganjurkan pembuatan konten yang helpful, reliable, dan people-first. Artinya, artikel sebaiknya dibuat untuk membantu pembaca, bukan sekadar dibuat untuk mendapatkan trafik dari mesin pencari.
Beberapa hal yang perlu dievaluasi:
- Apakah artikel benar-benar menjawab pertanyaan pengguna?
- Apakah pembahasannya lebih dari sekadar mengulang informasi umum?
- Apakah terdapat informasi, contoh, pengalaman, data, atau analisis yang relevan?
- Apakah pembaca masih harus mencari sumber lain setelah membaca artikel?
- Apakah judul sesuai dengan isi?
Google juga menyarankan agar konten yang mengambil informasi dari sumber lain tidak hanya menyalin atau melakukan perubahan kecil, tetapi memberikan nilai tambahan dan orisinalitas.
3. Artikel Terlalu Tipis
Artikel yang sangat pendek tidak otomatis akan dianggap buruk. Tidak ada aturan bahwa sebuah artikel harus memiliki jumlah kata tertentu agar bisa diindeks.
Namun, jika jumlah informasi terlalu sedikit dibandingkan kebutuhan pengguna, halaman tersebut mungkin tidak memberikan nilai yang cukup.
Daripada mengejar jumlah kata, fokuslah pada kelengkapan pembahasan.
Misalnya artikel membahas “Cara Mengatasi Crawled – Currently Not Indexed”, jangan hanya menjelaskan pengertiannya. Tambahkan:
- penyebab yang mungkin terjadi;
- cara melakukan pemeriksaan;
- pemeriksaan canonical;
- pemeriksaan internal link;
- pemeriksaan sitemap;
- evaluasi kualitas konten;
- langkah setelah melakukan perbaikan.
Google secara eksplisit menyatakan bahwa tidak ada jumlah kata tertentu yang menjadi target khusus untuk sistem rankingnya.
4. Internal Link Masih Lemah
Internal link membantu Google menemukan halaman lain di dalam website.
Google menjelaskan bahwa halaman penting sebaiknya dapat ditemukan melalui navigasi atau link yang berasal dari halaman lain di website. Sitemap juga dapat membantu Google menemukan URL, tetapi sitemap tidak menjamin bahwa URL tersebut akan di-crawl atau diindeks.
Karena itu, jangan hanya memasukkan artikel ke sitemap.
Tambahkan internal link dari artikel lain yang relevan.
Contohnya, jika membuat artikel tentang Google Search Console, artikel tersebut dapat dihubungkan dengan artikel lain mengenai:
- SEO teknis;
- indexing Google;
- robots.txt;
- sitemap XML;
- canonical URL;
- optimasi internal link.
Dengan begitu, halaman baru mempunyai hubungan yang lebih jelas dengan struktur website.
5. Masalah Canonical
Canonical juga perlu diperiksa ketika URL tidak kunjung masuk indeks.
Canonical digunakan untuk membantu Google menentukan URL utama dari beberapa halaman yang sama atau sangat mirip. Google dapat memilih canonical yang berbeda dari canonical yang ditentukan pemilik website karena canonical yang diberikan hanyalah sebuah sinyal, bukan aturan mutlak.
Gunakan URL Inspection di Search Console untuk melihat informasi canonical.
Periksa apakah:
- canonical mengarah ke URL yang benar;
- canonical tidak mengarah ke halaman lain yang tidak relevan;
- halaman tersebut bukan duplikat;
- URL yang ingin diindeks menggunakan versi HTTPS yang benar;
- sitemap menggunakan URL canonical yang sesuai.
Jika Google memilih canonical berbeda, jangan langsung mengubah semuanya. Pertama, pastikan apakah halaman tersebut memang benar-benar berbeda dan layak menjadi URL utama.
6. Internal Link dan Struktur Website Kurang Jelas
Selain kualitas artikel, struktur website juga berpengaruh terhadap kemampuan Google memahami hubungan antarhalaman.
Pastikan halaman penting dapat ditemukan melalui link dari halaman lain. Google Search Essentials juga merekomendasikan agar link dibuat dapat di-crawl sehingga Google dapat menemukan halaman lain di website.
Hindari kondisi ketika sebuah artikel hanya bisa ditemukan melalui sitemap tetapi tidak mempunyai internal link dari halaman lain.
Struktur sederhana dapat dibuat seperti:
Homepage → Kategori → Artikel → Artikel terkait
Struktur seperti ini membantu pengguna maupun crawler memahami hubungan antarhalaman.
Cara Mengatasi Crawled – Currently Not Indexed
Setelah mengetahui penyebabnya, lakukan pemeriksaan secara sistematis.
1. Periksa URL dengan URL Inspection
Langkah pertama adalah membuka URL Inspection di Google Search Console.
Masukkan URL yang mengalami status:
Crawled – currently not indexed
Kemudian periksa informasi yang tersedia, termasuk:
- status indexing;
- canonical yang dipilih Google;
- URL yang dideklarasikan sebagai canonical;
- crawl terakhir;
- status halaman;
- hasil pengujian URL aktif.
Google menjelaskan bahwa URL Inspection merupakan alat yang digunakan untuk mengetahui status indexing URL tertentu.
2. Pastikan Halaman Bisa Diakses Google
Pastikan halaman dapat dibuka tanpa login dan tidak mengalami masalah server.
Periksa juga apakah halaman secara tidak sengaja memiliki:
noindex;- pembatasan akses;
- error server;
- redirect yang bermasalah;
- konfigurasi teknis yang menghambat crawling.
Jika halaman memang ingin dimasukkan ke Google, jangan memasang noindex.
3. Evaluasi Kualitas Konten
Buka halaman tersebut sebagai pengguna biasa.
Tanyakan:
“Apakah halaman ini memberikan alasan yang cukup bagi Google untuk menyimpannya sebagai hasil pencarian yang berbeda dari halaman lain?”
Jika jawabannya belum jelas, lakukan peningkatan konten.
Tambahkan informasi yang benar-benar berguna, bukan sekadar memperpanjang artikel.
Misalnya:
- contoh nyata;
- langkah praktis;
- data pendukung;
- pengalaman langsung;
- penjelasan yang lebih lengkap;
- ilustrasi atau screenshot yang relevan;
- sumber referensi yang kredibel.
Google menyarankan agar konten memberikan informasi orisinal, lengkap, dan memiliki nilai yang lebih dari sekadar merangkum sumber lain.
4. Perbaiki Internal Link
Tambahkan beberapa internal link yang relevan dari halaman yang sudah mempunyai hubungan topik dengan artikel tersebut.
Jangan memasukkan link secara berlebihan hanya untuk SEO.
Gunakan anchor text yang menjelaskan halaman tujuan.
Contohnya:
Pelajari juga cara memeriksa sitemap XML di Google Search Console.
Anchor tersebut memberi konteks kepada pengguna dan Google mengenai halaman yang dituju.
5. Periksa Canonical
Pastikan halaman yang ingin diindeks menggunakan canonical yang sesuai.
Jika halaman bukan duplikat dan memang merupakan versi utama, canonical sebaiknya tidak mengarah ke artikel lain secara tidak sengaja.
Google menyediakan beberapa sinyal untuk canonical, termasuk redirect, rel="canonical", dan sitemap. Namun, Google tetap dapat menentukan canonical sendiri berdasarkan berbagai sinyal.
6. Periksa Sitemap XML
Pastikan URL penting berada di sitemap.
Sitemap membantu Google menemukan URL, terutama pada website besar atau website yang mempunyai struktur kompleks. Namun, memasukkan URL ke sitemap bukan jaminan URL tersebut akan diindeks.
Untuk WordPress, sitemap biasanya dibuat otomatis oleh sistem atau plugin SEO yang digunakan.
Pastikan sitemap:
- dapat diakses;
- tidak menghasilkan error;
- menggunakan URL canonical;
- tidak memasukkan URL yang seharusnya tidak diindeks;
- diperbarui ketika terdapat konten baru.
7. Tingkatkan Keunikan Artikel
Jika artikel mempunyai topik yang sangat mirip dengan artikel lain di website, pertimbangkan untuk menggabungkannya.
Misalnya terdapat tiga artikel:
- Apa Itu Sitemap?
- Pengertian Sitemap XML
- Fungsi Sitemap untuk SEO
Jika ketiganya memiliki pembahasan yang hampir sama, lebih baik evaluasi apakah semuanya perlu berdiri sebagai halaman terpisah.
Dalam kondisi tertentu, menggabungkan informasi menjadi satu halaman yang lebih lengkap dapat membuat struktur konten lebih jelas.
8. Request Indexing Setelah Perbaikan
Setelah melakukan perubahan penting, gunakan fitur Request Indexing melalui URL Inspection.
Namun, jangan menganggap tombol tersebut sebagai tombol “paksa indeks”.
Google menyatakan bahwa permintaan crawling tidak menjamin halaman akan langsung diindeks. Proses indexing dapat membutuhkan waktu dan Google tidak menjamin setiap URL akan masuk ke indeks.
Karena itu, alurnya lebih baik seperti ini:
Cek masalah → Perbaiki halaman → Perbaiki internal link/canonical → Pastikan sitemap benar → Request Indexing → Tunggu evaluasi Google
Bukan:
Request Indexing → Request Indexing lagi → Request Indexing lagi
Apakah Harus Request Indexing Berkali-kali?
Tidak.
Request Indexing sebaiknya digunakan setelah ada perubahan yang berarti pada halaman. Google sendiri menjelaskan bahwa crawling dan indexing membutuhkan waktu serta tidak dapat dijamin hanya dengan mengirimkan permintaan crawl.
Jika halaman belum diindeks, lebih baik mencari penyebabnya daripada terus mengirim permintaan indexing.
Misalnya, jika artikel memiliki konten yang sangat mirip dengan artikel lain, melakukan Request Indexing berulang kali tidak menyelesaikan masalah kemiripan tersebut.
Apakah Crawled – Currently Not Indexed Berarti Website Bermasalah?
Tidak selalu.
Google menjelaskan bahwa status Not indexed tidak otomatis berarti terjadi kesalahan. Beberapa URL memang wajar tidak diindeks, misalnya halaman duplikat atau halaman yang memang tidak ditujukan untuk hasil pencarian.
Yang perlu menjadi perhatian adalah ketika:
- halaman penting tidak kunjung diindeks;
- jumlah URL tidak diindeks meningkat secara signifikan;
- banyak artikel baru mengalami status yang sama;
- Google memilih canonical yang tidak sesuai;
- terdapat masalah teknis pada banyak URL;
- halaman utama atau halaman bisnis penting tidak masuk indeks.
Karena itu, jangan hanya mengejar angka 100% indexed di Search Console.
Fokuskan pemeriksaan pada halaman yang memang penting bagi website.
Checklist Mengatasi Crawled – Currently Not Indexed
Sebelum meminta indexing ulang, gunakan checklist berikut:
- URL dapat diakses secara normal.
- Tidak ada
noindexyang tidak disengaja. - Tidak diblokir konfigurasi teknis yang seharusnya tidak memblokirnya.
- Tidak memiliki masalah server atau redirect.
- Canonical mengarah ke halaman yang tepat.
- Konten cukup unik dibandingkan halaman lain.
- Artikel menjawab search intent dengan jelas.
- Konten memberikan informasi yang bermanfaat.
- Ada internal link yang relevan.
- URL masuk sitemap jika memang layak diindeks.
- Tidak ada halaman lain yang jauh lebih relevan untuk topik yang sama.
- Request Indexing dilakukan setelah perbaikan penting.
Kesimpulan
Status Crawled – currently not indexed berarti Google sudah menemukan dan meng-crawl halaman, tetapi halaman tersebut belum dimasukkan ke indeks. Kondisi ini tidak selalu merupakan error dan tidak berarti setiap URL harus dipaksa masuk Google.
Solusi yang lebih tepat adalah memeriksa halaman menggunakan URL Inspection, mengevaluasi kualitas dan keunikan konten, memperbaiki internal link, memastikan canonical dan sitemap sudah benar, serta memastikan tidak ada masalah teknis seperti noindex atau error server.
Setelah perbaikan dilakukan, barulah Request Indexing dapat digunakan untuk meminta Google mengevaluasi kembali URL tersebut. Namun, indexing tetap membutuhkan waktu dan tidak dapat dijamin hanya melalui permintaan manual.
