Terbaru cara mengatasi Diindeks, meski diblokir oleh robots.txt

Pada kesempatan kali ini saya akan menulis permasalahan yang bisanya dilayangkan di forum-forum bloger yaitu cara bagaimana mengatasi warning Diindeks, meski diblokir oleh robots.txt

Dalam pengalaman saya, error ini muncul pada blog kamu yang menggunakan blogspot, baik menggunakan subdomain ataupun kamu menggunakan custom domain dengan tld, jika kamu belum tahu dan ingin memeriksa apakah blog kamu mengalami error yang sama, maka silahkan cek terlebih dahulu pada halaman google search console sebagai berikut.

Cara melihat warning Diindeks, meski diblokir oleh robots.txt

Buat kamu yang masih baru di dunia blog dan ingin mengetahui lebih jelas tentang pembahasan yang saya maksud, maka silahkan ikuti langkah-langkah nya dibawah ini :

Masuk ke halaman Google search Console dangan cara klik disini
Pada bagian menu indexs silahkan klik Cakupan, setelah itu klik Valid dengan peringatan
Setelah itu kamu secrol/geser ke bawah, maka akan ada halaman detail, bisanya berisi kan sebuah tabel Status : peringatan, Jenis : Diindeks, meski diblokir oleh robots.txt, untuk lebih lengkapnya kamu bisa melihat gambar dibawah ini.

Cara melihat warning Diindeks, meski diblokir oleh robots.txt - pdn.my.id

Pada gambar diatas, dijelaskan bahwa ada 22 url yang ada di blog saya yang terdampak peringatan tersebut, buat teman-teman yang baru di dunia bloger dan blognya pun baru, biasanya jarang ada muncul peringatan seperti ini, sepengalaman saya peringatan ini muncul setelah saya menulis hampir 30 an artikel dan trafik saya 50 - 100 an per hari, tapi tidak ada salahnya sebelum peringatan itu muncul maka silahkan untuk mengikuti tutorial ini karena alangkah lebih baiknya jika kita sudah mempersiapkan payung sebelum hujan.

Penyebab peringatan Diindeks meski diblokir oleh robots.txt

Sebelum saja lebih lanjut ke cara mengatasinya, disini saya akan menjelaaskan dulu kenapa peringatan ini bisa sampai terjadi, kalau istilah orang tua dulu kan tidak akan ada api jika tidak ada asap, penyebab dari peringatan ini terjadi adalah karena mesin pencari Google tidak memperdulikan perintah noindex yang kita simpan pada file robots.txt.

Di blogger sampai saat ini masih menggunakan file robots.txt untuk mencegah atau meminta halaman tertentu agar di index ataupun tidak terindex oleh mesin pencari, boleh kita contohkan jika kamu ingin melihat default dari robots.txt maka silahkan buka browser baik itu chrome atau mozilla dan tulis pada kolom url : namablogkamu.com/robots.txt maka akan keluar tulisan seperti pada gambar dibawah ini.

Penyebab peringatan Diindeks meski diblokir oleh robots.txt - pdn.my.id

Bisa sama-sama kita perhatikan bahwa pada gambar di atas ada dua kalimat yang sangat penting yaitu

Disallow: /search : Perintah ini bermaksud setiap url namablogmu.com/search/..... maka tidak di izinkan untuk di index oleh mesin pencari seperti google dll.
Allow : / : Perintah ini bermaksud semua post dan halaman yang ada di blog kamu silahkan di index oleh mesin pencari, kecuali apa yang sudah ditulis di atas jangan, maka itu tidak boleh di index.

Kurang lebih maksud dari kedua perintah tersebut adalah seperti itu, nah yang taerjadi ternyata sekarang Mesin pencari google mengabaikan perintah Disallow: /search tersebut sehingga ini menjadi warning atau masalah pada Google Search Console.

Kenapa link search setelah nama blog jangan diindexs ?

Url blog yang diawali dengan search itu biasanya berisi halaman label atau halaman pencarian dan juga halaman arsip dari blog kita. Jika kita berbicara boleh atau tidak boleh, sebetulnya ini menurut saya kembali lagi ke prinsip masing-masing, karena tidak sedikit yang melah sengaja mengindex halaman-halaman tersebut tapi kebanyakan tidak ingin halaman label, arsip dan pencarian terindex di halaman pencarian karena halaman tersebut termasuk halaman yang memiliki kualitas rendah dimata mesin pencari.

Cara Terbaru Mengatasi Diindeks, meski diblokir oleh robots.txt

Sengaja saya memberikan pengetahuan dulu di awal tentang beberapa hal yang saya rasa perlu teman-teman ketahui agar lebih bisa memahami tentang Google Search Console dan juga tentang kenapa tutorial ini ditulis, Setelah panjang lebar saya menjelaskan diatas, sekarang saatnya saya memberikan cara terbaik yang saya lakukan untuk mengatasi warning tersebut, silahkan ikuti langkah-langkah berikut ini :

Pastikan kamu bisa mengakses administrator Blogspot kamu dan juga halaman Google Search Console.
Masuk ke halaman blogspot, kita cari menu Setelan > Crawler dan pengindeksan, perhatikan gambar dibawah ini.
Silahkan aktifkan menu Aktifkan robots.txt kustom dengan cara geser tombolnya yang saya tandai dengan angka 3 (tiga) ke sebelah kanan.
Setelah aktif, selanjutnya silahkan klik robots.txt kustom yang saya tandai dengan angka 4 (empat) pada gambar, lalu hapus semua perintah yang ada didalamnya lalu ganti dengan perintah dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Sitemap: https://www.pdn.my.id/sitemap.xml
*) Ganti www.pdn.my.id dengan domain blogkamu.
Setelah itu klik Simpan.
Selanjutnya kita pergi ke menu Tema > Sesuaikan (panahnya) > Edit HTML, perhatikan gambar dibawah ini.
Selanjutnya masukan secript berikut ini di dalam kode <head>, ini secriptnya.

<b:if cond="data:view.isSearch or data:view.isArchive">
<meta content='noindex, noarchive' name='robots'/>
</b:if>
Selanjutnya jangan lupa klik simpan agar perubahan yang sudah kita lakukan bisa tersimpan dan diterapkan.
Selesai, Selanjutnya tinggal klik validasi yang ada di Google Search console sebagaimana yang sudah kita buka tadi di atas saat memeriksa setatus warning tersebut.

Berapa lama proses validasi Diindeks, meski diblokir oleh robots.txt

Jika ditanya berapa lama, ini sepertinya tergantung kembali lagi ke pengalaman masing-masing, ada yang cepat dan ada juga yang lambat, tapi pengalaman saya memvalidasi error ini kurang lebih memakan waktu 1 (satu) sampai 3 (tiga) minggu.

Penutup

Mungkin cukup sekian pembahasan saya tentang Terbaru cara mengatasi Diindeks, meski diblokir oleh robots.txt, semoga tulisan ini bisa menjadi jawaban dari semua pertanyaan yang selalu muncul pada bloger pemula, jika ada yang masih bingung jangan lupa untuk bertanya pada kolom komentar, terimakasih dan sampai jumpa.