Di dashboard bagian search preferences, kamu akan melihat 3 area yang membutuhkan pengetahuan blogging tingkat lanjut. Mereka adalah meta tags, errors/redirections, dan crawlers & indexing. Di artikel ini saya akan mencoba menjelaskan secara singkat dan mudah kegunaan dan apa yang dimaksud oleh custom robots txt.

Robots.txt adalah suatu perintah kepada mesin pencari atau search engine untuk meng-crawl atau tidak meng-crawl spesifik konten sebuah website. Setiap web blogspot mempunyai default robots.txt seperti ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://blogname.blogspot.com/feeds/posts/default?orderby=UPDATED

Jika ingin melihat robots.txt milikmu, klik address bar browser dan ketik:

http://yourblogname.blogspot.com/robots.txt

Berikut arti dari bagian – bagian robots.txt diatas:

User-agent: Mediapartners-Google
– Google Adsense Robot akan menjelajah keseluruhan isi blog. Kalau kamu mempunyai adsense, robot ini akan membantu memilihkan ad apa saja yang cocok ditampilkan di halaman blog.

Disallow:
– Perintah kepada robot search engine untuk tidak mengunjungi sebuah halaman, artikel atau kategori. Tidak ada tanda / sesudahnya, berarti robot GA diperbolehkan menjelajah konten web.

User-agent: *
– Semua robot search engine di internet.

Disallow: /search
– Robot tidak diberi izin meng-crawl folder seperti /search/label dan /search?updated, dll. Kenapa?, karena label bukanlah struktur url yang benar. Google menginginkan pengguna mencari konten dari website mereka bukan dari klik label atau kategori. Ini juga berguna untuk menghilangkan duplikat konten.

Allow: /
– Memperbolehkan semua halaman di jelajah oleh robot kecuali yang sudah di disallow diatas.

Sitemap: http://blogname.blogspot.com/feeds/posts/default?orderby=UPDATED
– Alamat feed blog

Bagaimana Mencegah Halaman Tertentu dari Robot?.

Kalau kamu sudah ngeblog cukup lama, mungkin suatu saat kamu ingin mem-block robot agar tidak meng-crawl halaman tertentu dan hanya ingin men-sharing artikel tersebut dengan beberapa orang. Kamu bisa menggunakan robots.txt seperti dibawah ini:

User-agent: *
Disallow: /search
Disallow: /p/secret-1.html
Disallow: /p/secret-2.html
Allow: /

Gambar dibawah adalah contoh robots.txt yang biasa digunakan oleh web blogspot. Kalau kamu ingin memakai seperti yang ada digambar, pergi ke settings —> search preferences —> crawlers dan indexing —> enable custom robots.txt. Jangan lupa Save Changes kalau sudah selesai.

Semoga artikel ini bisa sedikit membantu blogger pemula mengerti apa itu robots.txt. Kalau ada pertanyaan silahkan komentar dibawah, kalau tahu jawabannya saya balas deh. Hehehe…