Cara Mengaktifkan Dan Setting Robot.txt.

 Sudah sangat lama bog ini tidak update postingan, sebelumnya saya minta maaf karena akhir-akhir ini saya tidak update postingan pada blog ini. Nah sekarang lupakanlah semua itu dan kita buka lembaran baru wetss... kaya orang bijak aja hhee..

The Robot Exclusion Standard, juga dikenal sebagai Robots Exclusion Protocol atau robots.txt protokol, adalah konvensi untuk mencegah web crawler bekerja sama dengan robot web lain untuk mengakses semua atau bagian dari sebuah website yang jika dilihat secara terbuka.


Robot sering digunakan mesin pencari untuk mengkategorikan dan mengarsip situs web, atau web master untuk mengkoreksi Source code. Dari beberapa artikel yang saya baca, penggunanan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita lho.

Misalkan ada halaman yang tidak ingin kita tampilkan kepada publik dan mesin pencari maka kita bisa memanfaatkan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger sudah mendukung fungsi ini dan ini menunjukkan bahwa blogger semakin memudahkan kita untuk optimasi SEO blog kita.

Berikut ini Cara Mengaktifkan Dan Setting Robot.txt:

1.Log in ke blogger dengan akun blogger anda.
2.Klik setelan > Preferensi penelusuran.

3.Pada tab perayap dan pengindeksan pilih robot.txt.

4.Dan masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://bdigg.blogspot.com/feeds/posts/default?orderby=UPDATED

Keterangan :
Ganti url http://bdigg.blogspot.com dengan url blog anda.

5.Klik simpan perubahan.

Sebagai penjelasannya:

• Kelompok baris pertama merupakan informasi user agent milik google menandakan bahwa blog ini adalah partner dari google, hal ini memudahkan bagi anda yang ingin menggunakan jasa google adsense agar iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga memberitahukan bahwa blog kita bisa diakses melalui mesin pencari.
• Kelompok baris kedua adalah informasi untuk semua mesin crawler search engine. Disana dituliskan disallow:/search  yag menandakan semua robot mesin pencari tidak boleh mengindeks page label. yang ini berguna untuk menegah duplikasi artikel yang sangat tidak disukai oleh google.
• Kelompok baris ketiga merupakan sitemap yang berfungsi memudahkan mesin pencari mengindeks blog anda
• Tanda "/" adalah tanda home page anda jadi jangan hanya meletakkan tanda ini pada kolom disallow karena berakibat mesin pencari tidak bisa mengindex home anda.

Satu lagi catatan agar berhati-hati untuk menggunakan fungsi ini karena jika salah-salah malah blog anda yang diabaikan oleh mesin pencari.