Posting ini saya buat khusus untuk menjelaskan bagaimana cara mensetting robot.txt pada google webmaster tools yang nantinya akan berpengaruh pada bagaimana google merayapi blog anda dan halaman apa saja yang tidak diperbolehkan dirayapi oleh google bot kita dapat mengaturnya disini.
selain kita dapat mengatur robot.txt ini pada blog milik kita, kita juga dapat melakukan setting robot.txt ini pada akun google webmaster tools milik kita yang mencantumkan blog milik kita, seperti contoh robot.txt yang saya setting di google webmaster tools ini ternyata tampil di mesin pencarian google pada awalnya saya bingung karena saya tidak sekalipun pernah membuat atau mensetting page tersebut yang beralamat di www.yuli-agustiani.info/robot.txt silahkan klik halaman tersebut jika anda tidak percaya, link yang saya cantumkan tersebut mengarah ke mesin pencari google.
 |
| cara setting robot.txt pada google webmaster tools |
usut punya usut ternyata page tersebut ada karena saya mensetting robot.txt yang ada pada akun google webmaster tools milik saya, kurang lebih dalam page tersebut berisikan seperti ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.yuli-agustiani.info/sitemap.xml
robot.txt tersebut sebenarnya salah setting pada bagian sitemap sehingga setelah saya mencari tau lebih mengenai robot.txt ini saya mengganti robot.txt pada akun google webmaster tools milik saya dan abgi kawan-kawan blogger yang ingin mensetting robot.txt pada google webmaster tools silahkan ikuti langkah-langkah nya dibawah ini.
cara setting robot.txt pada google webmaster tools
1. Masuk ke akun google webmaster tools anda lalu menuju dashbor alamat blog anda.
2. Pilih Perayapan => Penguji Robot.txt seperti nampak pada gambar dibawah ini.
User-agent: Mediapartners-Googleuntuk kawan kawan yang menggunakan blogger gunakan robot.txt dibawah ini.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nameurlblog.blogspot.com/sitemap.xml
User-agent: Mediapartners-Googlerobot.txt diatas hanya berbeda dibagian sitemap saja, keterangan dari code pada robot.txt tersebut.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://nameurlblog.blogspot.com/feeds/posts/default?orderby=updated
- User-agent: Mediapartners-Google : menandakan bahwa blog yang mengguanakan robot.txt ini adalah partner google.
- Disallow : yang tidak boleh dirayapi.
- User-agent: * : Semua mesin pencari / robot penelusur
- Allow: / : Memperbolehkan semua halaman di rayapi kecuali halaman yang tertulis pada dissallow
- Disallow: /search : Tidak diperbolehkan merayapi halaman search dan seterusnya seperti contoh: nameurlblog.blogspot.com/search/label dan nameurlblog.blogspot.com/search/search?update
jika kawan-kawan ingin mensetting robot.txt agar tidak merayapi halaman tertentu seperti halaman about kawan-kawan blogger bisa masukan code robot.txt seperti dibawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://nameurlanda.blogspot.com/feeds/posts/default?orderby=updated
yang berarti tidak membolehkan robot pencari atau mesin pencari merayapi page /p/about.html.
3. Setelah code robotdimasukan silahkan pilih Kirim, setelah itu akan mucul popup dan kemudian klik kirim lagi seperti contoh pada gambar berikut.
4. Proses selesai.
nah setelah selesai tinggal tunggu saja memang cukup lama robot.txt ini terdeteksi, nah karena sudah selesai untu posting kali ini saya cukupkan sekian jika ada pertanyaan menyangkut posting yang saya buat ini silahkan tinggalkan pertanyaan tersebut dikomentar atau hubungi kontak yang telah tersedia diblog kami ini, trimakasih.
nah setelah selesai tinggal tunggu saja memang cukup lama robot.txt ini terdeteksi, nah karena sudah selesai untu posting kali ini saya cukupkan sekian jika ada pertanyaan menyangkut posting yang saya buat ini silahkan tinggalkan pertanyaan tersebut dikomentar atau hubungi kontak yang telah tersedia diblog kami ini, trimakasih.
wah bisa di coba nih, ternyata setting nya mudah juga :D
ReplyDelete