Cara Setting robots.txt

Robots.txt adalah file yang terdapat dalam direktori root dari situs yang berguna untuk mengendalikan halaman tertentu akan diindeks oleh search engine spider, atau untuk mengelola bagian-bagian tertentu yang tidak diindeks oleh mesin pencari.
Secara default (jika di blog Anda atau direktori web tidak ada file robots.txt ini akan memberikan informasi tentang Search Engine bahwa semua bagian dari blog Anda atau situs dapat digali dan dimasukkan dalam indeks. Dan tidak semua bagian dari sebuah blog atau website harus dikunjungi oleh mesin pencari, sebagai contoh bagi pengguna hosting wordpress sendiri dengan folder atau direktori wp-admin, wp-content/cache, wp-content/plugins, wp-includes dll tidak perlu diindeks, karena tidak ada gunanya, sebaliknya jika direktori diindeks bukan berpartisipasi akan merugikan karena akan boros bandwidth dan mungkin juga berisi data penting yang tidak boleh dikonsumsi agar publik.

Dengan menghalangi direktori tertentu atau file yang tidak perlu diindeks, itu juga salah satu cara untuk blog Anda atau website untuk SEO lebih, kenapa begitu, karena waktu yang diperlukan ketika mesin pencari mengunjungi blog kita tidak panjang. Jadi dengan dicegahnya mesin pencari untuk menjelajah direktori tertentu mesin pencari kesempatan untuk menjelajah dan mengindeks seluruh isi atau halaman web yang perlu ditampilkan (diindeks) menjadi lebih besar (prioritas yang lebih tinggi).

Misalnya Anda bisa menggunakan pengaturan seperti ini:

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?

Pengaturan ini akan mencegah mesin pencari untuk menjelajah dan mengindeks file php, javascript, css dll

Contoh lain:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /comments/
Disallow: /category/

Sitemap: http://domainanda.com/sitemap.xml
Sitemap: http://domainanda.com/sitemap.xml.gz

Pengaturan ini akan mencegah mesin pencari untuk menjelajah dan mengindeks direktori cgi-bin, wp-admin, wp-includes dll dan semua file dalam direktori. Jika Anda menggunakan Google XML Sitemap Generator plugin akhir file robots.txt Anda dapat ditambahkan ke kode ini: Peta Situs: http://domainanda.com/sitemap.xml dan Peta Situs: http://domainanda.com/ sitemap.xml.gz

Bagi mereka yang menggunakan plugin Google XML Sitemap Generator, Platinum SEO atau All in One SEO Pack dan kesempatan untuk memasukkan kategori dan / atau tag di indexnya, maka pengaturan pada bagian berikut ini harus dihapus untuk sync:

Disallow: / tag /
Disallow: / kategori /

Selain contoh di atas Anda juga dapat membuat parameter tertentu misalnya, jika Anda sering mengikuti program paid review dan tidak ingin PR peringkat bawah dapat menggunakan parameter seperti ini:

User-agent: Googlebot
Disallow: /review/

Pengaturan ini khusus yang menggunakan struktur permalink dengan setting seperti ini: /% category% /% postname% / dan sebelum semua posting paid review harus menjadi salah satu dalam sebuah kelompok atau kategori review.

Cara Membuat robots.txt
  1. Download Plugins Robot.Text di http://wordpress.org/extend/plugins/kb-robotstxt/
  2. Enable plugin robots.txt
  3. Buka dan edit
  4. Save!



Jangan lupa untuk memvalidasi hasil ciptaan file robots.txt adalah dengan mengunjungi link ini http://tool.motoricerca.info/robots-checker.phtml, dan masukkan url file robots.txt Anda (contoh http://namadomain.com/robots.txt) dalam kotak yang tersedia kemudian lihat hasilnya jika file robots.txt Anda benar-benaroke atau jelek!, jika ada kesalahan masih banyak informasi lokasi yang diberikan kesalahan dan bisa kita perbaiki!
Previous
Next Post »
7 Komentar
avatar

Perlu banyak belajar saya :) trim's artikelnya mas

Balas
avatar

maaf sob mau nanya
gmana cara nya
biar semua file ke indeks lagi sama google

ane asal coba kemaren
malah semua , posting ane ( url ) nya , not found semua

mohon tutor nya , sob

mksh ya

Balas
avatar

Maaf bos...
Robot.text yang ini kan untuk WORDPRESS BUKAN BLOGGER???

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /comments/
Disallow: /category/

Sitemap: http://domainanda.com/sitemap.xml
Sitemap: http://domainanda.com/sitemap.xml.gz

Mohon pencerahannya...

Balas
avatar

gan, kalo sitemap dikasih banyak gimana gan?
misal
Sitemap: http://autoxplus.com/sitemap.xml.gz
Sitemap: http://autoxplus.com/sitemap.xml
Sitemap: http://autoxplus.com/sitemap-image.xml

Balas
avatar

Perlu banyak belajar saya trim's artikelnya mas

Balas

Selain menjual sepatu dengan model yang telah tersedia kamipun menerima pembuatan sepatu wanita dengan model dari anda sendiri.Untuk keterangan lebih lanjut dapat menghubungi Anni (PIN BB 7E78785D,HP 081572985289,Yahoo Messenger annieffendi@yahoo.com) dari jam 10.00 s/d jam 18.00,Lie Mey Yung (PIN BB 7EAB45A8,HP 02295555022,Yahoo Messenger mey_yung73@yahoo.com) dari jam 18.00 s/d jam 20.00

Oh...yah aku juga lagi cari reseller loh.....syarat ringan tidak ribet ko!!!
dan untuk lihat model sepatu bisa masuk ke
http://orderlovelyshoes.blogspot.com/
aku tunggu yah dan salam sukses!!!