Tentang Peranan Pada Web Robot.txt

Kali ini saya akan menulis tentang file robot.txt untuk situs blog kita, dan apakah ada peranannya untuk situs blog ? Ya tentu saja file robot.txt ada peranan karena file text ini dapat mengatur robot crawler yang datang mengunjungi untuk menelusuri isi situs blog kita. Biasanya file standar robot.txt ini berisi beberapa baris text yang sederhana tapi berdampak besar untuk situs blog atau website. Dibawah ini adalah contoh file robot.txt (standart) yang terdiri dari 2 baris saja:

User-agent
Disallow

Adapun simbol pengaturan yang biasa dipakai adalah memakai tanda ( * ) dan ( / ) :

User-agent : *
Disallow :

Kedua baris file robot.txt diatas mempunyai arti " robot silahkan masuk, anggap saja rumah sendiri". Maksudnya dengan tujuan agar situs blog dan website dapat ditelusuri secara menyeluruh oleh berbagai Search engine. Simbol ( * ) pada baris user agent memberikan arti memberikan peraturan kepada seluruh web robot yang datang. Adapun baris Disallow yang di biarkan kosong memiliki arti tidak ada halaman atau lokasi yang terlarang untuk ditelusuri. Atau kita bisa membandingkan perintah file robot.txt seperti di bawah ini :

User-agent : *
Disallow : /

perintah tersebut memiliki arti " wahai para robot pergi dari website ini". Karena simbol ( / ) tanpa diikuti karakter apapun, berarti terlarang secara total untuk menulusi isi situs blog dan file ini jangan dipakai untuk situs blog kita karena robot tidak bisa menelusuri isi halaman situs . Jadi kita dapat membuat sendiri file robot tersebut secara manual menggunakan notepad di komputer untuk memberitahukan kepada robot-robot mengenai file-file mana yang harus di telusuri dan file-file apa yang tidak harus di telusuri di situs blog atau website. ya kira-kira begitu pengertian dari file robot.txt ini, kita bisa mengatur robot untuk menelusuri isi situs kita dan membuat perintah untuk membatasi penelusurannya.

sumber : http://sari1099.blogspot.com/2011/01/tentang-peranan-robottxt.html

You have read this article blog tips / tips / Tutorial with the title Tentang Peranan Pada Web Robot.txt. You can bookmark this page URL http://elachelle89.blogspot.com/2011/02/tentang-peranan-pada-web-robottxt.html. Thanks!