Pengertian, Manfaat , Cara Kerja, Robot Txt untuk Blog

Salam Blogger Indonesia

Pada Kesempatan ini saya mau share sedikit penjelasan mengenai robot.txt pada blogger, Dan fungsi Robot.txt sendiri....Mari kita simak..

A. Definisi Robot.Txt untuk Blog

Robots.txt adalah Sebuah file dengan sebuah fungsi yang di gunakan untuk membatasi akses robot mesin pencari (Search engine misal : Google,Bing,Yahoo) yang sedang menjelajahi atau membuka situs web yang anda miliki . Sebelum mereka mejelajahi halaman web, mereka memeriksa terlebih dahulu untuk melihat apakah sebuah file robots.txt ada ataukah tidak , dan di dalam robots.txt ada perintah (command) yang mencegah mereka mengakses untuk halaman tertentu.

Sobat blogger memerlukan robots.txt agar robot-robot itu tidak mengindex halaman di search engine (Google,yahoo,Bing) yang tidak kita inginkan , karena mungkin ada beberapa halaman web yang tidak ingin di index oleh search engine. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt . [Afeef go Blogs]

B. Manfaat Robot.TXT untuk Blog

1. Untuk mencegah crawler dari mengunjungi folder pribadi.
2. Untuk menjaga robot dari menelusuri konten yang kurang penting pada sebuah situs web. Ini memberikan mesin pencarian lebih banyak waktu untuk menjelajah isi penting yang dimaksudkan untuk ditampilkan dalam hasil pencarian.
3. Untuk mengizinkan hanya bot khusus yang menjelajah situs Anda. Ini dapat menghemat bandwidth.
4. bots akan meminta file robots.txt secara default. Jika bots tidak menemukan file tersebut maka akan melaporkan error 404, yang akan Anda temukan dalam file log. Untuk menghindari ini, Anda setidaknya harus menggunakan robots.txt default, yaitu file robots.txt kosong.
5. Untuk memberikan bot lokasi peta situs Anda. Untuk melakukan ini, masukkan direktif dalam robots.txt yang mencakup lokasi peta situs Anda:
   Sitemap: http://situsanda.com/lokasi-sitemap.xml
   Anda dapat menambahkan ini di mana saja di file robots.txt. Yang harus Anda lakukan adalah menentukan lokasi peta situs Anda di bagian sitemap-location.xml dari URL. Jika Anda memiliki beberapa peta situs, Anda juga dapat menentukan lokasi file indeks peta situs Anda.

Optimasi SEO, kemampuan Robots.txt yang dapat mengarahkan spider bot mengcrawling halaman yang ditargetkan bisa kita manfaatkan untuk mengarahkan spider bot pada halaman penting seperti halaman konten agar konten tersebut cepat terindex oleh search engine.

Ketika spider bot memutuskan untuk mengcrawl situs, situs akan kehilangan bandwidth dalam jumlah yang tidak sedikit. Bila beberapa directory tertentu misal pada directory search kita batasi aksesnya maka ini akan menghemat bandwidth dan kegagalan spider bot dalam mengcrawl blog kita karena akses situs yang kurang baik akan teratasi sehingga spider bot bisa dengan leluasa merayapi seluruh isi konten sampai tuntas.

Di lain sisi bila halaman index yang di dapat search engine pada sebuah situs dinilai sangat berkualitas maka situs tersebut akan memiliki peluang besar untuk masuk halaman pertama. Hal ini akan berbeda jauh hasilnya dibandingkan dengan situs yang memiliki banyak halaman index namun dengan konten yang kurang berkualitas dan cenderung hanya menampilkan banyak link.

Demikian tulisan tentang robot txt, semoga bermanfaat.