Mengenal Robots.txt dan Fungsinya

in Blogging | 40 Comments
Mengenal Robots.txt dan Fungsinya

Apa itu robots.txt ? Apa pula fungsi robots.txt ini ?

Robots.txt adalah sebuah file yang berisi kode-kode yang berfungsi untuk menginstruksikan robot-robot search engine untuk dapat menjelajahi dan mengindex seluruh atau sebagian halaman website/blog. Mengapa saya katakan sebagian halaman saja ? Karena tidak semua file atau folder harus di index oleh search engine, misalkan folder admin atau folder yang berisi dokumen-dokumen penting.

Robots.txt pun akan meningkatkan SEO blog anda, karena robots.txt dapat mencegah blog anda dari duplikat konten. Robot-robot search engine paling tidak suka bila menemukan duplikat konten dari blog anda, bila robot search engine menemukan duplikat konten maka blog anda akan terkena pinalti dari search engine yang bersangkutan.

Berikut contoh robots.txt yang saya ambil dari situs resmi wordpress.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.domain.com/sitemap.xml

Cara membuat robots.txt ini mudah saja, anda hanya tinggal membuka notepad kemudian copy code di atas lalu beri nama robots.txt. Setelah itu anda upload ke server anda sejajar dengan wp-admin, wp-content dll. Sehingga nanti alamat robots.txt anda menjadi

Semoga bermanfaat.

Refrensi :
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress
http://www.askapache.com/seo/wordpress-robotstxt-seo.html
http://teqsnacks.com/2007/03/10/wordpress-seo-using-robotstxt-to-avoid-content-duplication/
Gambar :
http://www.seomba.com/uploads/allimg/091226/1-0912262244120-L.jpg

Penulis: Satrya Bima - http://www.margasatrya.com

Satrya, founder margasatrya.com yang saat ini sedang bekerja di salah satu provider theme e-commerce, Tokokoo.com sebagai Front End Developer. Mau mengenal saya lebih jauh ? Silahkan follow twitter atau kontak saya

Berlangganan Artikel Gratis !

  • Gus Ikhwan @ ulasan SEO

    dan kalau untuk memblok pada folder tertentu menggunakan
    User-agent: *
    Disallow: /login.php
    Disallow: /submit.php

    • http://www.margasatrya.com Satrya

      @Gus Ikhwan @ ulasan SEO, thx tambahnnya gus.. gmn udah bisa blm masukin related sama author boxnya ?

      • Gus Ikwhan @ ulasan SEO

        @Satrya, udah bisa kok sat, aku pasang pada index.php

      • Kartika | Blog Desain

        @Satrya, kita bisa memanfaatkan keampuhan dari robots.txt untuk memblokir direktori review tersebut dengan menambahkan perintah disallow berupa ↓

        User-agent: Googlebot
        Disallow: /review/

        Dengan perintah seperti di atas maka Googlebot tidak akan mau menjelajahi isi direktori /review, dengan begitu artikel paid review dalam direktori tersebut tidak akan terindeks di mesin pencari dan mengamankan pagerank

        • http://www.margasatrya.com Satrya

          @Kartika | Blog Desain, terima kasih mba atas tambahanya :D

  • Mac

    Untuk sitemap, saia liat di robots.txt blog lain ko yang xml.gz ya? Apa sama aja dengan xml? Maap newbie nanya :)

    • http://www.margasatrya.com Satrya

      @Mac, sama saja mas, bahkan ada yang menulis kedua-duanya. .xml dan .xml.gz

  • idebagusku

    oh begitu ya kang?
    baru tahu aku

  • ardianzzz

    sepertinya saya melupakan robots.txt ini :(

  • van

    saya juga belum pasang neh..
    ttapi kalo gak pasang dpat brakibat fatalkah???
    thx :D

    • http://www.margasatrya.com satrya

      @van : Menurut saya robots.txt ini wajib ada, karena kalo file2 penting terindex juga tidak baik untuk privasi.
      Lalu robots.txt ini juga kan penting untuk membantu mencegah duplikat konten

      So, ini wajib van :mrgreen:

  • http://kafegue.com/ iskandaria

    Pada menu dashboard hostingan saya ternyata belum ada nih file si robot. Langsung saya upload deh kalo gitu mas. Kodenya langsung saya kopi dari kode di atas. Thx mas.

  • Hybrid car

    berguna nih sob… ijin copas ya… :)

  • budiastawa

    Baru sadar kalau robots.txt begitu bermanfaat untuk larang-melarang. Berarti selama ini crawler terlalu banyak merayap ke tempat yang tidak perlu di blog saya :(

  • http://ddery.com dery

    dulu saya pernah menggunakan robots.txt ini untuk mengatasi duplikat konten,, cara ini memang ampuh mengatasi duplikat konten, terbukti sebelum saya mengenal canonicalization, saya masih menggunakan robots.txt..

  • Roy

    Wah mas,saya blm bgitu paham mengenai blog…
    Klu menggunakan blogger gmn ya?

    • http://www.margasatrya.com Satrya

      @Roy, blogger sudah otomatis ada mas,

  • http://www.gemilang.tv Indovision

    Sama mas Roy sy belum terlalu paham, perlu bantuan teman u: pasangnya…

  • onyenk

    ijin copy mas codenya

    salam kenal…newbie baru

  • Djadoel

    Thanks infonya mas, tp kayak nya robots.txt sampean msh banyak errornya deh coba sampean validasi robots pean di sini http://tool.motoricerca.info/robots-checker.phtml
    icon yang warna pink menandakan letak errornya

    • http://www.margasatrya.com Satrya

      Tempat cek mas dengan saya berbeda. Jadi pasti hasilnya pun berbeda,. robots.txt saya bukan error, hanya warning karean tidak semua search engine mengerti dengan perintah yang saya tulisakan di robotx.txt nya tersebut

  • Djadoel

    Ow gitu ya, klu boleh tau adakah tempat buat ngecek robots.txt yang paling bagus? Newbie soale baru sebulan pake wordpress ha..ha tq wat pencerahanx

  • general business

    mau tanya sedikit, jika sebelumnya kita sudah menggunakan plugin SEO dan sudah terdapat robot.txt. Apakah perbedaan setting secara manual akan bermasalah jika terdapat perbedaan, biasanya mana yang diikuti spider. Makasih

  • Pingback: Apa itu Robot.txt | JURAGAN SOPWER – Mitra Software Sejati

  • http://www.lombokpaket.com iwan

    nice info dan bermanfaat t erusin berkarya

  • 4posh

    nice post

  • http://www.belitoyota.com/ Harga Toyota

    waaah.. ya ini nih yg sy belum kepikir sebelumnya…
    tips-nya maknyus banget Mas. Sy tambahin robots.txt blog sy aaah..
    Mohon ijin sy bookmark blognya ya Mas. Sukses selalu..

  • Wiyartisari

    Wah terima kasih infonya mas, oh begitu ya cara kerjanya Robot.txt jadi kurang lebih kita bisa setting sesuai keinginan

  • sonny

    wah makasi bgt ga. sangat membantu :)

  • Choey

    nice post

  • wiyartisari

    terima kasih infonya mas, artikelnya sangat bermanfaat

  • RGates

    nice post

  • no 1 di google

    Oh jadi fungsinya begitu toh..jadi kalo web kita pake robot.txt, kenapa saat kita mau submit web kita di submit directory, ada warning di duggmirror, apakah karena disallow atau settingannya yg salah ya..mohon bantuannya ya..

  • http://rudipakenton.blogspot.com rudiharto

    siap gan, bermanfaat banget buat saya. hehehe

  • http://actuallyfashion.com Rusdiono

    terima kasih atasinformasinya

  • alan

    wah mangstab neh tutorialnya…thx infonya gan…:)

  • http://masyhury.web.id masyhury

    Mas, saya mau tanya dong..
    kalau kita punya subdomain atau addon domain di server hostingan yang sama, haruskah kita mendisallow folder subdomain / addon domain dari domain yang utama kita?

    Saya pernah baca seperti itu, tp tidak jelas kebenarannya..
    Mohon penjelasannya ya mas, saya tunggu dan terima kasih… :)

  • http://anansquidy.com squidy

    sama pertanyaannya kayak di atas gan, untuk subdomain robots.txtnya gimana ya gan??

  • mujab.net

    makasih banyak infonya. Tak coba di blog saya ah..

  • http://kliniknoni.com Anggit

    Boz, kalau pake plugin platinum sama aja kan ya?