Apa itu robots.txt? robots.txt adalah file yang berguna untuk mencegah atau mengizinkan spider search engine atau robots search engine mengindex atau mengcrawl konten atau isi dari website kita. Secara default suatu website pasti di crawl oleh para spider search engine. Tiap informasi yang ada di website kita pasti tercrawl oleh spiderbot search engine baik itu googlebot, yahoo bot, msn bot atau yang lainnya untuk kepentingan mereka. Kasarnya website kita ditelanjangi oleh mereka! digeledah! Mangnya kita mau ditelanjangin mereka??

Nah untuk itulah kita menggunakan file yang bernama robots.txt yang berguna mencegah dan melindungi privasi kita 🙂

Bagaimana cara membuat file robots.txt?
Bentuk file robots.txt adalah text biasa jadi kita bisa membuatnya pake notepad atau text editor lainnya. Jadi kita tinggal bikin pake notepad lalu upload ke bagian root website kita misalnya di ahmadalimuddin.com/robots.txt, file robots.txt ini hanya berlaku untuk satu domain saja tidak berlaku untuk subdomain jadi file robots di ahmadalimuddin.com/robots.txt tidak berlaku untuk subdomain blog.ahmadalimuddin.com 😉

Apa isinya?
Ini isi dasar dari file robots.txt

User-agent: *
Disallow: /

Ini berarti menghalangi semua robot (User-agent : *) mengindex semua yang ada website kita ( Dissallow: / )

Sekarang kita buat pengecualian. misalnya kita pengen google’s image bot mengcrawling tiap gambar yang ada diwebsite kita. maka isi robots.txt kita jadi seperti ini..

User-agent: Googlebot-image
Disallow: /

Nah kalo kita pengen menghalangi semua bot mengindex halaman-halaman tertentu yang penting bagi kita misalnya konten /phpmyadmin/ atau direktori /admin/ maka kita isi file robots.txt kita jadi seperti ini…

User-agent: *
Disallow: /phpmyadmin/
Disallow: /admin/

Kalo kita pengen ngizinin spider bot / crawler mengindex semua yang ada di website kita ya kita ga usah pake robots.txt atau kalo mau robots.txt nya isi dengan..

User-agent: *
Disallow:

jadi Disallow: nya di kosongin aja.. ;D

Referensi :
en.wikipedia.org/wiki/Robots_Exclusion_Standard
www.javascriptkit.com/howto/robots.shtml

Leave a Reply
You May Also Like

Pembinaan dan Penjelasan terhadap Siswa “ISTIMEWA” Mapel PJOK

Subject Pembinaan dan Penjelasan terhadap Siswa “ISTIMEWA” Mapel PJOK Time Tuesday, July…

STRUKTUR ORGANISASI KEJAKSAAN NEGERI KOTA MAGELANG 2020

  JAKSA FUNGSIONAL: SUHARNO, S.H. SRI SUSANTI, S.H. ANA MUFLIKAH, S.H. SANDRA…

Pertanyaan seputar PPPK Guru 2021

Siapa saja yang dapat mendaftar pada Seleksi PPPK Guru 2021? 1. Honorer…

Pendaftaran Diklat Peningkatan Kompetensi Guru SMK Moda Daring BBPPMPV BMTI Tahun 2021

Informasi menarik bagi anda yang berprofesi sebagai guru Sekolah Menengah Kejuruan (SMK),…