Secara sederhana Robot.txt ini ialah sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.
Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita sanggup memanfaatkan fungsi dari robot.txt biar sanggup memblokir halaman tersebut.
Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt menyerupai dibawah ini :
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://tutoorbagus.blogspot.com//sitemap.xmlPastinya Anda akan bingung, apa sebetulnya arti-arti dari isyarat diatas, oke Saya akan menjelaskannya satu-persatu.
| Keterangan | |||
|---|---|---|---|
| User-agent: Mediapartners-Google | User agent milik Google membuktikan bahwa blog ini ialah milik Google | ||
| Disallow | Tidak diperbolehkan tidak ada | ||
| User-agent: * | Semua Robot Search Engine | ||
| Disallow: /search | Tidak diperbolehkan merayapi folder search dan seterusnya | ||
| Allow: / | Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow. | ||
| Sitemap: https://tutoorbagus.blogspot.com//sitemap.xml | Alamat feed blog/sitemap blog Anda | ||
Mungkin itu saja sedikit klarifikasi perihal fungsi dari Robot.txt semoga artikel ini sanggup bermanfaat.
0 Response to "Fungsi Robot.Txt Pada Blogger"
Post a Comment