Untuk lebih memahami arti dari robots.txt , untuk membuatnya lebih dimengerti , saya telah membuat tutorial ini .
Jika Anda ingin agar blog Anda terindeks dan merayapi halaman Anda dengan cepat maka Anda harus menambahkan file robots.txt custom ini di blog blogger Anda. serta itu adalah bagian dari optimasi mesin pencari sehingga Anda harus sadar akan persyaratannya.
Juga Baca: Cara Mengulang Kesalahan 404 (Halaman Tidak Ditemukan) ke Homepage Di Blogger
Bagaimana itu bekerja?
Robots.txt adalah perintah untuk robot mesin pencari untuk menjelajahi atau menelusuri halaman s dari blog kita . Robots.txt adalah bisa dibilang menyaring blog kita dari search engine .
Misalnya, robot ingin mengunjungi URL Laman Web, misalnya, https://www.example.com/about.html. Sebelum melakukannya, ia akan memeriksa https//www.example.com/robots.txt, dan kemudian akan mengakses halaman web tertentu.
Semua blog sudah memiliki file robots.txt yang diberikan oleh blogger / blogspot . Secara default robots.txt di blog seperti ini :
Agen pengguna: Mediapartners-Google
Melarang:
Agen pengguna: *
Larang: / cari
Izinkan: /
Sitemap: http: // yourblogname .com / atom.xml? Redirect = false & start-index = 1 & max-results = 500
Agen pengguna : Mediapartners-Google Larang : User-agent : * Disallow : / search Allow : / Sitemap : http: / / namablog / feeds / posts / default ? O rderby = UPDATED - lihat lebih lanjut di: https://blog.kangismet.net/2013/10/cara -setting-robotstxt-di-blogger.html # sthash.aSTFQuhf.dpuf
Apa Arti Of Codes atas ?
Agen pengguna : Mediapartners - Google
Perintah ini memberi tahu blog Anda agar Adsense bisa merayapi blog Anda. Jika Anda tidak menggunakan Google Adsense di blog Anda maka cukup hapus baris ini.
Larang :
Cammand ini mencegah bot dari Search Engine merayapi halaman di blog Anda.
Agen pengguna : *
Semua Mesin Pencari Robot / Mesin pencari Larang : / search Tidak diizinkan untuk merayapi folder pencarian
, seperti .... / search / label dan ... search / search ? Diperbarui ... di sini label tidak dimasukkan untuk mencari karena label adalah bukan URL yang real terhadap satu halaman tertentu .
Contoh:
https://www.funkysst.online/search/label/SEO
https://www.funkysst.online/search/SEO
Izinkan: /
Perintah ini mengijinkan semua halaman dijelajahi , kecuali yang tertulis di Disallow above . Tandai ( /) atau kurang.
Peta Situs :
Sitemap: https: // yourblogname .com / atom.xml? Redirect = false & start-index = 1 & max-results = 500
Cara Mencegah Robot Pada Halaman Tertentu ?
Untuk mencegah halaman tertentu dari Google merayapi hanya melarang halaman ini menggunakan perintah Disallow. Sebagai contoh : jika saya tidak ingin mengindeks halaman saya tentang saya mesin pencari . cukup saya akan menempelkan kode Disallow: /p/about-me.html tepat setelah Disallow: / search .
Kode akan terlihat seperti ini:
User-agent: Mediapartners-Google
Larang:
Agen pengguna: *
Larang: / search
Disallow: /p/about-me.html
Izinkan: /
Sitemap: http: // yourblogname .com / atom.xml? Redirect = false & start-index = 1 & hasil maks = 500
Cara Menambahkan File Custom Robots.txt Di Blogger?
Catatan: Sebelum menambahkan file robots.txt khusus di blogger Anda harus menyimpan satu hal di pikiran Anda bahwa jika Anda menggunakan file robots.txt secara tidak benar maka keseluruhan blog Anda diabaikan oleh mesin pencari.
Langkah 1
Buka Dasbor Blogger Anda
Langkah 2
Sekarang masuk ke Settings >> Search Preferences >> Crawlers and indexing >> Custom robots.txt >> Edit >> Yes
Langkah 3
Sekarang tempel kode file robots.txt kustom Anda di dalam kotak.
Langkah4
Sekarang klik tombol Save Changes.
Langkah5
Itu saja, kamu sudah selesai! Sekarang Anda bisa melihat file robot.txt Anda. Untuk melihat yang baik robots.txt , silakan ketik di browser ...
http: // yourblogname .com / robots.txt
Tidak apa-apa , blog anda tetap akan dijelajahi oleh robot search engine karena seperti yang saya sebutkan sebelumnya , setiap blog sudah memiliki robots.txt bawaan .
Dunia Final!
Jadi teman! Ini adalah tutorial singkat tentang cara menambahkan file robots.txt custom di blogger, jika anda adalah blogger newbie dan anda telah melewatkan robot.txt maka buatlah disini disini untuk membuat SEO situs anda kuat.
Jika Anda masih memiliki pertanyaan tentang artikel ini, tolong beritahu saya, Anda dapat meninggalkan pertanyaan Anda di kotak komentar.
Terima kasih telah membaca tutorial ini dan saya akan melihat Anda di blog berikutnya. sampai saat itu Happy Blogging!
Agen pengguna : Mediapartners-Google Larang : User-agent : * Disallow : / search Allow : / Sitemap : http: / / namablog / feeds / posts / default ? O rderby = UPDATED - lihat lebih lanjut di: https://blog.kangismet.net/2013/10/cara -setting-robotstxt-di-blogger.html # sthash.aSTFQuhf.dpuf
EmoticonEmoticon