Membuat File Robot.txt itu sangat penting bagi visibilitas sebuah situs blog di mesin pencari.
Alasannya karena Mengaktifkan Robot txt pada blogger akan memudahkan robot perayap google, bing, yandex, baidu dan kawan-kawannya untuk mengcrawl website kita.
Dengan begini halaman-halaman yang ada di blog kita akan lebih mudah terindeks dan dapat tampil di search engine.
Tapi, bukan hanya itu saja...
Mengaktifkan robots.txt di blogger juga bisa di terapkan bila kita tidak ingin halaman blog agar tidak di index atau tidak di rayapi oleh bot search engine.
Namun Memasang robot txt tidak boleh asal-asalan.
jikalau ada kesalahan saat pemuatan robot txt google ini, dapat berakibat fatal terhadap blog kita sendiri.
Oleh sebab itu sebelum ke tahap setting Robot.txt, saya akan terlebih dahulu untuk menjelaskan mengenai...
Apa itu Robots.txt?
Robot txt adalah sebuah file sederhana dengan format text (.txt) yang fungsinya mengontrol crawlbot atau sebuah robot yang merayapi website.
Adanya file ini di pasang ke blog, memungkinkan kita untuk mengatur halaman mana saja yang boleh di index oleh mesin pencari.
Sederhananya jika begini,
Saat kita mendaftarkan blog ke Webmaster misal ke Google Search Console, maka secara otomatis kita telah menyuruh atau memerintah robot crawl google untuk merayapi situs tersebut.
Lalu file yang pertama kali di rayapi oleh googlebot adalah robots.txt blogger ini.
Adanya file ini di pasang ke blog, memungkinkan kita untuk mengatur halaman mana saja yang boleh di index oleh mesin pencari.
Sederhananya jika begini,
Saat kita mendaftarkan blog ke Webmaster misal ke Google Search Console, maka secara otomatis kita telah menyuruh atau memerintah robot crawl google untuk merayapi situs tersebut.
Lalu file yang pertama kali di rayapi oleh googlebot adalah robots.txt blogger ini.
Sekarang, mari kita lakukan proses pemasangan file tersebut ke blogspot.
Cara Setting Robots.txt di Blogger
Dalam tutorial kali ini, ada dua macam metode untuk memasang robot txt di blogger.
Kedua cara tersebut mempunyai kelebihan dan kekurangan nya masing-masing.
Pesan
Tapi perlu saya ingatkan lagi bahwa jika kita sampai salah mengirim file robot.txt blogger ini ke mesin crawl itu bisa berdampak ke proses pengindeks-an blog sobat di mesin pencari google.
Bahkan, bisa membuat halaman yang sobat atur tersebut menjadi deindex dan hilang di Google.
Bahkan, bisa membuat halaman yang sobat atur tersebut menjadi deindex dan hilang di Google.
Okee mari ke langkah-langkah membuat file robot txt...
#1. Mengaktifkan Robots.txt Default Bawaan Blogger
Setelan Robot txt blogger inilah yang bisa di bilang paling aman dan tepat.
bahkan google sendiri pun merekomendasikan agar pengaturan robot.txt ini pada mode default atau bawaan saja.
Seperti hal nya kata John Mueller di Tread Bantuan Webmaster Google yang juga merekomendasikan untuk mempertahankan pengaturan default robots.txt blogger adalah solusi yang paling aman sebagai control penuh pada robot txt Anda.
Bisa dilihat, dibawah merupakan tampilan dari Robot.txt Bawaan Blogger yang ada di blog saya :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://rahuruss.blogspot.com/sitemap.xml
Penjelasan Kode kode Robot txt Blogger di atas
- User-agent: Mediapartners-Google : kode ini bertugas membantu Google Adsense Bot untuk merayapi iklan yang ada di blog.
- User-agent: * : Ini merupakan semua robot search engine.
- Disallow: /search : Melarang halaman seperti label agar tidak tampil di mesin pencari.
- Allow: / : Perintah agar bot dapat merayapi dan mengindex halaman ini.
- Sitemap: https://rahuruss.blogspot.com/sitemap.xml : Peta situs atau sitemap blog.
#2. Membuat Custom Robot.txt Blogspot
Sekarang lihat diatas ada kata custom yang berarti kita bisa membuat file robot ini sesuai keperluan.
Berarti di sini kita bisa mengatur bot google untuk merayapi halaman tertentu agar terindeks.
Misal sobat tidak ingin bot google memblokir halaman search / label, karena memblokir halaman tersebut bisa membuat liputan yang ada di google search console terdapat notif peringatan.
Sobat bisa menuliskan format file custom robot txt nya seperti Contoh dibawah ini:
User-agent: *
Disallow:
Sitemap: https://rahuruss.blogspot.com/sitemap.xml
Diatas bisa kalian lihat ada sebuah perbedaan kan?
Dan, bila kalian ingin memakai file robots txt ini maka nantinya semua halaman yang ada dalam situs kalian akan di rayapi oleh robot google.
Tetapi jika sobat ingin memblokir bot google untuk merayapi halaman tertentu, misal untuk halaman contact saja.
kalian bisa menambahkan lagi kata "Disallow: /p/contact.html" di bawah disallow pada file di atas.
Maka hasilnya akan seperti ini :
User-agent: *
Disallow:
Disallow: /p/contact.html
Sitemap: https://rahuruss.blogspot.com/sitemap.xml
Perlu di ketahui, untuk "/p/contact.html" ini adalah url halaman kontak yang ada di blog sobat.
jadi harap di teliti untuk pemasangannya.
Setelah kita selesai membuat robot txt SEO blogspot, mari langsung kita aktifkan di pengaturan blogspot.
Cara Menerapkan Custom Robots txt di Blogspot
Sebelum setting Robots.txt Blogger Kustom ini,
kita akan mengecek terlebih dahulu apakah Custom robot txt yang dibuat sudah benar.
Caranya:
1. Login dulu ke Google search console.
2. Sekarang sobat kunjungi halaman Penguji Robots.txt ini.
3. Kemudian pilih Properti blog yang terverifikasi.
4. Bisa dilihat ada file robot txt bawaan asli dari blogger.
Silahkan ganti Robots.txt default tersebut dengan yang baru di buat tadi, kemudian klik Uji Coba.
Jika Muncul Text Izinkan berarti custom robot yang dibikin sudah benar.
5. Selanjutnya sobat klik kirim dan ikuti langkah-langkah berikut nya.
Sekarang mari kita ke langkah Pemasangan Robot txt di blogspot.
6. Pergi ke Dashboard blogger blog milik sobat.
7. Klik menu pengaturan lalu masuk ke opsi Preferensi Penelusuran.
8. Setelah itu cari fitur Robots.txt Khusus dan klik edit lalu pilih YA.
9. Tambahkan kode file robots.txt yang di ujicoba tadi ke dalam kotak kosong tersebut dan klik Simpan.
10. Selesai.
2. Sekarang sobat kunjungi halaman Penguji Robots.txt ini.
3. Kemudian pilih Properti blog yang terverifikasi.
4. Bisa dilihat ada file robot txt bawaan asli dari blogger.
Silahkan ganti Robots.txt default tersebut dengan yang baru di buat tadi, kemudian klik Uji Coba.
Jika Muncul Text Izinkan berarti custom robot yang dibikin sudah benar.
5. Selanjutnya sobat klik kirim dan ikuti langkah-langkah berikut nya.
6. Pergi ke Dashboard blogger blog milik sobat.
7. Klik menu pengaturan lalu masuk ke opsi Preferensi Penelusuran.
8. Setelah itu cari fitur Robots.txt Khusus dan klik edit lalu pilih YA.
9. Tambahkan kode file robots.txt yang di ujicoba tadi ke dalam kotak kosong tersebut dan klik Simpan.
10. Selesai.
Untuk pengecekan Robot.txt blog, sobat bisa ketikan url seperti ini: https://rahuruss.blogspot.com/robots.txt
Lalu ganti nama domain blog saya jadi url alamat blog sobat.
Di atas itu adalah robot txt seo friendly example punya saya.
Gimana sangat mudah bukan?
Mungkin hanya segini dulu cara setting robots txt di blogger yang bisa saya bagikan.
Bila ada kesulitan saat mencoba menerapkan tutorial ini, tanyakan saja di kolom komentar yang tersedia. Semoga Bermanfaat.
