Trik Cara Setting Robots.Txt Blogger Sesuai Aturan

Salah satu usaha membuat weblog lebih SEO Friendly yaitu dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada weblog kita.

Apa itu Robots.txt?

Adalah protokol untuk memberitahu tentang akses halaman di weblog atau website. Dikenal juga dengan sebutan robot protokol pengecualian, spider web spiders, robot crawlers, atau spider web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Baca selengkapnya → tentang mempelajari file robots.txt.

Halaman yang tidak ditampilkan Blogspot

Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai 'kekuatan' dari segi SEO Friendly. URL Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogger namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa dikucilkan di mesin pencari yaitu :
1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly.
https://sejutatrik.blogspot.com/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly
2. Halaman URL arsip
https://sejutatrik.blogspot.com/2018/7 - Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools
3. Halaman pencarian
https://sejutatrik.blogspot.com/search?cof=FORID%3A10&ie=ISO-8859-1&q=seo - halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog.
4. Halaman Privacy weblog
→ Disclaimer
→ Term of service
→ Term of Use
Biasanya halaman tersebut di atas tidak diikutsertakan dalam hasil pencarian karena menyangkut privasi weblog tersebut.

Bisakah Robots.txt mengaturnya?

Bisa saja, karena robots.txt dirancang untuk tujuan itu juga. Selain menggunakan robots.txt pengaturan atau setting robot googlebot dapat menggunakan meta tag. Misalnya weblog yang sudah didaftarkan di mesin pencari google tapi tidak ingin diikutsertakan dalam pencarian, kode meta tag-nya yaitu :
<meta content='noindex, nofollow name='robots'/>
<meta content='noindex' name='googlebot-image'/>
Penjelasannya agar robots tidak boleh merayapi dan menelusuri semua konten weblog (kode pertama). Sedangkan untuk kode yang kedua agar semua gambar di dalam weblog tidak diikut sertakan dalam hasil pencarian google.

Bagamana Cara Setting Robots.txt Blogger

Untuk trik pengaturannya pada bagian card setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :

User-agent: Mediapartners-Google ← robots tag Google  Disallow: /search ← halaman yang tidak dirayapi  Allow: / ← halaman yang boleh dirayapi   User-agent: * ← robots agen  Disallow: /search ← halaman yang tidak dirayapi  Allow: / ← halaman yang boleh dirayapi     Sitemap: http://sejutatrik.blogspot.com/sitemap.xml ← Sitemap standar blogger

Untuk cara setting robots.txt bloggerLihat → pengaturannya sperti weblog kami ini https://sejutatrik.blogspot.com/robots.txt

Bagaimana mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan weblog ke Google Webmaster Tools sekarang Search Console, terdapat card untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl situs kita. Itulah sedikit artikel tentang trik setting robots.txt di blogger dan cara setting custom robot.txt agar lebih SEO Friendly. Ada pertanyaan tentang custom robots.txt di blogger serta pengaturannya? silakan ajukan di kolom komentar dengan bahasa sopan, singkat dan mudah dipahami. Untuk artikel selanjutnya yaitu cara setting tag tajuk khusus robot header blogspot.