Trik Cara Setting Robots.Txt Blogger Sesuai Aturan

Salah satu usaha membuat weblog lebih SEO Friendly yaitu dengan cara setting search preference pada pengaturan blogger. Robots.txt digunakan untuk mengatur jalannya mesin crawl yaitu googlebot untuk merayapi semua halaman pada situs. Pengaturan ini dilakukan sedemikian rupa agar memilih halaman mana saja yang boleh di akses dan ditampilkan mesin pencari. Pada akhirnya halaman yang sudah diindeks mesin pencari tidak berdampak negatif pada weblog kita.

Apa itu Robots.txt?

Adalah protokol untuk memberitahu tentang akses halaman di weblog atau website. Dikenal juga dengan sebutan robot protokol pengecualian, spider web spiders, robot crawlers, atau spider web wanderers. Robots ini dipasang pada header untuk mengizinkan maupun membatasi akses crawling dalam cara kerja mesin pencari. Tujuannya adalah keterlihatan halaman pada mesin pencari seperti google, bing, msn atau search engine lainnya. Baca selengkapnya → tentang mempelajari file robots.txt.

Halaman yang tidak ditampilkan Blogspot

Dengan alasan backlink url berikut adalah contoh yang dirasa tidak mempunyai 'kekuatan' dari segi SEO Friendly. URL Halaman label tertentu misalnya hanya untuk mempermudah menelusuri kategori atau labeling dalam blogger namun tidak mempengaruhi jumlah link berkualitas dalam blogspot jika dikaitkan dengan mesin pencari. Untuk itu sebagian blogger tidak ingin memunculkan pada hasil pencarian. Berikut ini halaman yang biasa dikucilkan di mesin pencari yaitu :
1. Biasanya halaman search label tidak ditampilkan dengan alasan SEO Friendly.
https://sejutatrik.blogspot.com/search/label/SEO Halaman dengan url tersebut tidak ditampilkan karena tidak SEO Friendly
2. Halaman URL arsip
https://sejutatrik.blogspot.com/2018/7 - Halaman arsip juga tidak seo friendly dan malah menimbulkan masalah di webmaster tools
3. Halaman pencarian
https://sejutatrik.blogspot.com/search?cof=FORID%3A10&ie=ISO-8859-1&q=seo - halaman ini juga akan berdampak buruk karena tidak dihitung sebagai link berkualitas di blog.
4. Halaman Privacy weblog
→ Disclaimer
→ Term of service
→ Term of Use
Biasanya halaman tersebut di atas tidak diikutsertakan dalam hasil pencarian karena menyangkut privasi weblog tersebut.

Bisakah Robots.txt mengaturnya?

Bisa saja, karena robots.txt dirancang untuk tujuan itu juga. Selain menggunakan robots.txt pengaturan atau setting robot googlebot dapat menggunakan meta tag. Misalnya weblog yang sudah didaftarkan di mesin pencari google tapi tidak ingin diikutsertakan dalam pencarian, kode meta tag-nya yaitu :
<meta content='noindex, nofollow name='robots'/>
<meta content='noindex' name='googlebot-image'/>
Penjelasannya agar robots tidak boleh merayapi dan menelusuri semua konten weblog (kode pertama). Sedangkan untuk kode yang kedua agar semua gambar di dalam weblog tidak diikut sertakan dalam hasil pencarian google.

Bagamana Cara Setting Robots.txt Blogger

Untuk trik pengaturannya pada bagian card setting lalu search preferences dan kemudian pilih custom robots.txt seperti berikut :

User-agent: Mediapartners-Google ← robots tag Google  Disallow: /search ← halaman yang tidak dirayapi  Allow: / ← halaman yang boleh dirayapi   User-agent: * ← robots agen  Disallow: /search ← halaman yang tidak dirayapi  Allow: / ← halaman yang boleh dirayapi     Sitemap: http://sejutatrik.blogspot.com/sitemap.xml ← Sitemap standar blogger

Untuk cara setting robots.txt bloggerLihat → pengaturannya sperti weblog kami ini https://sejutatrik.blogspot.com/robots.txt

Bagaimana mengetahui kunjungan robots?

Apabila kamu sudah mendaftarkan weblog ke Google Webmaster Tools sekarang Search Console, terdapat card untuk mengetahui laporan kunjungan robot atau kapan terakhir kali dikunjungi robots untuk mengcrawl situs kita. Itulah sedikit artikel tentang trik setting robots.txt di blogger dan cara setting custom robot.txt agar lebih SEO Friendly. Ada pertanyaan tentang custom robots.txt di blogger serta pengaturannya? silakan ajukan di kolom komentar dengan bahasa sopan, singkat dan mudah dipahami. Untuk artikel selanjutnya yaitu cara setting tag tajuk khusus robot header blogspot.

Read More

Cara Setting Robot Meta Tag Tajuk Khusus Blogspot

Pengaturan meta tag robot dan header HTTP X-Robots-Tag yang aman sesuai kebijakan mesin pencari merupakan langkah dasar dalam optimasi seo on page blogspot. Dengan adanya pengaturan tersebut weblog akan mempengaruhi tingkat baca mesin pencari terhadap weblog kita. Seperti cara kerja mesin pencari pada saat crawling atau proses pencarian url blog, jenis pengaturan pada tag tajuk khusus inilah yang menentukan sebuah URL di dalam weblog adalah valid.

Sebelum melakukan pengaturan robot meta tag pada header http ini, bacalah dengan teliti agar kesalahan yang umum terjadi pada weblog tidak terjadi pada weblog kita. Pengaturan robot header tag yang salah akan mengakibatkan weblog hilang pada hasil pencarian. Lakukan secara bertahap dan sejalan dengan HTML template anda.

Dahulu sebelum adanya fitur tag tajuk robot khusus blogspot, setting robot meta tag melalui penggunaan HTML meta tag. Seperti penggunaan meta tag deskripsi blog. Kode tag robot x-header yaitu : <meta name="robots" content="index/follow" />. Namun dengan adanya fitur blogger, meta tag tersebut apabila tidak disertakan secara manual sudah bekerja secara otomatis. Akan tetapi perlu saya tekankan bahwa :

Penggunaan meta tag yang TIDAK sama dengan pengaturan pada fitur blogger akan membuat pengaturan ganda pada weblog kita. Untuk itu apabila meta tag robot ikut disertakan dengan HTML secara manual, setting atau pengaturan tag robot header pada fitur pengaturan blogspot tentang robot meta tag haruslah sama. Periksa dan cocokkan meta tag weblog anda dengan pengaturan ini.

Pengertian Tag Tajuk Robot Khusus

Tag meta robot memungkinkan Anda menggunakan pendekatan khusus halaman yang terperinci untuk mengontrol cara tiap halaman diindeks dan ditampilkan kepada pengguna dalam hasil penelusuran. Tempatkan tag meta robot di bagian pada halaman tertentu. Jika anda melakukan pengetesan Meta Tag Analyzer, tag robot header akan tampak seperti gambar berikut :

Point Penting Pengaturan pada Fitur Tag Tajuk Khusus

1. Jenis Halaman

Terdapat iv jenis halaman yang berpengaruh pada pengaturan ini yaitu (a) Halaman beranda, (b) Halaman Arsip, (c) Halaman Penelusuran, dan (d) Halaman pada Posting Default. Contoh berbagai halaman blogspot adalah sebagai berikut :
Beranda → http://sejutatrik.blogspot.com/
Arsip → https://sejutatrik.blogspot.com/2019_03_01_archive.html
Penelusuran → https://sejutatrik.blogspot.com/search?q=SEO&submit=Search
Posting → https://mytutor2.blogspot.com//search?q=seo-on-page-seo-blogspot

2. Jenis Pengaturan

Terdiri dari 10 pilihan yang memuat fungsi dari pengaturan tersebut. Beberapa pengaturan itu menuju pada perintah header tag dan biasanya digunakan untuk fungsi tertentu. Kesepuluh fungsi itu adalah all (semua), noindex(tidak diindex), nofollow (tidak diikutsertakan), noarchive(tidak melakukan arsip), nosnippet (tidak mencantumkan cuplikan), noodp or no Open Directory Object(tidak mencantumkan deskripsi weblog dari berbagai sumber seperti yahoo dll), notranslate(tidak boleh diterjemahkan), noimageindex(tidak boleh index gambar), dan unavailable_after(pengaturan jangka waktu pengindeksan).

3. Fungsi Pengaturan

All : Jika kita melakukan isian pada fungsi all, maka kesemua perintah dari ix jenis pengaturan akan bekerja secara otomatis.
Noindex : Anda dapat melakukan pembatasan pada halaman pencarian jika tidak ingin halaman tersebut diikutsertakan dalam hasil pencarian mesin pencari, dengan cara memberi depository fiscal establishment check listing pada fungsi ini.
Nofollow : Jangan keliru rel='nofollow' pada fungsi ini. Fungsi ini tidak mengikutsertakan halaman terkait, tetapi masih ditampilkan pada mesin pencari.
Noarchive : Digunakan untuk melakukan batasan pada URL arsip weblog kita.
Nosnippet : Tidak mengikutsertakan cuplikan, ringkasan atau deskripsi, biasanya pada halaman dengan deskripsi tidak sesuai antara judul dengan kontennya sepeti halaman privasi dan yang lainnya.
Noodp : Kependekan dari No Open Directory Project, jika weblog anda terdaftar pada website directory, maka akan mencegah pengambilan deskripsi weblog dari situs-situs directory seperti moz, yahoo, dan lain-lain.
Notranslate : Melakukan fungsi untuk tidak menterjemahkan isi blog
Noimageindex : Sudah jelas saya sebutkan di atas
dan yang terakhir adalah No unavailable_after : Yaitu membatasi keterlihatan atau jangka waktu postingan blog.

Cara Setting Melalui Fitur Blogger

Mengatur robot header sangat mudah, cukup ikuti panduan settingnya seperti gambar berikut ini :

Letak pengaturan tag tajuk khusus blogspot ini berada di bawah setting robot.txt blogger.

Cara Setting Melalui Posting Artikel

Selain digunakan secara keseluruhan, anda dapat melakukan pengaturan pada unmarried shipping atau artikel tertentu saja. Ikuti caranya pada artikel setting robot header tag blogspot yesteryear blogerorigin.

Tools Pengecekan HTTP Header Status

Rapid Tables SEO Centro

Sumber Referensi Robot Meta Tag

https://developers.google.com/search/reference/robots_meta_tag?hl=in

Read More

Submit, Database, Index, Crawl, Serving Google

Kaitannya dengan search engine (Google) weblog atau website yang sudah terdaftarkan itu seperti buku-buku di dalam perpustakaan. Setiap weblog mempunyai halaman-halaman seperti halaman pada setiap buku. Sedangkan mesin pencari merupakan pengelola informasi dari daftar-daftar buku tersebut dengan tujuan pencarian tentang nama buku, judul buku, pengarang, serta lainnya.

Dengan dukungan kapasitas tampungan information yang besar tidak heran Google mampu menampung milyaran halaman saat ini untuk diolah dan ditampilkan di mesin pencarinya yaitu Google Search. Melalui halaman resminya ada ratusan milyar halaman yang sudah ditampung serta trilyunan pencarian kata kunci setiap harinya. Wow, jumlah yang sangat banyak sekali bukan? Mari cari tahu bagaimana cara kerja mesin pencari ini.

Proses Submit Url

Cara kerja pertama mesin pencari yaitu menerima permohonan dari para blogger yaitu dengan cara menyediakan layanan kirim url blog. Proses pengiriman url dilakukan secara manual dari pemilik weblog yang ingin blognya tampil di halaman Google. Halaman perngiriman url weblog atau alamat weblog dari google yaitu : https://www.google.co.id/intl/id/add_url.html
Hingga saat ini proses pengiriman url tidak dipungut biaya pihak Google atau gratis. Proses pengiriman url kapan saja diluar jam kerja pun bisa dilakukan.

Setelah proses submit pengiriman url tiap halaman dilakukan pada Google Webmaster Tools (GWT) sekarang dinamai Search Console. Pengiriman url tiap halaman diambil otomatis pada halaman Sitemap dengan format XML. Itulah pentingnya membuat halaman sitemap untuk search console.

Proses Database

Setelah proses pengiriman selesai selanjutnya semua information disimpan di server Google yang mencapai 100.000.000 GB (Seratus Juta) kapasitas penyimpanan. Kapasitas besar tersebut menampung semua weblog yang dikirimkan pemilik weblog dari seluruh dunia.

Dengan xiii Server information yang tersebar di Amerika, Eropa, dan Asia pengelolaan information sangatlah penting. Untuk pendistribusian information melalui jaringan UPS dirasa mampu melayani permintaan information dari seluruh dunia. Data-data tiap halaman disimpan dan dijaga ketat oleh petugas keamanan 24 jam kerja tanpa henti hingga sekarang.

Proses Crawl

Proses crawl ini adalah proses mesin otomatis yang berfungsi merayapi atau menganalisa ulang isi situs atau blog. Pemberian nama mesin ini yaitu Googlebot, Robot atau Spider. Mesin proses crawl ini dinamai sesuai dengan kategori masing-masing misalkan untuk dekstop disebut dengan Googlebot, untuk gambar dinamai dengan Googlebot-image, dan untuk weblog berita dinamai dengan Googlebot-news. Cara kerjanya otomatis dan tergantung seberapa seing weblog itu melakukan aktifitas yaitu update halaman atau perawatan situs. Kamu bisa melihat penjelasan tentang crawl di Webmaster Google tentang Crawl.

Proses crawl tiap halaman weblog berbeda-beda tergantung jumlah halaman dan umur blog. Terdapat fitur setting crawl yaitu seberapa cepat mesin crawl akan merayapi weblog kita. Tentu ini menjadi pertimbangan pemilik weblog untuk optimasi halamannya. Untuk akun lama biasanya setting seberapa cepat crawl dilakukan akan otomatis muncul pada bill of fare webmaster tools. Cara kerjanya mirip pengaturan kecepatan weblog untuk memuat.

Proses Index

Dari hasil crawl akan didapatkan informasi-informasi dan tambahan informasi lainnya mengenai isi blog. Seperti dijelaskan pada halaman resminya, setiap weblog yang masuk proses index tidak dijamin tampil pada hasil pencarian. Ada banyak pertimbangan dari pihak google yang akan ditayangkan pada hasil pencariannya. Pertimbangan itu meliputi isi yang relevan, bahasa, dan apakah situs atau weblog tersebut patuh pada pedoman kualitas serta kebijakan google atau tidak.

Proses Crawl dan index bisa dilihat melalui halaman google tentang cara kerja Google Penelusuran. Kedua proses ini yaitu crawl dan index menjadi pantauan pemilik weblog dan terdapat pada bill of fare laporan di search console.

Proses Serving atau Hasil Pencarian.

Setelah proses index disimpan proses selanjutnya adalah menampilkan hasil pencarian dengan kata kunci tertentu atau serving. Kata yang sedikit pencarian, akan cepat diindex google. Begitu sebaliknya, kata dengan frekuensi banyak dicari membutuhkan waktu yang lama juga pada hasil pencarian. Ini dikarenakan banyak persaingan dalam kata tersebut.

Dari hasil pencarian yang disajikan dapat diperoleh tendency atau kata paling banyak dicari. Kamu bisa temukan apa yang sedang jadi tranding topik melalui Google Trends setiap harinya. Google trends sering dijadikan acuan bagi pemilik weblog atau situs yang akan mempublikasikan artikelnya. Meneliti kata yang sedang menjadi tranding pada pencarian merupakan langkah efektif terutama untuk menentukan judul halaman.
Teman-teman bisa melihat video cara kerja mesin pencari ini, walaupun dengan bahasa inggris saya yakin kalian bisa memahami cara kerjanya karena terdapat animasi untuk mempermudah

Itulah cara kerja mesin pencari mulai dari proses pengiriman url hingga menampilkan hasil pencarian. Baca juga artikel saya yang lain pada halaman SEO Checklist khusus membahas Teori mesin pencari yang akan diterapkan untuk SEO pada blogger.

Setelah kamu mengetahui cara kerja mesin pencari google tersebut, artikel kami selanjutnya yaitu algoritme baru google. Adalah cara google menentukan halaman yang layak ditampilkan pada hasil pencarian melalui peringkat situs. Baca tentang → cara kerja algoritme baru google.

Read More