Bagaimana cara menyeting robot.txt di blogger

Hari ini, saya akan berbagi sedikit tips Bagaimana cara menyeting  Robots.txt.


Di blogger ini dikenal sebagai Kustom Robots.txt berarti sekarang Anda dapat menyesuaikan file ini sesuai dengan pilihan Anda. Dalam tutorial hari ini, kita akan membahas istilah ini di dalam dan datang untuk mengetahui tentang penggunaan dan manfaatnya. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger.Jadi mari mulai langkahnya.
Apa Robots.txt?


Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler untuk bagaimana indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi halaman web di blog Anda dari crawler web sehingga tidak bisa mendapatkan diindeks di mesin pencari seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak halaman web.


Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:


     User-agent: Mediapartners-Google
        Disallow:
        User-agent: *
        Disallow: /search
        Allow: /
        Sitemap: http://www.arbagus.web.id/feeds/posts/default?orderby=UPDATED


catatan : ubah www.arbagus.web.id dengan link blog anda

Penjelasan

Kode ini dibagi menjadi tiga bagian. Mari studi pertama masing-masing setelah itu kita akan belajar bagaimana menambahkan file kustom robots.txt di blog blogspot.

User-agent: Mediapartners-Google

    Kode ini adalah untuk robot Adsense Google yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak hanya meninggalkan itu seperti itu.

Agen pengguna: *

    Ini adalah untuk semua robot yang ditandai dengan tanda bintang (*). Dalam pengaturan default blog kita label link dibatasi untuk diindeks oleh crawler pencarian itu berarti web crawler tidak akan mengindeks halaman label kami link karena kode di bawah ini.
Disallow/Larang: / search

Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.


    http://www.arbagus.web.id/search/label/SEO Blogmu


Dan jika kita menghapus Disallow: / search dari kode di atas maka crawler akan mengakses seluruh blog kita untuk mengindeks dan mendapatkan semua konten dan halaman web-nya.



Berikut Izinkan: / mengacu pada Homepage yang berarti web crawler bisa merangkak dan homepage indeks blog kita.


     Larang khusus Posting

Sekarang kira jika kita ingin mengecualikan pos tertentu dari pengindeksan maka kita dapat menambahkan di bawah garis dalam kode. Seperti dibawah ini

            Disallow/Larang: /yyyy/mm/post-url.html


Berikut tttt dan mm mengacu pada tahun penerbitan dan bulan pos masing-masing. Misalnya jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan bawah Format. Seperti dibawah ini

            Disallow/Larang: /2013/03/post-url.html


Untuk membuat tugas ini mudah, Anda dapat menyalin URL posting dan menghapus nama blog di awalnya.

    Larang khusus Halaman

Jika kita perlu melarang halaman tertentu maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog dari itu yang akan sesuatu terlihat seperti ini:

            Disallow/Larang: /p/page-url.html

 Sitemap: http://www.arbagus.web.id/feeds/posts/default?orderby=UPDATED

    Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap di sini kita hanya mengoptimalkan tingkat indeks blog kita. Berarti setiap kali web crawler memindai file robots.txt kami,  mereka akan menemukan jalan untuk sitemap kami di mana semua link dari postingan yang kami terbitkan . web crawler akan merasa mudah mengindeks semua postingan kita. Oleh karena itu, ada kemungkinan baik bahwa web crawler mengindeks semua posting blog kita tanpa mengabaikan satu pun.

    Catatan: sitemap ini hanya akan memberitahu web crawler tentang baru-baru ini ada 25 posting. Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda kemudian mengganti sitemap default dengan di bawah satu. Ia akan bekerja untuk 500 posting pertama terbaru. Seperti dibawah ini!


    Sitemap: http://www.arbagus.web.id/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting diterbitkan di blog Anda maka Anda dapat menggunakan dua peta situs seperti di bawah ini:

            Sitemap: http://www.arbagus.web.id/atom.xml?redirect=false&start-index=1&max-results=500

            Sitemap: http://www.arbagus.web.id/atom.xml?redirect=false&start-index=500&max-results=1000

Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan robots.txt khusus di blogger. Jadi di bawah ini adalah langkah-langkah untuk menambahkannya.

•     Pergi ke blog blogger Anda.

•     Arahkan ke Settings >> Cari Preferences >> Crawlers dan pengindeksan >> Kustom robots.txt >> Sunting >> Ya

•     Sekarang paste kode file robots.txt Anda dalam kotak.

•     Klik tombol Save Changes.

     Selesai :)

Sekarang Bagaimana Cara memeriksa Berkas Robots.txt Anda?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt akhirnya ke URL blog Anda di browser. Lihatlah contoh di bawah ini untuk demo.

       http://www.arbagus.web.id/robots.txt


Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat gambar dibawah.


 


Sekian tutorial singkat dari saya . Selamat mempraktekkan dan sampai jumpa ^_^