Kalau kamu punya situs dengan jumlah laman yang sangat banyak, maka kamu harus mulai memikirkan crawl budget agar ada prioritas laman mana saja yang harus terindeks oleh Google dan mana yang tidak.
Seperti pengusaha yang harus hati-hati dalam mengelola budget pada perusahaannya. Seorang SEO specialist juga harus “memperhitungkan” crawl budget agar situsnya bisa teroptimasi dengan baik.
Crawl budget adalah jumlah laman yang Googlebot crawl dan indeks dalam periode tertentu. Contohnya, suatu Googlebot bisa mengindeks 10 laman dalam 1 menit.
Ingat bahwa cara kerja search engine adalah crawling, indexing, dan ranking. Jika suatu laman tidak terindeks, maka jangan harap akan ke fase selanjutnya, yaitu ranking.
Crawl budget penting agar suatu laman yang merupakan money page atau laman utama yang prioritas untuk ranking cepat terindeks oleh Googlebot.
Kalau situsnya masih punya sedikit laman, tidak perlu terlalu memikirkan crawl budget.
Beberapa kondisi yang mulai diharuskan untuk memikirkan crawl budget adalah:
Google pernah membahas crawl budget di situs resmi mereka. Mereka mengatakan bahwa ada crawl rate limit atau dengan kata lain kecepatan maksimal dari crawling.
Hal ini dipengaruhi oleh dua faktor, yaitu:
Semakin cepat respon situs, semakin besar juga crawl rate limit-nya. Sementara kebalikannya, ketika lamannya error atau lemot, Googlebot akan crawling lebih sedikit.
Faktanya, kita bisa membatasi crawl rate situs kita dengan Google Search Console.
Caranya bisa kamu akses di laman ini.
Kalau pun crawl rate tidak mencapai batas, ada faktor lain, yaitu crawl demand.
Kalau tidak ada permintaan untuk indeks, maka Googlebot akan bekerja lebih sedikit.
Faktor yang memengaruhi crawl demand adalah:
URL yang populer di internet akan lebih sering di-crawl.
Sistem dari Google akan mencegah suatu URL agar tidak “basi”.
Dikutip dari laman resmi Google, URL yang low value bisa memengaruhi crawling dan indexing secara negatif.
Beberapa kategori low value URL adalah (berdasarkan signifikansi):
Google menyatakan bahwa semakin cepat respon situs (loading speed), maka semakin banyak juga laman yang di-crawl. Jadi, percepat loading situs seperti dengan menggunakan theme yang SEO-friendly dan optimasi gambar.
Semakin “populer” suatu laman, akan semakin jadi prioritas untuk Googlebot untuk di-crawl. Jadi, jangan lupa optimasi internal link!
Arsitektur situs yang sederhana akan memudahkan pekerjaan Googlebot. Contohnya, laman yang prioritas untuk di-crawl disematkan pada homepage (laman dengan click depth rendah).
Googlebot mengalami kesulitan untuk menemukan orphan page karena laman tersebut tidak punya internal link atau external link yang mengarah ke situs tersebut.
Jadi, jika tidak ada backlink, setidaknya sematkan internal link. Jangan sampai ada orphan page.
Konten duplikat akan “membuang” crawl budget dan hal ini sudah dikonfirmasi oleh Google.
Solusinya, kita bisa menggunakan canonical tag untuk memberi tahu laman mana yang diprioritaskan untuk di-crawl dari konten yang mirip/duplikat.
Ingat bahwa redirect dapat memakan crawl budget. Jadi, jangan terlalu banyak, bahkan sampai ada chain redirect.
Kalau ada laman yang tidak ingin diindeks, jangan lupa untuk update sitemap dengan tidak memasukkan URL yang tidak mau diindeks pada sitemap tersebut.
Update sitemap ini harus dilakukan secara berkala.
Pada laman resmi Google, ada FAQ soal crawl budget. Berikut beberapa pertanyaan dan jawabannya.
Crawl rate yang meningkat bukan berarti ranking di SERP akan lebih baik. Banyak sinyal yang digunakan Google untuk menentukan ranking.
Embedded content dan alternate URL dihitung dalam crawl budget.
Mirip juga, redirect akan memakan crawl budget.
Aturan robots.txt dengan crawl-delay rule yang tidak standar tidak akan diproses Googlebot.
Tergantung. Kalau ada tautan nofollow yang mengarah ke suatu laman, tetapi ada laman lain yang mengarah ke lamannya dan tidak nofollow, maka crawl budget tetap terpakai.
URL yang tidak diizinkan tidak memengaruhi crawl budget.
Ketika situsmu semakin membesar dan produksi konten semakin banyak, sudah waktunya untuk memikirkan bagaimana cara memaksimalkan crawl budget.
Optimasikanlah sisi on-page dan technical situs agar crawl rate kita bisa lebih baik dan laman kita cepat terindeks dan ranking di SERP.
Happy optimizing!
Referensi:
https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot
https://backlinko.com/hub/seo/crawl-budget
https://developers.google.com/search/blog/2014/02/faceted-navigation-best-and-5-of-worst
https://support.google.com/webmasters/answer/48620
Ketika sedang ingin mengetahui siapa untuk ditanya atau rujukan bagi ilmu SEO, maka Anda bisa…
Membangun Minimum Viable Product (MVP) untuk SaaS membutuhkan infrastruktur server yang stabil sekaligus efisien dari…
Bridge dari Kebiasaan Membaca Personal Blog dan Konten Naratif Mendalam ke Pengalaman JRPG Modern: Mengapa…
Traffic website turun biasanya jadi alarm atau peringatan, terutama bagi pengurus website atau SEO specialist.…
Alhamdulillah, saya menjadi pemenang Pintu Blog competition. Artikelnya ada pada tautan ini. Semoga bisa jadi…
Terdapat berbagai jenis backlink, tidak sekedar tautan yang mengarah ke situs kita saja dalam bentuk…