Crawl Budget – “Budget” yang harus Diatur SEO Specialist

Kalau kamu punya situs dengan jumlah laman yang sangat banyak, maka kamu harus mulai memikirkan crawl budget agar ada prioritas laman mana saja yang harus terindeks oleh Google dan mana yang tidak.

Seperti pengusaha yang harus hati-hati dalam mengelola budget pada perusahaannya. Seorang SEO specialist juga harus “memperhitungkan” crawl budget agar situsnya bisa teroptimasi dengan baik.

Apa Itu Crawl Budget?

Crawl budget adalah jumlah laman yang Googlebot crawl dan indeks dalam periode tertentu. Contohnya, suatu Googlebot bisa mengindeks 10 laman dalam 1 menit.

Mengapa Crawl Budget Penting?

Ingat bahwa cara kerja search engine adalah crawling, indexing, dan ranking. Jika suatu laman tidak terindeks, maka jangan harap akan ke fase selanjutnya, yaitu ranking.

Crawl budget penting agar suatu laman yang merupakan money page atau laman utama yang prioritas untuk ranking cepat terindeks oleh Googlebot.

Kapan harus Mulai Memikirkan Crawl Budget?

Kalau situsnya masih punya sedikit laman, tidak perlu terlalu memikirkan crawl budget.

Beberapa kondisi yang mulai diharuskan untuk memikirkan crawl budget adalah:

• Laman pada situs semakin banyak, contohnya 10000 laman (biasanya situs e-commerce)
• Baru menambah banyak laman dalam waktu berdekatan, contohnya upload 50 laman(konten) dalam waktu sejam
• Banyak laman yang redirect
• Terjadi index bloating

Crawl Rate 

Google pernah membahas crawl budget di situs resmi mereka. Mereka mengatakan bahwa ada crawl rate limit atau dengan kata lain kecepatan maksimal dari crawling.

Hal ini dipengaruhi oleh dua faktor, yaitu:

a. Crawl Health

Semakin cepat respon situs, semakin besar juga crawl rate limit-nya. Sementara kebalikannya, ketika lamannya error atau lemot, Googlebot akan crawling lebih sedikit.

b. Membatasi Crawl Rate

Faktanya, kita bisa membatasi crawl rate situs kita dengan Google Search Console.

Caranya bisa kamu akses di laman ini.

Crawl Demand

Kalau pun crawl rate tidak mencapai batas, ada faktor lain, yaitu crawl demand.

Kalau tidak ada permintaan untuk indeks, maka Googlebot akan bekerja lebih sedikit.

Faktor yang memengaruhi crawl demand adalah:

a. Popularitas

URL yang populer di internet akan lebih sering di-crawl.

b. Staleness

Sistem dari Google akan mencegah suatu URL agar tidak “basi”.

Faktor yang Memengaruhi Crawl Budget

Dikutip dari laman resmi Google, URL yang low value bisa memengaruhi crawling dan indexing secara negatif.

Beberapa kategori low value URL adalah (berdasarkan signifikansi):

• Faceted navigation dan session identifier
• On-site duplicate content
• Soft error pages
• Laman yang dihack
• Infinite spaces dan proxy
• Konten tidak berkualitas atau spam

Bagaimana Cara Mengoptimasi Crawl Budget?

a. Mempercepat Loading Speed Situs

Google menyatakan bahwa semakin cepat respon situs (loading speed), maka semakin banyak juga laman yang di-crawl. Jadi, percepat loading situs seperti dengan menggunakan theme yang SEO-friendly dan optimasi gambar.

b. Optimasi Internal Link

Semakin “populer” suatu laman, akan semakin jadi prioritas untuk Googlebot untuk di-crawl. Jadi, jangan lupa optimasi internal link!

c. Arsitektur Situs yang Sederhana

Arsitektur situs yang sederhana akan memudahkan pekerjaan Googlebot. Contohnya, laman yang prioritas untuk di-crawl disematkan pada homepage (laman dengan click depth rendah).

d. Cegah Adanya Orphan Page

Googlebot mengalami kesulitan untuk menemukan orphan page karena laman tersebut tidak punya internal link atau external link yang mengarah ke situs tersebut.

Jadi, jika tidak ada backlink, setidaknya sematkan internal link. Jangan sampai ada orphan page.

e. Tidak Ada Konten Duplikat

Konten duplikat akan “membuang” crawl budget dan hal ini sudah dikonfirmasi oleh Google.

Solusinya, kita bisa menggunakan canonical tag untuk memberi tahu laman mana yang diprioritaskan untuk di-crawl dari konten yang mirip/duplikat.

f. Hindari Redirect Terlalu Banyak

Ingat bahwa redirect dapat memakan crawl budget. Jadi, jangan terlalu banyak, bahkan sampai ada chain redirect.

g. Update Sitemap

Kalau ada laman yang tidak ingin diindeks, jangan lupa untuk update sitemap dengan tidak memasukkan URL yang tidak mau diindeks pada sitemap tersebut.

Update sitemap ini harus dilakukan secara berkala.

FAQ (Frequently Asked Question) pada Crawl Budget

Pada laman resmi Google, ada FAQ soal crawl budget. Berikut beberapa pertanyaan dan jawabannya.

a. Apakah Crawl Budget Merupakan Ranking Factor?

Crawl rate yang meningkat bukan berarti ranking di SERP akan lebih baik. Banyak sinyal yang digunakan Google untuk menentukan ranking.

b. Apakah Konten yang Di-Embed dan Alternate URL Dihitung pada Crawl Budget?

Embedded content dan alternate URL dihitung dalam crawl budget.

Mirip juga, redirect akan memakan crawl budget.

c. Bisakah Kita Mengontrol Googlebot dengan crawl-delay?

Aturan robots.txt dengan crawl-delay rule yang tidak standar tidak akan diproses Googlebot.

d. Apakah Nofollow Link Memengaruhi Crawl Budget?

Tergantung. Kalau ada tautan nofollow yang mengarah ke suatu laman, tetapi ada laman lain yang mengarah ke lamannya dan tidak nofollow, maka crawl budget tetap terpakai.

e. Apakah URL yang Di-Disallowed dengan Robots.Txt Memengaruhi Crawl Budget?

URL yang tidak diizinkan tidak memengaruhi crawl budget.

Optimalkan Crawl Budget untuk SEO Situs yang lebih Baik!

Ketika situsmu semakin membesar dan produksi konten semakin banyak, sudah waktunya untuk memikirkan bagaimana cara memaksimalkan crawl budget.

Optimasikanlah sisi on-page dan technical situs agar crawl rate kita bisa lebih baik dan laman kita cepat terindeks dan ranking di SERP.

Happy optimizing!

Referensi:

https://developers.google.com/search/blog/2017/01/what-crawl-budget-means-for-googlebot

https://backlinko.com/hub/seo/crawl-budget

https://developers.google.com/search/blog/2014/02/faceted-navigation-best-and-5-of-worst

https://support.google.com/webmasters/answer/48620

Author