Tarama Bütçesi (Crawl Budget) Nedir? Nasıl Hesaplanır?

Tarama bütçesi, Google botları tarafından belirlenen zaman diliminde web sitenizde taranan ve dizine eklenen sayfa sayısı olarak nitelendirilebilir. İngilizce karşılığı Crawl Budget olan tarama bütçesi kısaca arama motoru botlarının web sitenizi taramak için ayırdığı bütçedir. Arama motorları her zaman web sitesi maliyetlerini ve site sürelerini azaltma eğiliminde oluyor. Bu yüzden de sitenin otoritesini, içerik sayısını ve kalitesini dikkate alarak tarama bütçesine yer veriyor.

Arama motoru botları web sitenize geldiği zamanda öncelikle robots.txt dosyanızı bulmaya çalışır. Bu dosyayı bulduktan sonra dosyayı detaylı olarak tarar. Web sitenizde engellenen sayfalar, kategoriler, alt dizinler, komut ve stil dosyaları varsa istisna olacak şekilde bunları taramadan, bütçeniz dahilinde taranan tüm linklerde önemli ve değerli görülen web sayfaları index alıyor.

Tarama Bütçesi Neden Önemlidir?

Tarama bütçesi pek çok SEO uzmanı ve web sitesi sahibi tarafından dikkate alınmıyor. Ancak en basit şekilde belirtecek olursak Google tarafından index almayan bir web sitesi hiçbir şekilde organik ziyaretçi çekmez. Web sitenizde sayfa sayısı sitenin tarama bütçesinden fazlaysa dizine alınmayan sayfalar olabilir.

Web sitelerinin önemli bir bölümü tarama bütçesi konusunda sıkıntı yaşamaktadır. Google web sitelerindeki sayfaları ortaya çıkarma ve dizine ekleme konusunda çok gelişmiş bir algoritma ile çalışıyor.

Web sitenizde tarama olmazsa web site sayfalarınız index almaz, arama motorunda indexlenmeyen sayfalardan da organik ziyaretçi gelmez. Büyük bir web sitesine sahipseniz, yani 10 bin üzerinde sayfaya sahip bir e ticaret sitesi gibi bir siteniz varsa Google tüm sayfalarınızı bulamayabilir. Web sitenize yüzlerce sayfa eklediğinizde kısa süre içinde hepsi dizine alınmaz. Bu durumda tarama bütçeniz iyi olmalıdır. Web sitenizde çok sayıda yönlendirme varsa tarama bütçenizi olumsuz etkiler.

Tarama Bütçesi Nasıl Hesaplanır?

Web sitenizi içerik kalitesi, otoritesi, backlink kalitesi, sitenizin boyutu ve sayfa sayısı Google’ın web sitenize verdiği önemi belirliyor. Bu öneme göre Google botları web sitenizi daha sık tarıyor ve daha uzun süre size vakit ayırıyor. Belirli bir değerin altında tarama bütçeniz olursa sitenizde indeksler güncel olmaz ve sayfa değerleri de azalmaya başlar.

Tarama bütçesini hesaplarken şu adımları izleyin;

1. Adım: Öncelikle Google Search Console üzerinden Menü > Dizin > Kapsam adımlarını izleyin. Burada web sitenizde dizine eklenen, hariç bırakılan ve hatalı olan sayfaları göreceksiniz.

2. Adım: Ardıdan Google Search Console sol menüden > Ayarlar > Tarama ve Tarama İstatistikleri yolunu takip edin. Buradan web sitenizde günlük kaç tane sayfanın tarandığına bakın.

3. Adım: Son aşamada dizine eklenen toplam sayfa sayısını günlük taranan sayfa sayısına bölerek tarama bütçenizi bulun.

İzlediğiniz adımlarda 10 üzeri bir sonuç aldıysanız web sitenize yönelik detaylı bir optimizasyon yapmalısınız. Değer 3’ün altında olursa web sitenizin tarama bütçesi açısından hiçbir sorunu olmadığını anlamanız mümkün olacaktır.

Yukarıdaki örnekte toplam 140 geçerli sayfa bulunuyor. Ortalama olarak da günlük 190 civarı bir tarama isteği olduğu görünüyor. Buna göre 140/190 =0,73 sonuç alıyoruz. Bu sonuç 3’den küçük olduğu için tarama bütçemizde herhangi bir sorun olmadığını anlayabiliriz.

Tarama Bütçesi Optimizasyonu Nasıl Yapılır?

Web sitenizin tarama bütçesi düşükse tarama bütçesi optimizasyonu ile bu problemi çözebilirsiniz. Tarama bütçesi optimizasyonu yapmak için aşağıdaki adımları inceleyin;

1. Web Sitenizin Hızını Yükseltin

Web sitenizin açılma hızı arama motoru botlarının web site ve sayfaların verimli şekilde taranmasını ve kolayca dizine eklenmesini sağlar. Bu sayede web siteniz üzerinden daha fazla kişiye hitap edebilirsiniz. Web sitenizde site hız optimizasyonu için gerekli SEO stratejilerini uygulamalısınız.

Eğer WordPress alt yapısına sahip bir web siteniz varsa, web sitenizin hızını ve performansını yükseltmek için aşağıdaki makaleden performans optimize etme bölümünü inceleyebilirsiniz.

WordPress SEO Nasıl Yapılır? (En İyi SEO Eklentileri ve Ayarları)

2. Dizine Eklenmesini İstemediğiniz Sayfaları Belirleyin

Web sitenizde yasal uyarılar, veri gizliliği gibi bazı düşük kaliteli sayfalar, etiketler veya numaralandırılmış kopya sayfalar gereksiz tarama bütçesi kullanır. Bu sayfaların taranmaması adına bu tür sayfaları “noindex, nofollow” olarak etiketleyin. Web sitenizin değerini düşürecek sayfaların dizinde olmaması daha iyi olacaktır.

Robots.txt dosyası kullanarak admin giriş dizini veya arama terimi sorgularını engellemek tarama bütçesi optimizasyonu için faydalı olacaktır.

Aşağıdaki makalede örnek olarak optimize edilmiş robots.txt dosyasını kullanabilir ve web sitenizin ihtiyaçlarına göre özelleştirmeler yapabilirsiniz.

Robots.txt Dosyası Oluşturma

3. Sade ve Temiz Kodlama Tercih Edin

Web sitenizin tüm mimari yapısı arama motoru botları için önemlidir. Botların işi kodlarla olduğu için web sitenizin sade ve temiz kodlamaya sahip olması tarama bütçesi açısından daha verimli olacaktır. Web sitenizde kullanılmayan gereksiz kodlardan (HTML, JS, CSS gibi) kurtularak web sitenizi daha hızlı ve kaliteli hale getirin.

4. 404 Hatalarını Giderme Yoluna Gidin

Web sitenizde kırık bağlantı içeren sayfanın olması 404 kod hatası olarak tanımlanıyor. Arama motoru botları açısından 404 hataları olumsuz bir değerlendirme olur. Bu yüzden tarama bütçesi optimizasyonu yaparken 404 hatalarının mutlaka giderin. Kalıcı olarak sildiğiniz sayfaları 301 ile yönlendirin ya da 410 kodu ile silindiğini bildirin.

Web sitenizdeki kırık bağlantıları tespit etmek için aşağıdaki makaledeki ücretsiz SEO analiz araçlarından yararlanabilirsiniz.

En İyi 5 Ücretsiz SEO Analiz Aracı

Tarama bütçesini optimize ederken temelde teknik problemler ortadan kaldırılmalıdır. Web sitenizdeki kırık linkler, alakasız sayfa bağlantıları yönlendirmeler ile ortadan kaldırılmalıdır. Bunun dışında kaliteli web sitelerinden backlink alarak arama motoru botlarının web sitenize daha fazla gelmesini sağlayabilirsiniz.

Tarama Bütçesini Etkileyen Faktörler Nelerdir?

Tarama bütçeniz arama motoru tarafından belirlenirken dikkat edilen bazı noktalar oluyor. Bu noktalar tarama bütçenizi iyileştirmede sizlere yardımcı olacaktır. Tarama bütçesini etkileyen faktörler genel olarak şöyledir;

• Google Dizinde Toplam Sayfa Sayısı: Arama motoru botları her ziyarette sitenizi inceler. Site haritanız ve indeks alan sayfalar incelenir. Yeni bağlantılar varsa hemen arama sonuçlarına eklenir.
• Site Boyutu: Web sitenizin boyutu da önemlidir. Boyutu yüksek ve değeri olmayan bir sitede Google botları dosyalarınızı indirmeye vakit harcamaz.
• Site Hızı: Sitenizin hızı SEO açısından her zaman önemlidir. Sayfa açılış hızınız iyiyse kullanıcı deneyimi yanında Google botları için de olumlu bir durumdur. Sayfalarınız ne kadar hızlı açılırsa o kadar iyi index alır.
• Backlink Sayısı: Web sitenizde bulunan harici bağlantılar da ziyaret edilir. Ancak dış linklerinizin de kaliteli ve alakalı olmasına dikkat etmelisiniz.
• Hacklenen Sayfalar: Web sitenizde saldırıya uğrayan sayfalar varsa arama motoru botlarının web sitenize olan güveni sarsılabilir.
• Kopya İçerik: Web sitenizde kopya içerik varsa arama motoru botları web sitenizi daha az ziyaret etmeye başlar.
• Site İçi Linkleme: Web sitenizde kaliteli site içi linkleme varsa arama motoru botları site içinde diğer sayfaları da kolayca fark edecektir.

Günün sonunda tarama bütçesi nedir, nasıl hesaplanır makalemizin sonuna geldik. Tarama bütçesi konusunda merak ettiklerinizi yorum yaparak bize yazabilirsiniz.