Tarama bütçesi, Googlebot’un bir siteyi ne kadar ve ne sıklıkla tarayabileceğini anlatmak için kullanılan kavramdır. Küçük sitelerin çoğunda temel sorun bütçe değil; zayıf iç linkler, yanlış robots kuralları veya düşük değerli çok sayıda URL üretimidir.
Tarama kapasitesi ve talebi
Google, sunucuyu zorlamadan yapabileceği istek miktarını ve URL’leri yeniden tarama ihtiyacını değerlendirir. Sunucu sık hata veriyorsa tarama hızı düşebilir. Popüler ve sık değişen sayfalar daha fazla talep görebilir.
Search Console sabit bir günlük bütçe rakamı göstermez.
Hangi siteler için önemlidir?
Yüz binlerce ürün, filtre veya parametre URL’si bulunan büyük sitelerde kaynakların gereksiz adreslere harcanması önemli olabilir. Birkaç yüz sayfalık kurumsal sitede indeks sorununun nedeni çoğunlukla başka yerdedir.
Önce site büyüklüğü ve gerçek tarama verisini inceleyin.
Gereksiz URL’ler nasıl oluşur?
Filtre kombinasyonları, oturum parametreleri, sonsuz takvim, site içi arama ve yazdırma sayfaları sınırsız adres üretebilir. Aynı içeriğin farklı sıralama parametreleriyle açılması da taramayı büyütür.
URL üretiminin kaynağını şablon düzeyinde çözün.
Robots.txt yeterli mi?
Robots.txt taramayı engelleyebilir fakat URL’nin indeks dışında kalmasını garanti etmez. Google engellenen adresi başka bağlantılardan biliyorsa içerik olmadan indeksleyebilir.
Noindex görülmesi gerekiyorsa sayfanın taranabilir olması gerekir.
Sitemap nasıl yardımcı olur?
Sitemap yalnız indekslenmesini istediğiniz, 200 kodu veren canonical URL’leri içermelidir. Yönlendirme, 404, noindex ve parametreli kopyaları dosyadan çıkarın.
Son değişiklik tarihini yalnız içerik gerçekten güncellendiğinde yenileyin.
Sunucu günlükleri ne gösterir?
Log analizi Googlebot’un hangi URL’leri, ne zaman ve hangi durum koduyla istediğini gösterir. Tarama tahmin araçlarından farklı olarak sunucudaki gerçek isteği incelersiniz.
Bot doğrulamasını ters DNS veya güvenilir yöntemle yapın.
İyileştirmeye nereden başlanır?
5xx hatalarını, sonsuz URL alanlarını, yönlendirme zincirlerini ve bozuk iç linkleri düzeltin. Önemli sayfaları güçlü iç linklerle ulaşılabilir yapın ve güncel sitemap sunun.
Teknik inceleme için teknik SEO hizmetimize göz atabilirsiniz.