Sunucu logları, arama motoru botlarının hangi URL’leri ne zaman istediğini ve sunucunun hangi yanıtı verdiğini doğrudan gösterir. Tarama aracının bulduğu teorik yapı ile botların gerçek davranışını karşılaştırmak için kullanılır.
Log kaydında ne bulunur?
İstek zamanı, URL, durum kodu, kullanıcı aracısı, IP, aktarılan veri ve yanıt süresi gibi bilgiler bulunabilir. Format sunucuya göre değişir. Analizden önce saat dilimi, alan adı ve döndürülen arşiv dosyaları netleştirilmelidir.
Gerçek botu doğrulama
Yalnız kullanıcı aracında Googlebot yazması güvenilir değildir. IP için ters ve ileri DNS doğrulaması yapılabilir. Sahte bot trafiği ayrılmadan hazırlanan rapor yanlış tarama sonuçları üretir.
En çok taranan URL’ler
Botların hangi klasör ve parametrelere zaman ayırdığı görülür. Filtre, dahili arama veya sonsuz takvim URL’leri yoğun taranıyorsa üretim ve iç link kaynağı bulunmalıdır. Yalnız robots.txt ile kapatmak her zaman yeterli çözüm değildir.
Az taranan önemli sayfalar
Sitemap’te bulunan fakat bot isteği almayan önemli sayfalar iç link, keşif ve kalite açısından incelenir. Yeni yayınların gecikmesi ile kalıcı mimari sorunu birbirinden ayrılır. Tek günlük log uzun dönem davranışını göstermez.
Durum kodları ve hız
Googlebot’a verilen 3xx, 4xx, 5xx ve 429 yanıtları çıkarılır. Bot isteklerinde yüksek yanıt süresi veya yoğun hata varsa sunucu ve güvenlik kuralları araştırılır. Kullanıcı trafiğiyle aynı zaman çizelgesi karşılaştırılabilir.
Tarama aracıyla birleştirme
Logda görülen URL’ler site taraması, sitemap ve Search Console listeleriyle eşleştirilir. Böylece yetim sayfalar, eski yönlendirmeler ve botun bulduğu istenmeyen alanlar ortaya çıkar.
Gizlilik ve saklama
IP ve istek yolları kişisel veya hassas bilgi içerebilir. Dosyalar yalnız gerekli kişilerle, sınırlı süre ve güvenli ortamda tutulmalıdır. Teknik analiz için teknik SEO sayfamıza bakabilirsiniz.
Sık yapılan hata
Birkaç saatlik log kaydından bütün tarama davranışı hakkında kesin sonuç çıkarmak ve sahte botları ayırmamak raporu yanıltır.