Googlebot, Google’ın web sayfalarını keşfetmek ve arama dizini için incelemek amacıyla kullandığı tarayıcıların genel adıdır. URL’nin Googlebot tarafından ziyaret edilmesi, sayfanın mutlaka indeksleneceği veya üst sıralarda yer alacağı anlamına gelmez.
URL’leri nasıl keşfeder?
Googlebot site içi bağlantılar, XML sitemap ve dış bağlantılar üzerinden yeni adresler bulabilir. Önemli sayfalar yalnız sitemap’e bırakılmamalı; kategori, hizmet veya ilgili rehberlerden gerçek href bağlantıları almalıdır.
Tarama izinleri
Bot önce robots.txt kurallarını değerlendirir. Engellenmeyen URL’yi ziyaret ettiğinde durum kodu, HTML ve bağlantıları görür. Robots.txt indeks kaldırma yöntemi değildir; arama sonucundan çıkarılacak sayfa için uygun etiket veya durum kodu seçilmelidir.
Render aşaması
JavaScript kullanan sayfalar daha sonra işlenebilir. Ana içerik, title, canonical ve bağlantılar yalnız script çalışınca oluşuyorsa render sonucu test edilmelidir. Engellenen kaynaklar veya API hataları eksik sayfaya yol açabilir.
Mobil tarayıcı
Google ağırlıklı olarak sitenin mobil sürümünü değerlendirir. Mobil sayfada içerik, yapılandırılmış veri veya bağlantılar eksikse masaüstü sürümün güçlü olması yeterli olmayabilir. Responsive tasarım gerçek cihazlarda kontrol edilir.
Tarama sıklığı
Sitenin büyüklüğü, güncellenme hızı, sunucu yanıtları ve URL kalitesi tarama davranışını etkileyebilir. Googlebot’u sürekli URL göndererek zorlamak yerine temiz mimari ve doğru sunucu yanıtları sağlanmalıdır.
Bot doğrulama
Sunucu loglarında yalnız user-agent adına bakarak botun gerçek olduğu kabul edilmez. Ters DNS ve Google’ın önerdiği doğrulama yöntemi kullanılabilir. Sahte botlar güvenlik kuralını aşmamalıdır.
Nasıl izlenir?
Search Console tarama istatistikleri, URL Denetleme ve sunucu logları birlikte kullanılır. Teknik inceleme için teknik SEO sayfamıza bakabilirsiniz.
Sık yapılan hata
Googlebot sayfayı gördü diye indeks ve sıra sorununun çözüldüğünü düşünmek yanlıştır. Tarama, render, indeksleme ve sıralama ayrı aşamalardır.