Robots.txt, arama motoru tarayıcılarına hangi URL yollarını tarayıp taramayabileceklerini bildiren metin dosyasıdır. İndeks kaldırma aracı değildir; engellenen bir URL, dış bağlantılar nedeniyle içerik okunmadan yine arama sonuçlarında görünebilir.
Dosya nerede bulunur?
Alan adının kökünde /robots.txt adresinde yer alır. Alt klasördeki farklı dosya aynı alanı yönetmez. HTTP ve alt alan adları için ayrı dosyalar gerekebilir.
User-agent ve Disallow
User-agent kuralın hangi bota ait olduğunu, Disallow taranmayacak yolu belirtir. Küçük bir eğik çizgi hatası önemli klasörün tamamını kapatabilir.
Allow ne zaman kullanılır?
Engellenmiş geniş yol içindeki belirli alt kaynağa izin vermek için kullanılabilir. Kural eşleşmelerini canlı dosyada ve test aracında doğrulayın.
Sitemap satırı
XML sitemap adresi dosyada belirtilebilir. Bu satır indeks garantisi değildir; yalnız dosyanın keşfini kolaylaştırır.
Noindex farkı
Noindex etiketinin görülmesi için sayfanın taranabilmesi gerekir. Robots.txt ile engellenmiş sayfaya noindex eklemek çelişkili sonuç oluşturabilir.
Yayın öncesi kontrol
Test ortamındaki genel engelin canlıya taşınmadığını; CSS, JavaScript ve önemli sayfaların yanlışlıkla kapatılmadığını kontrol edin.
Teknik destek için teknik SEO sayfamıza göz atabilirsiniz.
Uygulama kontrol listesi
- Dosyanın 200 kodu verdiğini doğrulayın
- Canlı sitede genel engel bulunmadığını kontrol edin
- Önemli CSS ve JavaScript yollarını test edin
- Sitemap adresinin doğru olduğunu görün
- Kural eşleşmelerini örnek URL’lerle deneyin
- Değişiklik sonrası tarama verisini izleyin
Sık yapılan hata
Test ortamındaki Disallow kuralını canlıya taşımak, noindex yerine robots kullanmak ve görsel ya da script klasörlerini topluca kapatmak en ciddi hatalardandır.