robots.txt nedir?

robots.txt, https://site.com/robots.txt adresinde yayınlanan bir metin dosyasıdır. User-agent satırlarıyla hangi bota hitap ettiğini, Disallow ve Allow satırlarıyla hangi yolların taranıp taranamayacağını belirtir. Sitemap: satırıyla site haritanın adresini de bildirebilirsin.

#Neden önemli

robots.txt taramayı kontrol eder, indekslemeyi değil. Botları yönetim paneli, sepet ya da sonsuz filtre kombinasyonları gibi değersiz yollardan uzak tutarak tarama bütçesini önemli sayfalara yönlendirir. Yanlış bir satır (ör. Disallow: /) ise tüm sitenin taranmasını durdurabilir. 2026'da AI botlarının (GPTBot, ClaudeBot, PerplexityBot vb.) siteye erişimi de büyük ölçüde bu dosyayla yönetiliyor.

#SEOAsist'te nerede görürsün

• Teknik Denetim taraması robots.txt kurallarına uyar; engellenen yolları taramaz. Dosyadaki Sitemap: satırlarını okuyup sayfaları oradan da keşfeder. Taramada beklenen sayfalar çıkmıyorsa Tarama sorunları makalesine bak.
• Siteler sayfasında siteyi açıp AI erişimi sekmesine geçersen canlı robots.txt okunur, AI tarayıcılarının izin durumu gösterilir ve robots.txt AI politikası kartında mevcut dosyanın sonuna eklenecek bir blok üretilir.
• SEO Analizi, robots.txt AI botlarını engelliyorsa bunu bulgu olarak gösterir.

#Örnek

User-agent: *
Disallow: /sepet/
Disallow: /arama?

User-agent: GPTBot
Allow: /

Sitemap: https://site.com/sitemap.xml

#Sık yapılan hatalar

• Bir sayfayı indeksten çıkarmak için robots.txt kullanmak; engellenen sayfa bağlantılarla yine de indekslenebilir. İndeksten çıkarmak için noindex kullan.
• CSS ve JavaScript dosyalarını engellemek; Google sayfayı doğru göremez.
• Test ortamındaki Disallow: / satırını canlıya taşımak.