AI tarayıcıları (botları) nedir?

AI tarayıcıları, AI şirketlerinin sitelere gönderdiği botlardır. Hepsi aynı işi yapmaz; amaçlarına göre üç gruba ayrılır:

Google-Extended gerçek bir bot değil, bir robots.txt belirtecidir: yalnızca Gemini eğitimini kapatır. AI Overviews'da görünmeyi Googlebot belirler. Bingbot'u engellemek ise hem Bing aramasından hem Copilot'tan çıkmak demektir.

#Neden önemli

• Yanlış bir robots.txt satırı, farkında olmadan seni AI aramalarından tamamen çıkarabilir.
• Eğitime izin vermek istemiyorsan, arama ve asistan botlarını açık bırakarak bunu görünürlüğü kaybetmeden yapabilirsin.

#SEOAsist'te nerede görürsün

Siteler sayfasından siteyi açıp AI erişimi sekmesine geç:

• Kontrol et, canlı robots.txt'yi okur ve 20 AI tarayıcısı için İzinli, Engelli veya Kısmi kararını gösterir. Pixel kuruluysa Ziyaret (28g) sütunu botların gerçek isteklerini sayar.
• robots.txt AI politikası kartında Açık, Yalnızca arama, Eğitim yok (önerilen), Kapalı veya Özel ön ayarını seçersin. Üretilen blok kopyalanabilir ya da GitHub bağlıysa PR ile uygula ile eklenir.

Ayrıntılar: GEO: AI görünürlüğü.

#Örnek

"Eğitim yok" mantığında bir robots.txt bloğu:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

#Sık yapılan hatalar

• Tüm AI botlarını tek seferde engelleyip AI aramada görünmeyi beklemek.
• Google-Extended'ı engelleyince AI Overviews'dan çıkacağını sanmak.
• User-agent: * grubundaki geniş bir Disallow kuralının AI botlarını da kapattığını unutmak.