Süni intellekt (AI) tarayıcıları (botlar) nədir?

Süni intellekt tarayıcıları, AI şirkətlərinin veb-saytlara göndərdiyi botlardır. Onların hamısı eyni işi görmür; məqsədlərinə görə üç qrupa bölünürlər:

Google-Extended real bir bot deyil, robots.txt tokenidir: o, yalnız Gemini təlimindən imtina etməyə imkan verir. AI Overviews-da görünməyi Googlebot müəyyən edir. Bingbot-u bloklamaq sizi həm Bing axtarışından, həm də Copilot-dan kənarlaşdırır.

#Bu nə üçün vacibdir

• Səhv yazılmış tək bir robots.txt sətri sizi səssizcə AI axtarışından tamamilə çıxara bilər.
• Məzmununuzun təlim üçün istifadə olunmasını istəmirsinizsə, axtarış və assistent botlarını açıq saxlamaqla görünürlüyü itirmədən bunu edə bilərsiniz.

#SEOAsist-də bunu harada görürsünüz

Saytı Saytlar bölməsindən açın və AI keçidi tabına keçin:

• İndi yoxla canlı robots.txt faylını oxuyur və 20 AI tarayıcısı üçün İcazə verilib, Bloklanıb və ya Qismən qərarını göstərir. Piksel quraşdırıldıqda, Hitelər (28gün) sütunu botların real sorğularını sayır.
• robots.txt AI siyasəti kartında Açıq, Yalnız axtarış, Təlim yoxdur (tövsiyə olunur), Qapalı və ya Xüsusi hazır ayarlarından birini seçin. Genere olunan bloku kopyalayın və ya GitHub qoşulubsa, PR ilə tətbiq et düyməsi ilə əlavə edin.

Ətraflı: GEO: AI görünürlüyü.

#Nümunə

"Təlim yoxdur" ruhunda bir robots.txt bloku:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

#Tez-tez edilən səhvlər

• Bütün AI botlarını eyni anda bloklayıb hələ də AI axtarışında görünməyi gözləmək.
• Google-Extended-i bloklamağın sizi AI Overviews-dan çıxardığına inanmaq.
• User-agent: * qrupundakı geniş bir Disallow qaydasının AI botlarını da bağladığını unutmaq.