robots.txt nədir?

robots.txt https://site.com/robots.txt ünvanında dərc olunan mətn faylıdır. User-agent sətirləri qaydanın hansı bota tətbiq edildiyini, Disallow və Allow sətirləri isə hansı keçidlərin skan edilib-edilməyəcəyini göstərir. Sitemap: sətri botları sayt xəritənizə yönəldə bilər.

#Bu nə üçün vacibdir

robots.txt indeksləməni deyil, skan etməni (crawling) idarə edir. Admin paneli, səbət və ya sonsuz filtr kombinasiyaları kimi aşağı dəyərli keçidləri botlardan gizlətməklə skan büdcəsini (crawl budget) daha vacib səhifələrə yönəldir. Yanlış yazılmış bir sətir (məsələn, Disallow: /) bütün saytın skan olunmasını dayandıra bilər. Süni intellekt botlarının (GPTBot, ClaudeBot, PerplexityBot və d.) girişi də böyük ölçüdə bu fayl vasitəsilə idarə olunur.

#SEOAsist-də harada görünür

• Health (Sağlamlıq) skanı robots.txt faylına riayət edir və bloklanmış keçidləri ötürür. O, həmçinin səhifələri aşkar etmək üçün faylın Sitemap: sətirlərini oxuyur. Gözlənilən səhifələr skanda görünmürsə, Crawl problems bölməsinə baxın.
• Sites səhifəsində saytı açın və AI access tabına keçin: canlı robots.txt oxunur, AI skanirlərinin icazə statusu göstərilir və robots.txt AI policy kartı mövcud faylınızın sonuna əlavə etmək üçün kod bloku yaradır.
• SEO Analizi robots.txt AI botlarını blokladıqda aşkar edilmiş məsələ qaldırır.

#Nümunə

User-agent: *
Disallow: /cart/
Disallow: /search?

User-agent: GPTBot
Allow: /

Sitemap: https://site.com/sitemap.xml

#Tez-tez edilən səhvlər

• Səhifəni indeksdən çıxarmaq üçün robots.txt-dən istifadə etmək; bloklanmış səhifə daxil olan keçidlər vasitəsilə hələ də indekslənə bilər. Bunun üçün noindex-dən istifadə edin.
• CSS və JavaScript fayllarını bloklamaq, nəticədə Google səhifəni düzgün vizuallaşdıra (render) bilmir.
• Test (staging) mühitindəki Disallow: / sətirini canlı (production) mühitə daşımaq.