robots.txt AI tarayıcılarını nasıl yönetir?
robots.txt, sitenizin kök dizininde duran ve tarayıcılara hangi yolları okuyabileceklerini söyleyen düz metin dosyasıdır. Kurallar, User-agent satırlarıyla başlayan gruplar hâlinde yazılır. Bir tarayıcı önce kendi adını taşıyan grubu arar; bulamazsa yıldızlı (*) genel gruba uyar. Grup içinde yola uyan en uzun kural kazanır, eşitlikte Allow öne geçer.
Bu kurallar 2022'de RFC 9309 ile standart hâline geldi. Tanınmış tarayıcıların büyük kısmı standarda uyar; ancak robots.txt bir erişim kontrolü değil, bir ricadır. Kurallara uymayan istekleri durdurmak için sunucu ya da CDN tarafında ayrıca önlem almak gerekir. Bu araç Google'ın belgelediği yorumları da uygular: aynı tarayıcıyı anan gruplar birleştirilir ve 500 KiB'tan sonraki içerik yok sayılır.
