İçeriğe geç
GEO ve AI görünürlüğüÜcretsiz

Robots.txt AI Tarayıcı Kontrolü

Alan adınızı yazın; robots.txt kurallarınızın her AI tarayıcısı için izin mi engel mi anlamına geldiğini, kararı hangi satırın verdiğini ve önerilen kuralları görün.

Alan adını ya da sayfanın tam adresini yazın.

Boş bırakırsanız yazdığınız adresin yolu, yalnızca alan adı yazdıysanız ana sayfa (/) kontrol edilir.

Sonuçlar burada görünecek.

Önerilen robots.txt kuralları

Tercihlerinizi seçin ve aşağıdaki kuralları robots.txt dosyanıza ekleyin. Bu tarayıcılar için zaten gruplarınız varsa önce onları kaldırın, çünkü aynı adı taşıyan gruplar birleştirilir.

Önerilen robots.txt kuralları

Sayfalarınızın AI yanıtlarında kaynak olarak gösterilebilmesi için bu tarayıcılara izin vermeniz gerekir. Engellemek bu ürünlerde alıntılanma olasılığını düşürür.

İzin vermek, içeriğinizin gelecekteki modellerin eğitiminde kullanılabileceği anlamına gelir. Engellemek bunu sınırlar ve sağlayıcıların belgelerine göre AI arama tarayıcılarını etkilemez. İki seçim de geçerlidir; içerik ve lisans politikanıza göre karar verin.

# AI arama ve kullanıcı isteği tarayıcıları
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Amazonbot
User-agent: DuckAssistBot
Allow: /

# Model eğitimi tarayıcıları ve kontrol jetonları
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Bytespider
Disallow: /

Googlebot, Bingbot, Applebot bu kurallara eklenmez; arama motoru tarayıcıları mevcut kurallarınıza uymaya devam eder.

Girdiğiniz adresi ve sonuçları kaydetmiyoruz.

Nasıl kullanılır?

  1. Alan adınızı ya da bir sayfanın adresini yazın; isterseniz ayrıca bir yol belirtin.

  2. Analiz et'e basın; robots.txt indirilir ve 18 tarayıcı için tek tek değerlendirilir.

  3. Tercihlerinizi seçin, önerilen kuralları kopyalayıp robots.txt dosyanıza ekleyin.

robots.txt AI tarayıcılarını nasıl yönetir?

robots.txt, sitenizin kök dizininde duran ve tarayıcılara hangi yolları okuyabileceklerini söyleyen düz metin dosyasıdır. Kurallar, User-agent satırlarıyla başlayan gruplar hâlinde yazılır. Bir tarayıcı önce kendi adını taşıyan grubu arar; bulamazsa yıldızlı (*) genel gruba uyar. Grup içinde yola uyan en uzun kural kazanır, eşitlikte Allow öne geçer.

Bu kurallar 2022'de RFC 9309 ile standart hâline geldi. Tanınmış tarayıcıların büyük kısmı standarda uyar; ancak robots.txt bir erişim kontrolü değil, bir ricadır. Kurallara uymayan istekleri durdurmak için sunucu ya da CDN tarafında ayrıca önlem almak gerekir. Bu araç Google'ın belgelediği yorumları da uygular: aynı tarayıcıyı anan gruplar birleştirilir ve 500 KiB'tan sonraki içerik yok sayılır.

Tarayıcı türleri: arama, kullanıcı isteği ve eğitim

Yapay zekâ şirketleri farklı işler için farklı tarayıcı adları kullanır. Doğru kararı verebilmek için bu ayrımı bilmek gerekir:

  • AI arama tarayıcıları: yapay zekâ arama ürünlerinin dizinini oluşturur ve yanıtlarda kaynak olarak gösterilmenizi mümkün kılar.
  • Kullanıcı isteği getiricileri: bir kullanıcı soru sorduğunda ya da bağlantı paylaştığında sayfayı o anda getirir. Bazı sağlayıcılar bu isteklerde robots.txt kurallarının uygulanmayabileceğini belirtir.
  • Model eğitimi tarayıcıları: içeriği gelecekteki modellerin eğitimi için toplar. Google ve Apple bu tercihi ayrı bir tarayıcıyla değil, robots.txt'te kullanılan kontrol jetonlarıyla yönetir.
  • Arama motoru tarayıcıları: klasik arama dizinini besler; Google AI Overviews gibi arama içi yapay zekâ özellikleri de bu dizine dayanır.

Engellemek mi, izin vermek mi?

Tek doğru cevap yoktur. İçeriğinizin yapay zekâ yanıtlarında kaynak olarak görünmesini istiyorsanız arama ve kullanıcı isteği tarayıcılarına izin vermeniz gerekir. Eğitim tarayıcıları ayrı bir karardır: izin vermek içeriğin gelecekteki modellerde kullanılmasına onay vermektir; engellemek bunu sınırlar ve sağlayıcıların belgelerine göre arama görünürlüğünü etkilemez.

Önerilen kurallar oluşturulurken bir ayrıntıya dikkat edilir: bir tarayıcı için kendi adıyla bir grup açtığınızda o tarayıcı genel (*) grubu okumayı bırakır. Bu yüzden araç, izin verdiğiniz gruplara mevcut genel kısıtlamalarınızı da kopyalar; böylece yönetim paneli gibi kapalı alanlar açığa çıkmaz. Kararınızı verdikten sonra kuralları dosyanıza ekleyin ve aracı yeniden çalıştırarak sonucu doğrulayın.

robots.txt dosyasına ulaşılamazsa ne olur?

Dosya 404 gibi bir 4xx kodu döndürüyorsa tarayıcılar hiçbir kısıtlama olmadığını varsayar ve sitenin tamamını tarayabilir. 5xx gibi sunucu hatalarında ise RFC 9309, sitenin tamamen yasak sayılmasını ister; Google da bu durumda taramayı geçici olarak durdurur. Araç bu iki durumu ayrı ayrı gösterir. robots.txt adresi düz metin yerine bir HTML sayfası döndürüyorsa kurallarınız büyük olasılıkla okunmuyordur; bu da raporda uyarı olarak çıkar.

Sık sorulan sorular

robots.txt ile ChatGPT'yi engelleyebilir miyim?

Kısmen. OpenAI eğitim, arama ve kullanıcı isteği için ayrı tarayıcı adları kullanır ve robots.txt'te her birini ayrı yönetebilirsiniz. Ancak OpenAI, kullanıcının başlattığı isteklerde robots.txt kurallarının uygulanmayabileceğini belirtir. Tam bir engel istiyorsanız sunucu ya da CDN tarafında ek kurallar gerekir, çünkü robots.txt bir erişim kontrolü değildir.

Google'ın yapay zekâ eğitim jetonunu engellersem aramada görünmez miyim?

Görünmeye devam edersiniz. Google'ın eğitim kontrol jetonu ayrı bir tarayıcı değildir; sayfalarınız yine Google'ın arama tarayıcısıyla taranır. Google'a göre bu jeton, sitenin arama sonuçlarına girmesini ya da sıralamasını etkilemez; yalnızca içeriğin Gemini modellerinde kullanımını yönetir. AI Overviews ise arama dizinine dayandığı için arama yönergeleriyle yönetilir.

robots.txt dosyam yoksa ne olur?

Dosya yoksa ve sunucu 404 döndürüyorsa tüm tarayıcılar sitenin tamamını tarayabilir; bu bir hata değildir. Yine de bir robots.txt yayınlamak, site haritanızı bildirmenin ve yönetim paneli gibi alanları kapatmanın kolay bir yoludur. Önemli olan adresin 5xx hatası vermemesidir; aksi hâlde tarayıcılar siteyi tamamen yasak sayabilir.

Kuralları değiştirdikten sonra ne zaman etkili olur?

Hemen değil, çünkü tarayıcılar robots.txt dosyasını önbelleğe alır. Google dosyayı genellikle 24 saate kadar önbellekte tutar; diğer sağlayıcıların süreleri farklı olabilir. Bu araç ise dosyayı her kontrolde canlı indirir, yani değişikliğinizi hemen doğrulayabilirsiniz. Tarayıcıların yeni kurallara uyması için biraz zaman tanıyın.

Bir tarayıcı neden kendi kuralı yerine genel gruba göre değerlendiriliyor?

Çünkü robots.txt'te o tarayıcının adını taşıyan bir grup yok. Bu durumda tarayıcı yıldızlı (*) genel gruba uyar ve tablodaki “Genel (*) grup” etiketi bunu gösterir. Tersine, bir tarayıcıya kendi adıyla grup açtığınızda genel gruptaki kuralları artık okumaz; bu yüzden önemli kısıtlamaları o gruba da yazmanız gerekir.

Sonraki adım

Bulguları sitenizde birlikte düzeltelim

Araçlar nerede eksik olduğunu gösterir; düzeltmeyi sitenize uygulamak ayrı bir iş. SEO, GEO ve yapay zekâ entegrasyonu için ekibimizle ücretsiz ön görüşme yapın.