llms.txt nedir, robots.txt'den farkı ne?
llms.txt, bir sitenin kök dizininde yayımlanan ve büyük dil modelleriyle çalışan araçlara sitenin ne olduğunu, hangi sayfalarının önemli olduğunu anlatan bir Markdown dosyasıdır. Biçim, Eylül 2024'te Jeremy Howard tarafından llmstxt.org üzerinde önerildi. Resmî bir web standardı değil; topluluğun benimsediği açık bir öneridir.
Dosyanın çözmeye çalıştığı sorun basit: bir yapay zekâ asistanı sitenizi okurken menüler, betikler ve tekrar eden şablon metinleri arasından asıl bilgiyi ayıklamak zorunda kalır, bir seferde okuyabileceği metin miktarı da sınırlıdır. llms.txt en değerli sayfaları kısa açıklamalarıyla tek bir yerde toplar.
robots.txt ise bir erişim dosyasıdır: tarayıcılara hangi yollara girip giremeyeceklerini söyler. sitemap.xml, arama motorlarına taranacak adreslerin tam listesini verir. llms.txt bu ikisinin yerini tutmaz; erişim izni vermez, engellemez ve tüm adresleri listelemeye çalışmaz. Onu seçilmiş ve açıklamalı bir içindekiler tablosu gibi düşünebilirsiniz.
llms.txt biçimi nasıl olmalı?
Öneri, dosyanın belirli bir sırayla yazılmasını ister. Bu araç taslağı aynı sıraya göre kurar ve sitenizde zaten bir dosya varsa onu da bu kurallara göre kontrol eder:
- Tek bir H1 başlığı: # Site adı. Biçimin zorunlu olan tek parçası budur.
- > ile başlayan kısa bir özet: sitenin kime ne sunduğunu bir iki cümleyle anlatır.
- İsteğe bağlı açıklama paragrafları; bu kısımda başlık kullanılmaz.
- ## ile başlayan bölümler ve her bölümde - [Sayfa adı](adres): açıklama biçiminde bağlantı satırları.
- Adı tam olarak Optional olan bir bölüm: kısa bağlam gerektiğinde atlanabilecek ikincil bağlantılar.
Bu araç taslağı nasıl hazırlar?
Taslak, sitenizin kendi yayımladığı sinyallerden üretilir; içerik uydurulmaz. Bağlantı başlıkları ve açıklamaları sayfalarınızın title ve meta description etiketlerinden gelir, siz de her satırı düzenleyebilirsiniz.
- Önce robots.txt dosyasındaki Sitemap satırlarına, bunlar yoksa /sitemap.xml adresine bakılır; site haritası dizinlerinde en çok beş alt harita izlenir. Ana sayfadaki iç bağlantılar da hesaba katılır.
- Site haritasından aynı siteye ait en çok 500 adres toplanır ve bunlardan en çok 60 sayfa seçilir. Kısa yollar ve ana sayfadan bağlantı verilen sayfalar önceliklidir.
- Çok dilli sitelerde ana sayfanın dilindeki sayfalar alınır. Görsel, besleme, sayfalama, etiket, arama ve sepet adresleri, robots.txt'de tüm tarayıcılara kapatılan yollar ve noindex işaretli sayfalar atlanır.
- Sayfalar adreslerinin ilk parçasına göre bölümlere ayrılır; gizlilik, çerez ve kullanım koşulları gibi sayfalar Optional bölümüne konur.
llms.txt görünürlüğü artırır mı?
Dürüst cevap: etkisi bugün sınırlı ve ölçmesi zor. Google, llms.txt'yi arama sıralamasında ya da yapay zekâ özetlerinde kullandığını açıklamadı; büyük yapay zekâ şirketlerinin tarayıcılarının dosyayı nasıl kullandığı da net değil. Dosya daha çok, bir kullanıcının ya da geliştiricinin bir yapay zekâ aracına sitenizi bağlam olarak verdiği durumlarda işe yarar.
Yine de hazırlaması az emek ister ve riski düşüktür. Hizmetleri, ürünleri ya da belgeleri çok sayfaya yayılmış sitelerde asistanların doğru sayfaya ulaşmasını kolaylaştırabilir. Asıl görünürlük ise hâlâ sunucuda işlenmiş, taranabilir HTML'ye, açık başlıklara ve doğru yapılandırılmış veriye bağlı; yapay zekâ tarayıcılarının genellikle JavaScript çalıştırmadığını da unutmayın.