Mesele llms.txt Değil Yeğen!

💡 Hızlı Özet (TL;DR):
Ana fikir: llms.txt denenebilir bir teknik fikir; fakat sağlayıcılarca kabul edilmiş bir standart veya doğrulanmış bir AI Visibility kaldıracı değil.
Kendi deneyimim: Uygun bir sitede daha kapsamlı bir bilgi mimarisiyle denedim; öğretici bir deneydi ama görünürlük patlaması yaratmadı.
Eşik: Bir hipotez, koşulları, maliyeti ve sağlayıcı dokümanlarıyla ilişkisi açıklanmadan “hemen ekleyin” önerisine dönüşmemeli.

Yeni bir teknik kavram yeterince belirsizse, onu iki farklı biçimde ele almak mümkün. İlki: "İlginç bir fikir; nerede işe yarayıp yaramadığını deneyelim." İkincisi: "Bunu henüz yapmadıysanız geride kalıyorsunuz; hemen uygulamalısınız."

AI Visibility etrafında beni rahatsız eden şey, yeni bir fikrin ne kadar hızlı ikinci cümleye dönüştüğü. Sağlayıcının hangi üründe ne yaptığı belli olmadan; kabul edilmiş bir standart, açık bir mekanizma veya ölçülmüş bir sonuç yokken, fikir önce kesin bir reçeteye sonra da satılabilir bir hizmete çevriliyor.

Bir süre sonra gündem değişiyor ve aynı kalıp başka bir kısaltmaya taşınıyor. Bunu yapan insanların ne bildiğini tahmin etmeye de gerek yok. Bir teknik öneri, onu öneren kişinin özgüveninden değil; hangi ürün için, hangi koşulda ve hangi kanıtla işe yaradığı açıklanabildiğinde değer kazanır.

llms.txt bu döngünün iyi bir örneği. Konuşulmaya başladığında itirazım dosyanın varlığına değildi. Yeni bir biçim, yeni bir keşif yolu, yeni bir içerik temsil denemesi; bunların hiçbiri kendi başına kötü fikirler değil. İtirazım, henüz kabul edilmiş bir standart veya sağlayıcılardan doğrulanmış bir görünürlük mekanizması olmayan bir önerinin, çok kısa sürede “bunu hemen sitenize eklemelisiniz” cümlesine dönüşmesiydi.

Bu yüzden AI Visibility alanındaki her hype'a, her araca ve görünürlüğü ölçtüğünü ya da iyileştirdiğini vaat eden her teklife aynı şüpheyle yaklaşıyorum.

Bu, teorik bir itiraz değil. Uygun bir sitede llms.txtyi gerçekten denedim.

Bir dosyadan daha fazlasını yaptım

Kökte duran ve birkaç sayfaya işaret eden tek bir dosya koymadım. Birden çok knowledge hub için hiyerarşik bir bilgi mimarisi kurdum. İçerik sayfalarının Markdown ve JSON temsillerini ürettim; kök dosyadan bu kaynaklara, konuyu takip edecek birinin anlayabileceği bir düzenle bağlantı verdim.

Bu, sitedeki structured data çalışmalarına ek bir katmandı. Teknik olarak keyifliydi. Bir içerik sisteminin aynı bilgiyi insan okuyucuya, web tarayıcısına ve farklı araçlara nasıl sunduğunu düşünmek benim sevdiğim türden bir problem.

Ama kurarken kendime “şimdi AI Visibility patlayacak” demedim. Sorduğum daha dar sorulardı:

Bu tür kaynaklara gerçekten istek geliyor mu?
Geliyorsa, bilgi mimarisi bir sistemi içeriğin daha doğru yerine götürmeye yardımcı oluyor mu?
Markdown veya JSON gibi alternatif temsil biçimlerinin pratikte gözle görünür bir etkisi var mı?

Bu soruların her biri ayrı bir deneydir. Hepsini tek bir 200 OK yanıtına, tek bir dashboard dalgalanmasına veya bir aracın verdiği skora indirgemek mümkün değil.

Deneyin sonucu bir satış vaadi değildi

Kurulumdan sonra site kötüleşmedi. Ama AI görünürlüğünde “işte bu yüzden oldu” diyebileceğim bir patlama da görmedim.

Bu cümle, llms.txtnin hiçbir sitede, hiçbir koşulda hiçbir etkisi olamayacağını ispatlamıyor. Tek bir siteden evrensel mekanizma çıkarmak, baştan eleştirdiğim hatanın ters yönlüsü olurdu.

Fakat başka bir şeyi yeterince iyi gösterdi: Daha zengin bir dosya ve içerik mimarisi, tek başına doğrulanmış bir AI Visibility kaldıracı değildir.

Benim için deney yine de başarılıydı. Çünkü başarı yalnızca bir grafiğin yukarı gitmesi demek değil. Sistem hakkında daha iyi sorular sorabilmek, bir altyapının bakım maliyetini görmek ve bir sonraki kez hangi koşulda aynı yatırımı yapacağımı anlayabilmek de sonuçtur.

Bugün aynı kararı verirken şunu söylerim: İçerik altyapısı zaten Markdown veya JSON temsilini düşük ek maliyetle üretiyorsa, bu tür bir katman denenebilir. Sırf “AI artık bunu istiyor” beklentisiyle mevcut sistemin arkasına ayrı bir bilgi mimarisi inşa etmek için ise yeterli kanıt görmüyorum.

Bu, teknik meraka karşı bir argüman değil. Mühendislik deneyini, doğrulanmış pazarlama getirisi gibi satmaya karşı bir argüman.

Belgeler neden başlangıç noktası?

Google'ın algoritmasının bütün ayrıntılarını bilmiyoruz. Bunu Google da yayımlamıyor, zaten kimse de kaynak kodunu yayımlamasını beklemiyor.

Ama Google, site sahiplerine "Google Search için llms.txt kullanmıyoruz; bunun faydası veya zararı yok" diye açıkça yazıyorsa, tersini kesin bilgi gibi sunan kişinin daha güçlü bir kanıt göstermesi gerekir. Tartışmanın eşiği bu kadar basit.

Google'ın güncel generative AI Search rehberi bu konuda son derece açık: Google Search için llms.txt veya özel AI işaretlemesi kullanmıyor; dosyanın Google Search'te fayda veya zarar getirmediğini söylüyor. Aynı rehber, özel “chunking” uzunluğu veya ayrı bir AI schema'sı gibi reçeteleri de gerekli saymıyor. Google'ın generative AI Search rehberi

Bu, dosyayı bir deney veya organizasyon katmanı olarak kullanamayacağınız anlamına gelmiyor. Yalnızca Google Search açısından ona özel bir avantaj atfetmek istiyorsanız, bunun için Google'ın söylediklerinden daha iyi bir kanıt gerektiği anlamına geliyor.

Diğer sağlayıcıların belgeleri de “AI” sözcüğünün tek bir sistem olmadığını hatırlatıyor. OpenAI, ChatGPT Search yanıtlarında sitelerin gösterilmesi, model eğitimi ve kullanıcı isteğiyle erişim için farklı botlar tanımlıyor. OpenAI crawler belgeleri Perplexity de arama sonuçlarında siteleri göstermek için kullandığı botu, kullanıcı tarafından tetiklenen erişimden ayrı anlatıyor. Perplexity crawler belgeleri

Dolayısıyla “AI için bir dosya koydum” cümlesi, hangi şirketin hangi ürünü ve hangi akışı için konuştuğumuzu söylemeden fazla geniş kalıyor. Arama sonuçlarına dahil edilme, model eğitimi, grounding, kullanıcı isteğiyle yapılan bir getirme ve yanıt içinde citation olmak; aynı düğmeyle kontrol edilen aynı sonuç değiller.

Bu ayrımları yanlış kurduğumuzda, tek bir llms.txt dosyasına olması gerekenden büyük bir rol vermek çok kolaylaşıyor.

İyi bir deney ile kötü bir reçete arasındaki fark

Bir fikrin denenebilir olması, herkese önerilmesi gerektiği anlamına gelmez.

Kendi kurulumumda alternatif içerik temsilleri üretmek, mevcut mimariyle uyumluydu. Eğer iş birkaç şablon, bir build adımı veya zaten üretilen yapılandırılmış verinin başka bir temsiliyse, bunun maliyeti makul olabilir. Ayrıca bu dosyalar yalnızca AI için değil, gelecekteki bir dokümantasyon, API veya içerik işleme ihtiyacı için de yararlı hale gelebilir.

Ama başka bir sitede aynı iş; yeni bir yayın hattı, içerik senkronizasyonu, hata takibi, URL bakımı ve editoryal disiplin gerektirebilir. O noktada soru “dosyanın zararı var mı?” değildir. Soru şudur: Bu yatırım, AI Visibility dışında da anlamlı mı?

Eğer cevap hayırsa, öne sürülen fayda iddiası daha yüksek bir kanıt standardını hak eder.

Benim pratik karar ağacım bugün çok basit:

Bu alternatif temsil, mevcut bilgi mimarisinden düşük maliyetle doğal olarak çıkıyor mu?
AI sistemleri hiç kullanmasa bile, başka bir kullanıcı veya ürün için işe yarıyor mu?
İçerik güncellendiğinde bu kopyaları güvenilir biçimde güncel tutabilecek miyim?
Bir yıl sonra fayda görmezsem, bu yatırım yine de makul görünecek mi?

Bu soruların çoğuna evet diyorsam denerim. Cevapların çoğu hayırsa, llms.txtyi “rakipler yapıyor” diye önceliklendirmem.

Yarın başka bir kısaltma

Bu yazının meselesi llms.txtyi yasaklamak veya onunla uğraşan herkesi küçümsemek değil. Ben de yaptım; hatta sırf kökte duran dosyayla yetinmedim. Teknik olarak anlamlı bir şey denemekle, o şey hakkında gereğinden fazla kesin konuşmak arasındaki farkı vurgulamak istiyorum.

Bugün llms.txt, yarın başka bir dosya, schema türü, agent standardı veya metrik gündeme gelecek. Değişen aksesuarlar olacak; değişmemesi gereken şey ise öneriyi okuma biçimimiz.

AI Visibility hakkında biraz daha sakin konuşmak istiyorsak, her yeni taktik için aynı soruyu sormalıyız:

Bu, sağlayıcının belgelendirdiği bir davranış mı; metodolojisi açık bir araştırmanın gözlemi mi; yoksa henüz test edilmesi gereken bir hipotez mi?

İlk iki sorunun cevabı yoksa, bazen en doğru cevap “deneyelim”dir. Ama o deneyin sonucu çıkana kadar ona “olmazsa olmaz” dememek gerekir.

Mesela llms.txt değil yeğen. Mesele, kanıtın nerede bittiğini bilmek; o sınırın ötesindeki kesinliği de pazarlama cümlesi yerine hipotez olarak bırakmak.