LLM bir konunun uzmanını neye göre önerir?

Bir şirketin yeni ortaya çıkan AI Search alanında danışman aradığını düşünelim. Yönetici bir LLM'ye “Bu konuda Türkiye'deki önde gelen uzmanlar kim?” diye soruyor. Model üç isim, kısa gerekçeler ve birkaç kaynakla yanıt veriyor.

Bu liste araştırmaya başlamak için yararlı olabilir. Fakat modelin neyi ölçtüğünü bilmeden onu bir uzmanlık sıralaması gibi okumak riskli.

Model bu kişilerin projelerinde bulunmadı. İddialarını hangi koşullarda sınadıklarını, başarısız deneylerini veya verdikleri kararların sonuçlarını görmüş olmayabilir. Görebildiği şey büyük ölçüde internetteki izlerdir: yazılar, bağlantılar, atıflar, konferans programları, podcast'ler, şirket sayfaları, akademik yayınlar ve arama sonuçları.

Bu izler bazen gerçek uzmanlığı çok iyi temsil eder. Bazen de yalnızca kimin daha görünür olduğunu gösterir.

Bir LLM'nin önerisi tam burada dikkatle okunmalı. Sistem gerçekten uzmanlığı mı değerlendirdi, yoksa uzmanlığın internette görünen izlerini mi?

AI'ın gördüğü şey: internetteki kamusal izler

Bir dijital pazarlama ajansının yeni bir AI Search kavramını birkaç hafta içinde hizmet kategorisine dönüştürdüğünü düşünelim. Ajans peş peşe blog yazıları, sözlük maddeleri, webinarlar ve LinkedIn gönderileri yayımlıyor. Kavramı açıklarken kendi çerçevelerini de adlandırıyor.

Bu görüntü tek başına şüpheli değildir. Ajans gerçekten erken uzmanlaşmış olabilir. Yeni teknolojilerde yirmi yıllık deneyim beklemek zaten anlamsızdır. Yoğun içerik üretimi de araştırmanın ve saha bilgisini paylaşmanın doğal sonucu olabilir.

Aynı görüntü, henüz yeterince sınanmamış birkaç varsayım sürekli yeniden yazıldığında da oluşabilir. Birkaç ay sonra ajansın sayfaları ve yöneticileri arama sonuçlarında geniş yer kaplar. Başka siteler de bu kavramları kullanmaya başlar.

Dışarıdan bakıldığında iki olasılık birbirine benzeyebilir: Ajans alanın önde gelen uzmanlarından biri olmuştur ya da o konuda internetteki en büyük bilgi izlerinden birini oluşturmuştur.

Uzmanlık da bağlama bağlıdır. Bir kişi teknik mimariyi çok iyi bilirken ticari uygulamada sınırlı deneyime sahip olabilir. Bir ajansın bir sektörde çalışan yöntemi başka bir sektörde sınanmamış olabilir. Geçen yıl doğru olan ürün bilgisi bugün eskimiş olabilir.

İçerik uzmanlığın kanıtı olabilir. İçeriğin kendisi uzmanlık değildir. Ayrım, metin sayısından çok iddiaların nasıl üretildiğinde, sınandığında ve zaman içinde düzeltildiğinde ortaya çıkar.

AI aynı bilgiye her zaman aynı yoldan ulaşmıyor

Bir LLM bazen web'de arama yapmadan, eğitim sırasında öğrendiği örüntülerle cevap verir. Bazen de soruyu yanıtlamak için o anda internette arama yapar. Görünürlüğün etkisi bu iki durumda aynı değildir.

Web araması yoksa model, daha önce karşılaştığı kişi–konu ilişkilerine dayanır. Bir adın belirli bir kavramla farklı belgelerde sıkça birlikte geçmesi, bu ilişkinin hatırlanmasını kolaylaştırabilir. Fakat modelin bir ismi hatırlaması, o kişinin iddialarını sınadığı veya sonuçlarını değerlendirdiği anlamına gelmez.

Web araması varsa başka kararlar devreye girer. Önce hangi sayfaların bulunabildiği, sonra hangilerinin daha ilgili ve güvenilir göründüğü, ardından hangilerinin cevapta kullanılacağı belirlenir. Cevabın yanında kaynak gösterilmesi de ayrı bir seçimdir.

Arama motorları ve AI ürünleri içerik sayısının yanında alaka, bağlantılar, güncellik, özgünlük, kaynak itibarı ve spam işaretleri gibi birçok ölçüt kullanıyor. Aynı içeriği yüz kez çoğaltmak bu nedenle güvenilir bir kestirme yol değildir.

Yine de bu ölçütlerin tam ağırlıklarını bilmiyoruz. Sistemler aynı şekilde çalışmıyor ve zaman içinde değişiyor. Eğitim verisindeki tekrarı inceleyen bir araştırma, ChatGPT Search'ün bugün hangi sayfaları öne çıkaracağını söylemez. Google'ın organik arama sinyalleri de bir LLM'nin eğitim sırasında hangi kişi–konu ilişkisini öğrendiğini açıklamaz.

Bildiğimiz, tahmin ettiğimiz ve yalnızca duyduğumuz şeyler

Bir AI sisteminin “Bu kişi uzmandır” sonucuna nasıl vardığını gösteren açık bir formül yayımlanmış değil. Bu nedenle üç kanıt düzeyini ayırmak gerekiyor.

• Bilinen: Arama ve AI Search sistemleri erişebildikleri sayfaları alaka, kalite, itibar, özgünlük ve güncellik gibi ölçütlerle değerlendiriyor. Eğitim verisinde karşılaşılan bilgi de modelin daha sonra neyi hatırlayabildiğini etkiliyor. Kaynağın cevapta görünmesi ise doğruluk garantisi vermiyor.
• Makul çıkarım: Bağımsız üçüncü taraf referansları, yayın geçmişi, incelenebilir çalışmalar ve tutarlı kişi–konu ilişkileri bir uzman hakkında daha geniş bir kanıt yüzeyi oluşturabilir. Sistemlerin bunlara kişi tavsiyesinde ne kadar ağırlık verdiği açıklanmış değil.
• SEO/GEO spekülasyonu: LinkedIn gönderisi sayısı, konferans görünürlüğü, yazar şeması, Wikipedia kaydı veya sosyal medya takipçisi gibi tekil işaretlerin doğrudan bir “AI uzmanlık puanı” yükselttiği iddiaları için güçlü ve genel bir kanıt yok.

Bu işaretlerin hiçbiri bütünüyle değersiz değildir. Bağlantılar, yayınlar, konferanslar ve görünür bir çalışma geçmişi gerçek uzmanlığın izleri olabilir. Sorun, sistemin bu izleri üreten alttaki deneyimi her zaman görememesidir.

Görünürlük nasıl otoriteye dönüşebilir?

Hızlı değişen alanlarda sık rastlanan bir döngü var. Bunun kasıtlı olması gerekmiyor.

1. Yeni bir kavram ortaya çıkıyor ve eldeki kanıt henüz sınırlı oluyor.
2. Danışmanlar, ajanslar ve yazılım şirketleri kavramı hızla açıklamaya ve hizmetleştirmeye başlıyor.
3. İlk varsayımlar bloglarda, sosyal medya gönderilerinde ve webinar özetlerinde tekrar ediliyor.
4. Kaynağa uzanan bağ zayıflarken aynı iddia farklı sitelerde bağımsız bilgi gibi görünmeye başlıyor.
5. Arama ve AI Search sistemleri bu büyüyen içerik yüzeyinden kaynak seçiyor.
6. Üretilen cevaplar aynı anlatıyı yeni bir özet ve yeni atıflarla tekrar dolaşıma sokuyor.

Döngü her adımda kırılabilir. Arama motorları kopya ve düşük değerli içeriği bastırabilir. Güçlü birincil kaynaklar öne çıkabilir. Kullanıcı kaynakları açıp kanıtı inceleyebilir. Model başka sorgularla farklı kaynaklara ulaşabilir.

Bu nedenle çok içerik üretmenin otomatik olarak otorite yarattığını söyleyemeyiz. Daha dar sorun şu: Görünürlük, tekrar ve atıf birbirini beslediğinde henüz doğrulanmamış bir iddia olduğundan daha yerleşik görünebilir.

Yirmi kaynak tek iddiadan çıkabilir

Bir AI sistemi aynı görüşü paylaşan yirmi sayfa bulduğunda karşısında yirmi bağımsız gözlem olmayabilir. Sayfaların tamamı tek bir rapordan, basın bülteninden, konferans sunumundan veya blog yazısından türemiş olabilir.

Kaynak bağlantısı kopyalama sırasında kaybolursa ortak kök görünmez hâle gelir. AI ile üretilen özetler de aynı iddiayı farklı kelimelerle yeniden yazabilir. Sonunda arama sonuçlarında geniş bir uzlaşı varmış gibi görünür, fakat kanıt ailesi hâlâ tektir.

Bu problem AI'dan önce de vardı. Atıf ağları üzerine çalışmalar, başlangıçtaki bir hipotezin seçici alıntılar ve kaynaksız tekrar yoluyla zaman içinde olgu gibi anlatılabildiğini gösteriyor. İnsanlar da daha önce gördükleri bir ifadeyi daha tanıdık, dolayısıyla daha doğru bulmaya yatkın olabiliyor.

“Birçok kaynağa göre” ifadesi bu yüzden dikkatle okunmalı. Çok sayıda URL, çok sayıda bağımsız gözlem demek değildir. Bir AI sistemi kaynakların ortak kökünü izlemiyorsa, tekrar ile doğrulamayı birbirinden ayırmakta zorlanabilir.

İçerik üretmenin ekonomisi değişti

Bir kuruluşun yüzlerce blog yazısı, sözlük maddesi, FAQ, webinar özeti ve sosyal medya gönderisi üretmesi eskiden ciddi bir editoryal bütçe gerektiriyordu. Üretken AI, en azından düzgün metin üretme maliyetini belirgin biçimde düşürdü.

Bu gelişme içerik üretimini kötü yapmaz. Uzmanlar da araştırmalarını daha açık anlatmak, notlarını düzenlemek ve farklı okurlara ulaştırmak için aynı araçlardan yararlanabilir. Daha fazla kaliteli bilgi üretmek mümkün hâle gelebilir.

Fakat test edilmiş uzmanlık hâlâ zaman, saha erişimi, hata, ölçüm ve itibar riski gerektiriyor. Uzmanlık görüntüsü veren içeriklerin maliyeti bunlardan daha hızlı düşerse aradaki ekonomik fark açılır.

Arama motorları ölçekli, kopya veya düşük değerli içeriğe karşı filtreler geliştiriyor. Bu önlemler hacmin tek başına avantaj olmasını zorlaştırıyor. Kusursuz olmaları ise beklenemez. Özgün görünen yüzeysel içerikle gerçek birinci el bilgiyi ayırmak kolay bir sınıflandırma problemi değildir.

Daha dikkatli ifade şu: Bazı görünürlük sinyallerini üretmek ucuzluyor. Test edilmiş uzmanlığın maliyeti aynı hızda düşmeyebilir. Bu fark büyüdükçe, içerik miktarının ötesine bakmak daha gerekli hâle geliyor.

Gerçek uzmanlığı ayırmak için daha zor sorular

Bir kişiyi veya kurumu değerlendirirken görünürlüğü yok saymak gerekmiyor. Kamusal içerik inceleyebildiğimiz en değerli yüzeylerden biri. Fakat metin sayısından daha zor sorular sormak gerekir.

• İddiaları destekleyen özgün veri, test kaydı, ürün çıktısı veya gerçek bir vaka var mı?
• Kişi neyi bildiğini, neyi gözlediğini ve nerede tahmin yürüttüğünü ayırıyor mu?
• Bir iddianın hangi koşulda yanlış sayılacağı belli mi?
• Nelerin çalışmadığını ve yaklaşımın neden değiştiğini anlatıyor mu?
• Yeni veri geldiğinde eski iddiasını görünür biçimde düzeltiyor mu?
• Referanslar gerçekten bağımsız mı, yoksa aynı kaynağın türevleri mi?
• Sonuç, hangi bağlamda geçerli olduğunu anlayabileceğimiz kadar somut mu?

Gerçek uzmanlık çoğu zaman yalnızca ne yapılması gerektiğini bilmez. Neyin çalışmadığını ve neden çalışmadığını da bilir. Başarısızlığın mekanizmasını açıklamak, probleme uzaktan bakmaktan daha fazla temas gerektirir.

Bu ölçütler eski ve yerleşik isimleri otomatik olarak kayırmamalı. Yeni bir alanda yeni biri kısa sürede gerçek uzmanlık geliştirebilir. Belirleyici olan kıdem değil, iddianın nasıl sınandığı ve kanıtın ne kadar açık olduğudur.

AI sistemleri neyi daha iyi yapabilir?

Kusursuz bir uzmanlık puanı gerçekçi görünmüyor. Yine de bugünkü URL sayımından ve genel site itibarından daha iyi kontroller mümkün.

Sistemler önce kaynak sayısı yerine bağımsız kanıt ailelerini tahmin edebilir. Beş farklı alan adı aynı basın bültenini yeniden yazıyorsa bunu beş ayrı doğrulama gibi sunmamalı.

Bir iddia, mümkün olduğunca onu ilk kez ortaya koyan veya doğrudan ölçen kaynağa dayanmalı. Bir ürünün nasıl çalıştığını kendi belgesinden öğrenebiliriz. Ürünün gerçekten işe yarayıp yaramadığını değerlendirmek için ise bağımsız bir araştırmaya veya incelenebilir bir vakaya ihtiyaç duyarız. Kullanıcı, AI'ın verdiği cevaptaki her iddianın hangi kaynakta ve hangi bilgiyle desteklendiğini görebilmeli.

Zaman ve düzeltme geçmişi de değerlendirmeye katılabilir. Bir kişinin eski tahminleri nasıl sonuçlandı? Hatalarını düzeltti mi? Aynı iddiayı kanıt değiştiği hâlde sürdürdü mü?

Burada bir denge sorunu var. Geçmiş itibar ve atıf sayısı fazla önem kazanırsa zaten görünür olanlar daha da görünür olur. Yeni veya az temsil edilen uzmanlar, yeterince büyük bir internet izleri olmadığı için geride kalabilir.

Daha iyi bir sistem, tek bir otorite puanı vermek yerine kanıtın kökenini, bağımsızlığını ve sınırını gösterebilmeli. Emin olmadığında da bunu açıkça söylemeli: Bu kişi çok görünür, fakat uzmanlığına ilişkin bağımsız kanıt sınırlı.

Bir AI önerisini nasıl okumalıyız?

LLM'nin önerdiği kişi gerçekten çok iyi bir uzman olabilir. Model de bunu destekleyen doğru kaynakları bulmuş olabilir. Görünürlük ile uzmanlık birbirinin rakibi değildir. İyi işin kamusal izi çoğu zaman doğal biçimde büyür.

Yine de AI sistemi uzmanlığın kendisini doğrudan ölçmez. Daha önce öğrendiği ilişkilerden, ulaşabildiği sayfalardan, sıralama sistemlerinin öne çıkardığı kaynaklardan ve cevapta göstermeyi seçtiği atıflardan yararlanır. Bunların her biri uzmanlığa yaklaşan faydalı bir işaret olabilir. Her birinin ayrı bir hata payı vardır.

Bu nedenle AI önerisini bir karar değil, araştırmaya nereden başlanacağını gösteren bir keşif sinyali olarak okumak daha sağlıklı. Sonraki adım kaynakları açmak, ortak köklerini izlemek, bağımsız kanıtı aramak ve geçmiş performansa bakmaktır.

Geriye iki soru kalıyor.

Bir AI bana birini uzman olarak önerdiğinde gerçekten onun uzmanlığını mı ölçtü, yoksa internette bıraktığı izin büyüklüğünü mü?

İnternette yeterince büyük bir uzmanlık görüntüsü üretmek, gerçek uzmanlık üretmekten daha ucuz hâle gelirse bu ayrımı kim, nasıl koruyacak?

Yararlı okumalar

• Epistemic authority in the digital public sphere: Van der Linden ve arkadaşları, gerçekten bilgi sahibi olmakla otorite olarak algılanmak ve kendini otorite olarak sunmak arasındaki farkı inceliyor.
• Large Language Models Struggle to Learn Long-Tail Knowledge: Kandpal ve arkadaşları, bir bilgi eğitim verisinde daha geniş yer bulduğunda modelin onu daha kolay hatırlayabildiğini gösteriyor. Çalışma uzman tavsiyelerini ölçmüyor.
• Deduplicating Training Data Makes Language Models Better: Lee ve arkadaşları, kopya veriyi ayıklamanın ezberlenmiş metin üretimini azaltabildiğini gösteriyor.
• Characterizing Web Search in the Age of Generative AI: Kirsten ve arkadaşları, üretken arama sistemlerinin kaynak kullanımı ve sonuç kararlılığı bakımından aynı şekilde çalışmadığını ortaya koyuyor.
• Evaluating Verifiability in Generative Search Engines: Liu, Zhang ve Liang, kaynak göstermenin her cümlenin gerçekten desteklendiği anlamına gelmediğini inceliyor.
• Assessing Web Search Credibility and Response Groundedness in Chat Assistants: Vykopal ve arkadaşları, farklı AI asistanlarının kaynak güvenilirliği konusunda belirgin biçimde ayrışabildiğini gösteriyor.
• How citation distortions create unfounded authority: Greenberg, tek bir iddianın atıf ve tekrar yoluyla olduğundan daha güçlü bir uzlaşı görüntüsü kazanabildiğini ayrıntılı bir vaka üzerinden gösteriyor.
• The truth about the truth: Dechêne ve arkadaşlarının meta-analizi, tekrarın insanların doğruluk değerlendirmesini nasıl etkileyebildiğini ele alıyor.
• Online searches to evaluate misinformation can increase its perceived veracity: Aslett ve arkadaşları, düşük kaliteli destekleyici sonuçlarla karşılaşmanın bazı yanlış iddialara inancı artırabildiğini gösteriyor.
• Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence: Noy ve Zhang, üretken AI'ın belirli profesyonel yazma görevlerinde süreyi azaltıp çıktı kalitesini artırabildiğini ölçüyor.
• Experts: Which Ones Should You Trust?: Alvin Goldman, uzmanları değerlendirirken argüman kalitesi, bağımsız uzlaşı, çıkarlar ve geçmiş performans gibi kanıt türlerini birlikte ele alıyor.
• Google'ın AI özellikleri açıklaması, Bing'in arama sonuçlarını nasıl sıraladığı ve ChatGPT Search açıklaması: Sağlayıcıların kendi belgeleri, arama ve AI Search sistemlerinde hangi mekanizmaları açıkça doğruladığını, hangilerini açıklamadığını görmek için yararlı başlangıç kaynaklarıdır.
• Google'ın ölçekli içerik kötüye kullanımı politikası: Çok sayıda sayfa üretmenin, kullanılan araçtan bağımsız olarak, kullanıcıya değer katmadığında neden spam sayılabildiğini açıklıyor.