Yapay Zekâ Sisteminiz Gerçekten Sonuç Üretiyor mu?

💡 Özet: Ana Çıkarımlar

• Model çıktısı, sistemin izlediği yol, tamamlanan iş ve işletme etkisi ayrı ayrı ölçülmelidir. Tek bir başarı oranı bu farkları kolayca gizler.
• Çalışma kaydı hatanın nedenini gösterir. İşlemin sonucunu ise değişikliğin yaşadığı sistem kanıtlar. Aracın başarılı cevap vermesi, işin gerçekten tamamlandığı anlamına gelmez.
• Ölçüm düzeni sistemin etkisi ve hata maliyetiyle birlikte büyümelidir. Başarı tanımını modelden önce yazmak, kolayca bulunan rakamların sonradan hedefe dönüşmesini önler.

Camiler.org için Diyanet verilerini, Google Haritalar ve OpenAI API'lerini kullanan bir içerik sistemi kurmuştum. Sistem binlerce cami sayfası hazırlayıp yayımladı. Site birkaç ay içinde Google'da ayda yaklaşık bir milyon gösterime ve 10 binden fazla tıklamaya ulaştı.

Elde ettiğim gelir sıfırdı.

İçerik üretim hattını ölçersem sistem çalışmıştı. Arama görünürlüğünü ölçersem yine başarılıydı. Kurmak istediğim işi gelir üzerinden değerlendirirsem başarısızdı.

Bu programatik SEO deneyinin ayrıntılarını daha önce yazmıştım. Burada ilgilendiğim nokta başka: Aynı sisteme bakıp, ölçtüğünüz yere göre üç farklı başarı hikâyesi anlatabilirsiniz.

Yapay zekâ sistemlerinde bu hata daha kolay yapılıyor. Model güzel cevap veriyor, araç çağrıları hatasız görünüyor ve işlem sayısı yükseliyor. Dashboard yeşile dönüyor. Fakat müşterinin işi gerçekten tamamlandı mı, süreç iyileşti mi veya şirket beklediği sonucu aldı mı bilmiyoruz.

Başarı dediğiniz şey hangi kayıtta görünüyor?

Bir yapay zekâ sistemini değerlendirirken birbirine yakın görünen dört ayrı soruyla karşılaşıyoruz:

Bu dört soru aynı anda sorulabilir. Ancak cevapları aynı yerde bulunmaz.

Bir test seti modelin iade talebini doğru anlayıp anlamadığını gösterebilir. Log, doğru aracın çağrıldığını gösterir. Ödeme sistemindeki kayıt, iadenin gerçekten oluştuğunu doğrular. İlk temasta çözüm oranı ve tekrar iletişim ise müşterinin sorununun çözülüp çözülmediğini anlatır.

Tek bir “başarı oranı” bunların arasındaki farkı kolayca saklar.

Çalışma kaydı hatayı buldurur

Bir yapay zekâ sistemi bazen tek cevap üretmez. Bilgi arar, bir aracı çağırır, sonucu okur ve sonraki adıma geçer. Bu sırada izlediği yolun kaydına genellikle trace deniyor.

Bu kayıt çok değerlidir. Model yanlış kaynağı mı kullandı, gereksiz yere aynı aracı mı çağırdı, insan onayını mı atladı, yoksa bağlantı hatasından sonra yanlış biçimde mi devam etti görebilirsiniz.

Fakat çalışma kaydı, sonucun kendisi değildir.

Anthropic'in agent değerlendirme rehberi, bu ayrımı uçuş rezervasyonu örneğiyle anlatıyor. Sistemin “Uçuşunuz ayırtıldı” demesi yerine, rezervasyonun veritabanında gerçekten oluşup oluşmadığına bakılıyor. İzlenen adımlar hatanın nedenini açıklar. Son durumu ise işlemin yaşadığı sistem kanıtlar.

Bu nedenle log'ları iş sonucu gibi okumamak gerekir. Bir e-posta gönderme aracı hatasız çalışmış olabilir. Mesaj yanlış alıcıya gittiyse sistem teknik olarak çalışmış, iş açısından hata yapmıştır. Doğru alıcıya teslim edilmesi de satış fırsatının ilerlediğini göstermez.

İşlemi, değişikliğin yaşadığı sistemden doğrulayın

Bir müşteri destek sistemi doğru iade aracını seçip doğru alanları doldurabilir. Araç “başarılı” cevabı da verebilir. Yine de ödeme sistemindeki işlem beklemede kalmış, sonradan reddedilmiş veya aynı talep iki kez çalışmış olabilir.

Bu durumda kontrol edilmesi gereken yer modelin cevabı değil, ödemenin güncel kaydıdır. Çalışan erişiminde kimlik sistemi, satın alma emrinde ERP, teslimatta kargo veya sipariş sistemi aynı rolü üstlenir.

Yapay zekâya verilecek yetkiyi ele aldığım yazıda, modelin işlem önermesiyle şirket adına o işlemi yapabilmesini ayırmıştım. Ölçüm tarafındaki devamı şudur: İşlemi yapmakla, işlemin sonucunu doğrulamak da ayrı sorumluluklardır.

Bazı sonuçlar hemen belli olmaz. Sistem talebi kabul eder, fakat iş arka planda devam eder. Böyle bir durumda “beklemede” veya “sonuç bilinmiyor” demek, erken verilmiş bir başarı mesajından daha doğrudur.

Tamamlanan işin işletmeye etkisi ayrıca ölçülür

İade kaydının oluşması gerçek bir sonuçtur. Fakat şirketin müşteri destek sistemini neden değiştirdiğini henüz söylemez.

Amaç ilk temasta daha fazla sorunu çözmekse, tekrar iletişimi ve çözüm oranını izlemek gerekir. Amaç temsilci kapasitesini artırmaksa, yalnız cevap süresine değil aynı kaliteyle çözülen iş miktarına bakılır. Amaç müşteri kaybını azaltmaksa daha uzun bir gözlem süresi gerekir.

2025'te The Quarterly Journal of Economics'te yayımlanan Generative AI at Work araştırmasında, araştırmacılar 5.172 müşteri destek çalışanının verisini incelemiş. AI desteğiyle saat başına çözülen müşteri sorunu ortalama yüzde 15 artmış. Etki daha az deneyimli çalışanlarda daha yüksek çıkmış; en deneyimli çalışanlarda ise kalite açısından küçük kayıplar görülmüş.

Bu çalışma yalnızca modelin önerilerini puanlamamış. Çözülen sorun sayısına, konuşma süresine, çözüm oranına ve müşteri deneyimine bakmış. Yine de araştırmacılar sonucu tek bir şirket ve belirli bir müşteri destek sistemiyle sınırlıyor. Bu oranı alıp her şirkette beklenen AI getirisi gibi kullanamayız.

Buradaki ders yüzde 15 değildir. Ölçümün, sistemin üretiminden başlayıp işin neden yapıldığına kadar uzanmasıdır.

Her kullanım için ağır bir değerlendirme sistemi gerekmez

Şirket içi bilgi asistanınız yalnızca çalışanlara kaynak göstererek cevap veriyorsa, ilk aşamada yüzlerce metrik toplamanız gerekmeyebilir. Gerçek sorulardan oluşan küçük bir örnek grubu, doğru kaynağa dayanıp dayanmadığını gösteren kontroller, düzenli insan incelemesi ve kullanıcıların bildirdiği hatalar iyi bir başlangıç olabilir.

Para hareketi yapan, erişim veren veya müşteri adına taahhütte bulunan bir sistem daha fazla kanıt ister. Çıktı kalitesine ek olarak yetki, gerçek işlem sonucu, tekrar denemeler ve hata sonrası toparlanma izlenmelidir.

İşletme etkisi iddiası daha da farklıdır. Bir KPI yükseldi diye değişimin nedenini hemen yapay zekâya bağlayamazsınız. Sezon, ekip değişikliği, başka bir yazılım güncellemesi veya sisteme yalnız kolay işlerin verilmesi sonucu değiştirmiş olabilir. En azından önceki durumun kaydı, uygun bir karşılaştırma ve etkinin ortaya çıkabileceği kadar uzun bir gözlem süresi gerekir.

Ölçüm düzeni, sistemin etkisi ve hata maliyetiyle birlikte büyümeli. Basit kullanım için küçük ama gerçek bir kanıt seti yeterli olabilir. Yüksek etkili bir sistemde aynı sadelik, önemli bir kör noktaya dönüşebilir.

Başarı tanımını modelden önce yazın

Bir yapay zekâ sistemi için başarı ölçütlerini sonradan seçerseniz, elinizde kolayca bulunan rakamları hedefe dönüştürürsünüz. Üretilen cevap sayısı, araç çağrısı başarısı, kabul oranı veya kullanılan token miktarı bir anda projenin sonucu gibi görünmeye başlar.

Modeli veya değerlendirme aracını seçmeden önce dört cümleyi tamamlamak daha güvenlidir:

1. Sistem hangi cevabı, öneriyi veya sınıflandırmayı doğru üretmeli?
2. Dış sistemde ya da kullanıcının görevinde hangi sonuç gerçekten oluşmalı?
3. Bu sonuç hangi iş göstergesini, ne kadar süre içinde değiştirmeli?
4. Hangi hata, yetki ihlali veya maliyet artışı başarı iddiasını geçersiz kılar?

Bu soruların cevabı her şirkette aynı olmaz. Zaten değerleri de burada. Model karşılaştırmasını şirketin gerçek kararına bağlarlar.

Bir sistemin ne kadar akıllı göründüğünü ölçmek kolaydır. Daha zor olan, neyi gerçekten tamamladığını ve bunun işletmede neyi değiştirdiğini göstermektir.

Bu ayrımın neden model seçiminden önce yapılması gerektiğini serinin ilk yazısında ele alıyorum.

Model, bilgi, yetki ve ölçümle ilgili diğer kararları yapay zekâ sistemi tasarlama rehberinde bir arada görebilirsiniz.