Bir Süreci Otomatikleştirirken Yapay Zekâ Ne Zaman Gerekli?

Vanity'de yılda yaklaşık 100 bin lead'in doğru satış temsilcisine dağıtılması gerekiyordu. Talepler farklı ülkelerden, dillerden ve saat dilimlerinden geliyordu. Dağıtım Google Sheets üzerinden elle yapılıyor, her talep için 5–15 dakika harcanabiliyordu.

Bir talebin kime verileceğini ülke, dil, vardiya, izin, kapasite ve önceki sahiplik gibi kurallar belirliyordu. Kurallar karmaşıktı ama belirsiz değildi. Hangi durumda ne yapılacağı biliniyordu.

Bu nedenle Vanity için geliştirdiğimiz gerçek zamanlı lead yönetimi sisteminde ilk atama kararını AI'a bırakmadık. Yazılım kuralları uyguladı ve sonucu CRM'e aktardı. Dağıtım gerçek zamanlı hâle geldi, doğruluk yüzde 99'u aştı.

Bugün aynı problem kolayca bir AI projesi olarak sunulabilirdi. Oysa AI'ın katacağı bir şey yoktu. İhtiyacımız olan, bildiğimiz kuralları her seferinde aynı biçimde uygulayan bir yazılımdı.

Karmaşıklık ile belirsizlik aynı şey değil

Bir ekip “müşteri hizmetlerinde AI kullanalım” dediğinde önce yanıtların neden geciktiğine bakmak gerekir. Çalışan müşterinin yazdığı düzensiz mesajı anlamakta zorlanıyorsa bir dil modeli işe yarayabilir. Doğru cevap zaten varsa fakat çalışan onu bulamıyorsa daha iyi bir arama sistemi yeterli olabilir. Karar verilmiş ancak sipariş sistemine aktarılamıyorsa sorun entegrasyondadır.

Bu üç sorun dışarıdan aynı görünebilir: Müşteri bekler. Fakat beklemenin nedeni değiştiğinde çözüm de değişir.

Benzer bir yaklaşım Google'ın makine öğrenmesi projelerinde problemi tanımlamaya yönelik rehberinde de var. Önce neyi değiştirmek istediğinizi, makine öğrenmesinden hiç söz etmeden yazın. Sonra önerdiğiniz çözümü bugün yaptığınız işle veya basit bir kuralla karşılaştırın. Problemi AI'dan söz etmeden açıklayamıyorsanız, büyük olasılıkla hâlâ çözümü tarif ediyorsunuz.

AI, düzensiz bilgiyi yorumlamak veya sabit kurallara sığmayan bir değerlendirme yapmak gerektiğinde anlamlı olabilir. Sorun bilinen kuralları uygulamak ya da iki sistem arasında veri taşımaksa çoğu zaman klasik yazılım daha doğru araçtır. Kuralları zaten bildiğiniz bir işe model eklemek, öngörülebilir bir işi gereksiz yere değişken hâle de getirebilir.

REDAR'da modelin yeri dardı ama gerekliydi

REDAR, KAP bildirimlerini ve açık kaynakları izleyen AI destekli bir finans ürünü. Veri lisansı sorunları nedeniyle sadece ben ve bir arkadaşım kullanıyoruz. Kamuya açık bir platform değil. Önemli bilgileri ayıklayıp web arayüzünde ve Telegram üzerinden sunuyor.

REDAR'da KAP'tan gelen standart verileri kurallarla ayrıştırabiliyoruz. Açık kaynaklardan veya farklı biçimlerdeki bildirimlerden gelen düzensiz metinlerde ise aynı yöntem yetmiyor. Dil modelini, metinden gerekli bilgileri çıkarmak ve özet hazırlamak için burada kullandık.

Bütün akışı LLM'e vermedik. Standart metni kurallarla işledik. Dil modelini belirsizliğin arttığı yerde devreye soktuk. Telegram bildirimi de model kadar önemliydi. İyi bir özet, doğru kişiye zamanında ulaşmadığında işini yapmış sayılmıyordu.

Şirket içinde kullandığımız finans panelinde banka hesap hareketlerini de görmek istiyorduk. Bankaları tek tek entegre etmek yerine bir entegrasyon sağlayıcısından yararlanmayı seçtik. Çünkü asıl yük bir bankaya bağlanmak değil, 30–40 farklı bankanın entegrasyonunu sürekli çalışır tutmaktı. Burada bir modele değil, bu bağlantıların bakımını üstlenecek bir aracı hizmete ihtiyacımız vardı.

Vanity'de açık kurallar, banka hareketlerinde hazır bir entegrasyon, REDAR'ın düzensiz metinlerinde ise dil modeli işe yaradı. Üçünde de teknoloji kullandık. Yalnızca biri AI gerektirdi.

Modelin öneride bulunmasıyla işlem yapması aynı şey değil

Bir müşteri mesajını yanlış sınıflandırmakla yanlış bir para transferi başlatmak aynı hata değildir. Sistemin yaptığı iş değiştikçe, kabul edebileceğiniz hata da değişir.

NIST'in AI Risk Management Framework'ü de aynı noktaya dikkat çekiyor: Model nerede kullanılacak ve hata yaptığında ne olacak? Bir model yalnızca bilgi hazırlıyorsa hatayı fark edip düzeltmek mümkün olabilir. Müşteriye cevap gönderiyor, ödeme başlatıyor veya bir başvuruyu reddediyorsa aynı hata doğrudan iş sonucuna dönüşür.

Bu nedenle sistemin nerede duracağını baştan belirlemek gerekir. Hata geri alınamıyorsa, model kendi başına işlem yapıyorsa veya bir insanın zamanında müdahale etmesi mümkün değilse daha sıkı sınırlar gerekir.

“İnsan onayı var” demek tek başına yeterli değildir. İnsan yalnızca modelin kararını hızla onaylayan bir düğmeye dönüşmüşse ortada gerçek bir kontrol olmayabilir. Onay verecek kişinin gerekli bilgiye, zamana ve yetkiye sahip olmadığı bir adım gerçek bir kontrol sağlamaz. Sadece sorumluluğu başka bir yere taşır.

Önce problemi çözün, sonra modeli seçin

Önce hangi iş sonucunun değişmesini beklediğinizi yazın. Sonra problemi bir entegrasyon, SQL sorgusu, açık kurallar veya klasik yazılımla çözüp çözemeyeceğinize bakın. AI hâlâ gerekiyorsa modelin hangi veriyi kullanacağını, hata yaptığında ne olacağını ve kendi başına hangi işlemleri yapabileceğini belirleyin.

Bu aşamada AI'ı elemek kötü bir sonuç değil. Vanity'de doğru karar buydu. REDAR'da ise modele dar ama değerli bir görev kaldı.

Model seçimi bundan sonra gelir. Neden işe model seçerek başlamamamız gerektiğini önceki yazıda daha geniş biçimde anlattım.