AI Projesine Model Seçerek Başlamayın
Sayfayı kopyala
Bir şirketin müşteri destek sürecine yapay zekâ eklemek istediğini düşünün.
İlk toplantıda model listesi açılıyor. Ekip hangi LLM'in daha doğru olduğunu, daha gelişmiş bir modelin daha iyi sonuç verip vermeyeceğini ve birden fazla modele ihtiyaç olup olmadığını tartışıyor.
Bunlar geçerli sorular. Fakat hiçbiri ilk soru değil.
Şirket henüz neyi değiştirmek istediğini bilmiyor olabilir. Hedef müşterinin daha hızlı cevap alması, temsilcinin araştırma süresinin kısalması ya da ilk temasta çözüm oranının artması olabilir. Sistemin yalnızca cevap önermesiyle iade işlemi başlatması da aynı tasarım değildir.
Bu sorular cevaplanmadan yapılan model karşılaştırması teknik olarak ayrıntılı, iş açısından ise zeminsiz kalır.
Model ile iş kabiliyeti aynı şey değil
Bir dil modeli müşterinin mesajını anlayabilir ve iyi bir cevap hazırlayabilir. Canlı ortamda müşteriye hizmet veren bir destek sistemi ise bundan fazlasını yapmak zorundadır.
Müşterinin hangi ürünü kullandığını bilmeli, güncel iade politikasına erişmeli ve sipariş durumunu doğru sistemden okumalıdır. Bir soru bilgi talebi mi, işlem talebi mi ayırmalıdır. İade başlatacaksa tutarı, süreyi ve kullanıcının yetkisini kontrol etmelidir. Gerektiğinde işi bir temsilciye devretmelidir.
Burada iş kabiliyeti derken, şirketin belirli bir sonucu tekrar tekrar ve güvenilir biçimde üretebilmesini kastediyorum. Model bu kabiliyetin önemli bir parçası olabilir. Fakat veri, iş kuralları, mevcut yazılımlar, kullanıcı yetkileri ve insan kararı olmadan tek başına yeterli değildir.
Mimari de yalnızca teknik kutuların nasıl bağlandığı değildir. İş sonucuna ulaşmak için modelin, verinin, yazılımın ve insanların nasıl birlikte çalışacağını belirleyen düzendir.
Bu ayrım teknoloji yönetimi ile dijital dönüşüm arasındaki farka benziyor. Teknolojiyi işletmek ile o teknoloji sayesinde bir iş kabiliyetini değiştirmek aynı sorumluluk değildir.
Daha fazla bileşen daha iyi sistem demek değil
Bugünün genel amaçlı modelleri geçmişte ayrı araçlar gerektiren daha fazla işi tek başına yapabiliyor. Metni anlayabiliyor, görselleri inceleyebiliyor, gerekçeli cevap üretebiliyor ve yazılım araçlarını kullanabiliyorlar.
Bu gelişme şirketlerin çok sayıda model ve agent kullanmasını zorunlu kılmıyor. Agent, modelin hangi aracı ne zaman kullanacağına daha fazla kendisinin karar verdiği sistemdir. Adımları önceden belli bir süreçte buna ihtiyaç olmayabilir.
Anthropic'in üretim rehberi, en basit yeterli çözümle başlamayı öneriyor. Google Cloud'un mimari rehberi de adımları sabit işler ile açık uçlu, modelin yol seçmesini gerektiren işleri ayırıyor.
Birçok durumda tek bir güçlü model, sınırlı araçlar ve adımları yazılımla belirlenmiş bir iş akışı yeterlidir. İkinci bir model, yeni bir yönlendirme katmanı veya agent ancak kaliteyi, maliyeti, hızı ya da riski ölçülebilir biçimde iyileştiriyorsa eklenmelidir.
Sistem tasarımının amacı mümkün olduğunca çok AI bileşeni kullanmak değil, hedeflenen sonucu en düşük yeterli karmaşıklıkla üretmektir.
Bazen doğru sistemde AI bulunmaz
Bir müşterinin iade süresinin dolup dolmadığını belirlemek için dil modeli gerekmeyebilir. Sipariş tarihi, ürün türü ve sözleşme koşulları kayıtlıysa veritabanı sorgusu (SQL) ile açık iş kuralları daha doğru, ucuz ve denetlenebilir çalışabilir.
Vardiya planlama veya rota oluşturma gibi açık hedefleri ve kısıtları olan işlerde optimizasyon yazılımı daha uygun olabilir. Düzenli tablolardan tahmin üretilecekse klasik makine öğrenmesi güçlü bir başlangıç seçeneğidir.
AI kullanmama kararı, projenin başarısız olduğu anlamına gelmez. Doğru problemi daha sade bir yöntemle çözmek de iyi sistem tasarımıdır.
Gerçek bir chatbot deneyiminde de zor kısmın yalnızca cevap üreten model olmadığını görmüştük. Entegrasyon, doğru devir ve devam eden işletim sonucu belirliyordu.
Modelin yapabildiği ile yapmasına izin verilen aynı şey değil
Bir model, iade sistemine gönderilecek işlem için doğru bilgileri hazırlayabilir. Bu, işlemi yapma yetkisine sahip olduğu anlamına gelmez.
Özellikle para, müşteri kaydı veya dış iletişim üzerinde etkisi olan sistemlerde iki sınırı ayrı tanımlamak gerekir: modelin önerebileceği işlemler ile sistemin gerçekten uygulayabileceği işlemler.
Modele verilen talimata “yalnızca yetkili işlemleri yap” yazmak erişim kontrolü değildir. İşlem gerçek kullanıcı veya servis yetkisiyle doğrulanmalı, gerekiyorsa insan onayından geçmeli ve daha sonra denetlenebilmesi için kaydedilmelidir. Web uygulama güvenliği alanında çalışan OWASP'nin aşırı yetki rehberi de işlemlerin kullanıcı bağlamında ve mümkün olan en sınırlı yetkiyle yürütülmesini öneriyor.
Yetki, sistem bittikten sonra eklenen bir güvenlik kutusu değildir. Tasarımın başında verilecek bir iş kararıdır.
İyi cevap ile tamamlanmış iş aynı şey değil
Destek sistemi müşteriye “İadeniz başlatıldı” diyebilir. Cümle düzgün ve iade politikasına uygun görünebilir. Asıl sonuç, sipariş sisteminde iade kaydının gerçekten oluşup oluşmadığıdır.
İade kaydının oluşması da tek başına işletme başarısını göstermez. İlk temasta çözüm oranı, müşteri memnuniyeti, kayıp ve temsilci iş yükü değişmediyse beklenen iş sonucu oluşmamış olabilir.
Bu nedenle modelin cevabını, sistemin yaptığı işi ve işletmedeki etkisini ayrı ayrı ölçmek gerekir. AI ile kod üretiminde doğrulama darboğazını tartışırken de benzer bir ayrım vardı: Çıktının oluşması, niyetin doğru uygulandığını kanıtlamaz.
Model seçmeden önce üç karar
Model karşılaştırmasına geçmeden önce üç kararı netleştirmek gerekir:
- İş sonucu: Hangi karar, iş akışı veya ölçülebilir sonuç değişecek? Bugünkü durum nedir?
- Aksiyon sınırı: Sistem yalnızca bilgi mi verecek, öneri mi hazırlayacak, yoksa gerçek bir işlem mi yapacak? Nerede insan onayı gerekecek?
- Kanıt: Modelin cevabı, tamamlanan işlem, maliyet ve iş sonucu nasıl ölçülecek?
Bu üç karar verildikten sonra hangi veriye, iş kuralına, entegrasyona ve modele ihtiyaç olduğu daha açık hale gelir.
Model seçimi önemsiz değildir. Model, sistemin yapabileceklerinin sınırını ve ekonomisini doğrudan etkiler. Fakat seçim, şirketin hangi işi hangi sınırlar içinde değiştirmek istediği anlaşıldıktan sonra anlam kazanır.
Bir sonraki doğru soru “hangi model daha iyi?” değil, “bu problem için AI gerekiyor mu?” olabilir.
