Yapay zekâ sadece bizim işimizi mi iyi yapamıyor?

Bir yazılımcı, yapay zekânın ürettiği kodu incelerken çalışan uygulamayla iyi tasarlanmış sistemi ayırabilir. Kod işini yapıyordur. Fakat yanlış bir yere yerleştirilmiş iş kuralını, düşünülmemiş bir hata durumunu veya sonraki değişikliği zorlaştıracak bir tasarım kararını görür.

SEO uzmanı da benzer bir ayrım yapar. Öneriler ilk bakışta makuldür, ama arama niyetini kaçırmıştır. Yapılabilecek işleri sıralamıştır, fakat hangisinin o site için öncelikli olduğunu açıklamamıştır. Diyetisyen ise bir beslenme planının düzenli görünmesiyle belirli bir kişiye uygun olması arasındaki farkı bilir.

Kendi alanımızda hükmümüz genellikle ölçülüdür: Yapay zekâ işe yarıyor, ama çıktısına güvenmek için neye baktığını bilmek gerekiyor.

Şimdi aynı yazılımcının AI'dan beslenme planı aldığını, diyetisyenin bir uygulamanın teknik kararlarını ona bıraktığını, SEO uzmanının da hazırlattığı finansal analizi yatırım kararına dayanak yaptığını düşünün. Kendi işlerinde gösterdikleri dikkat, tanımadıkları alana geçince bir anda azalabiliyor.

Yapay zekâ sadece sizin işinizi mi iyi yapamıyor kardeşim?

Bu sorudaki hafif alayın hedefi başka meslekler değil, kendi tutarsızlığımız. Kendi alanımızda gördüğümüz eksikleri başka bir alanda görememek, o eksiklerin orada bulunmadığını göstermiyor.

Hata görmemek, hata olmadığını göstermez

Bir kod parçasını okurken yalnızca yazılanlara bakmayız. Yazılmamış bir kontrolü de fark edebiliriz. Aynı işlem tekrar gelirse ne olacağını merak ederiz. Bugün kolay görünen tercihin ileride hangi işi zorlaştıracağını düşünürüz.

Alan bilgisi, cevabı değerlendirmenin yanında hangi soruların eksik kaldığını da görmemizi sağlar.

Bilmediğimiz bir konuda ise elimizdeki ölçütler daha yüzeysel olabilir. Metin anlaşılır mı? Kendi içinde tutarlı mı? Ayrıntılı bir gerekçe sunuyor mu? Sorumuza doğrudan cevap vermiş mi? Bunları değerlendirebiliriz. Fakat cevabın hiç değinmediği bir koşulun sonucu değiştirip değiştirmeyeceğini bilemeyebiliriz.

Bir finansal analizde hesapların birbirini tutmasıyla başlangıç varsayımlarının makul olması farklı kontrollerdir. Hesaplamayı yeniden yapabiliriz. O varsayımın neden zayıf olduğunu fark etmek içinse başka bir bilgi gerekebilir.

Bu yüzden “AI finans konusunda yazılımdan çok daha iyi” hükmü, gerçekten farklı performans gördüğümüz anlamına gelebilir. Ama yalnızca yazılımdaki hataları tanıyıp finans konusundakileri tanımadığımız anlamına da gelebilir. İkinci ihtimali elemeden yaptığımız karşılaştırmaya fazla güvenmemek gerekir.

AI her alanda aynı düzeyde çalışmak zorunda değil. Görevin kapsamı, verilen bilgi ve sonucun nasıl sınanabildiği değişiyor. Kendi uzmanlığımız da bizi her hatayı yakalayabilen kusursuz bir değerlendirici yapmıyor. Yine de bir alanda hata bulabilmemizle başka bir alanda bulamamamız, tek başına alanlar arasındaki kalite farkını ölçmez.

Üretmek başka, değerlendirmek başka

Yapay zekâ bir çıktı üretme imkânımızı genişletiyor. Daha önce hazırlayamayacağımız bir analiz taslağına ulaşabiliyor, bilmediğimiz bir konuyu daha hızlı araştırabiliyoruz. Bu gerçek bir imkân. Fakat çıktıyı elde ettiğimiz anda onun kalitesini değerlendirecek bilgiyi de edinmiş olmuyoruz.

SEO önerilerini tek tek anlamak mümkün olabilir. Hangi önerinin o işletmenin müşteri edinme sorununu çözeceğine karar vermek ise siteyi, rakipleri ve işin önceliklerini birlikte düşünmeyi gerektirir. Uzun bir yapılacaklar listesi, bu tercihi bizim yerimize yapılmış hâle getirmez.

Kod üretimiyle doğrulama maliyetini ayırdığım yazıda, hazır görünen bir uygulamanın inceleyen kişiye ne kadar düşünme işi bırakabildiğini anlatmıştım. Buradaki sorun daha erken başlıyor: İnceleme gerektiğini fark edecek kadar bile alan bilgimiz olmayabilir.

Üretim kolaylaştıkça, hangi çıktının kullanılmaya değer olduğunu ayırmanın ağırlığı artıyor. Aynı sürede daha çok rapor hazırlayabilmek yararlı olabilir. Hangi raporun sağlam bir karara dayanak olacağını seçemiyorsak, karar kalitemiz aynı hızda ilerlemez. İncelenecek malzeme de çoğalmış olur.

Kontrol etmek için neyi aradığını bilmek gerekir

“AI çıktısını mutlaka kontrol edin” tavsiyesinin açık bıraktığı bir soru var: Neyi kontrol edeceğiz?

Bilmediğimiz alanda metni tekrar okumak, aynı cevabı daha iyi anlamamızı sağlayabilir. Cevabın dayandığı yanlış varsayımı fark etmemizi ise garanti etmez. Yapay zekâdan kendi cevabını eleştirmesini istemek de eksikleri görünür kılabilir. Ama ikinci metnin iyi bir eleştiri olup olmadığını değerlendirme sorusu hâlâ önümüzdedir.

Bu nedenle kontrol, somut bir dayanağa bağlandığında işe yarar. Bir hesaptaki rakamları gerçek kayıtlarla karşılaştırabiliriz. Bir iddianın kaynağını açıp ilgili koşulu okuyabiliriz. Bir yazılım davranışını sınırları belli bir denemede gözleyebiliriz. Alan bilgimizin yetmediği yerde, sonucu değerlendirebilen birinin hangi varsayımı neden reddettiğini öğrenebiliriz.

Yapay zekâ bu öğrenmeye de yardımcı olabilir. Terimleri açıklatabilir, alternatifleri karşılaştırabilir, cevabı değiştirebilecek koşulları sorabiliriz. Ardından bunları kaynaklarla veya gerçek sonuçlarla sınadığımızda yalnızca bir cevap edinmekten daha fazla şey yapmış oluruz. Zamanla daha iyi değerlendirmeyi de öğrenebiliriz.

Şirkette bir AI çıktısına insan onayı eklerken de aynı soru geçerli. Onay verecek kişi o alandaki hatayı nasıl tanıyacak? AI yargılarına güven üzerine yazımda, tavsiyeyi kabul etmekle doğru karar vermeyi ayırmıştım. Bir raporun yönetici tarafından okunması, rapordaki teknik veya finansal varsayımların sınandığını tek başına göstermez.

Her cevap aynı ağırlığı taşımıyor

Akşam yemeği için farklı bir tarif istemekle, bir sağlık sorununa ilişkin tedavi kararı vermek aynı düzeyde kontrol gerektirmiyor. Birinde beğenmediğimiz sonucu kolayca geride bırakabiliriz. Diğerinde hatayı sonradan fark etmek yeterli olmayabilir.

Aynı ayrım iş hayatında da var. AI'dan bir veri tabanı taslağı alıp deneme ortamında incelemekle, o tasarımı müşterilerin kullandığı sisteme doğrudan taşımak farklı kararlar. Hukuki bir metindeki terimleri öğrenmekle, hazırlanan sözleşmeyi yükümlülük altına girmek için imzalamak da öyle.

Gerekli kontrolü mesleğin adından çok, çıktıyla ne yapacağımız belirlemeli. Yanlışsa kim etkilenir? Kararı geri alabilir miyiz? Sonucun iyi olup olmadığını bağımsız biçimde görebilir miyiz? Yoksa zarar ortaya çıktığında mı öğreneceğiz?

Basit, geri alınabilir ve sonucu görülebilen bir işte küçük bir deneme yeterli olabilir. Sonucun çok sayıda koşula bağlı olduğu ve hangi koşulun eksik kaldığını bilmediğimiz bir kararda ise daha fazla alan bilgisine ihtiyaç duyarız. Metnin ayrıntılı olması bu ihtiyacı azaltmaz.

Her soruda bir uzmana gitmek yerine, yapay zekâdan istediğimiz işi daraltabiliriz. Kararı ona bırakmadan terimleri öğrenebilir, seçenekleri çıkarabilir veya bir görüşmeye hazırlanabiliriz. Önemli bir kararın varsayımlarını değerlendiremiyorsak, o değerlendirmeyi yapabilecek birine başvurmak da işin gerekli bir parçası olabilir.

Kendi işimizdeki ölçüyü yanımızda götürmek

Kendi alanımızda AI'ın işini incelerken “Güzel görünüyor, demek ki doğru” diye düşünmüyoruz. Görünür sonucun arkasında hangi kararların bulunduğunu merak ediyoruz. Tanımadığımız alanda bu merakı korumak, o alanın uzmanıymış gibi davranmayı gerektirmiyor. Bilgimizin sınırını hesaba katmayı gerektiriyor.

Bilmediğimiz bir konuda yapay zekâdan aldığımız cevaba göre hareket etmeden önce kendimize şunu sorabiliriz:

Bu cevapta, kendi mesleğimde AI'ın yaptığı işlerde sık sık fark ettiğim hataların bir benzeri olsaydı, onu tanıyabilir miydim?

Cevabımız hayırsa, “Bana gayet doğru geldi” karar için zayıf bir dayanak olarak kalır. O durumda önce neyi bağımsız biçimde kontrol edebileceğimizi, hangi kararı küçük bir denemeyle sınayabileceğimizi ve hangi kısmı işi bilen birine göstermemiz gerektiğini belirleyebiliriz.