Bir keresinde, gerçekten faydalı bir yapay zekâ dağıtımının on beş dakikalık bir yönetim kurulu toplantısında öldürülüşünü izledim. Model çalışıyordu. Destek ekibi ona bayılıyordu. Ama sponsora o bariz soru sorulduğunda — bu çeyrekte bize para olarak ne kadar tasarruf ettiriyor? — "çok" dedi ve orada olmayan bir slayta uzandı. Kahve soğumadan finansmanı kesilmişti.
Yönetim kurulları yapay zekâyı, teknolojiden şüphe ettikleri için nadiren reddeder. Bütçe isteyen kişi, onu kurulun zaten takip ettiği bir sayıya bağlayamadığı için reddederler. İşte bu boşluk — etkileyici bir demo ile savunulabilir bir iş gerekçesi arasındaki boşluk — çoğu yapay zekâ programının sessizce öldüğü yerdir.
Model metrikleri, iş metrikleri değildir
Doğruluk, F1, kesinlik (precision), gecikme — bunlar mühendislerinize önemlidir ve yönetim kurulu odasında neredeyse hiç kimseye önemli değildir. Bir yönetici "%94 kesinlik"i finanse etmez. Daha düşük hizmet maliyetini, daha hızlı döngü sürelerini, korunan geliri ya da azaltılmış riski finanse eder. İlk işiniz çeviridir.
Danışmanlık verdiğim projelerde, bütçe sezonunu atlatanlar, birinin her model metriğini CFO'nun zaten sahip olduğu bir kaleme eşlemek gibi gösterişsiz bir işi yaptığı projelerdir. "Sınıflandırıcı %92 duyarlılığa (recall) ulaşıyor" ifadesi, "ödeme öncesinde %40 daha fazla sahte talebi yakalıyoruz, bu da yılda kabaca 1.8M değerinde" hâline gelir. Aynı gerçek. Yalnızca biri finanse ediliyor.
Bir yönetim kurulunun gerçekten tarttığı dört sayı
Gürültüyü ayıklayın; yönetim kurulları yapay zekâyı dört eksende değerlendirir. Bunlar üzerinden raporlayın, onların dilini konuşuyor olursunuz:
- Hizmet maliyeti. Talep başına, belge başına, işlem başına maliyet — önce ve sonra. Bu, kanıtlanması en temiz, en kolay kazançtır.
- Döngü süresi. İş artık ne kadar sürüyor? Dokuz günden iki güne düşen bir işe alım süreci, bir COO'nun hissedebileceği bir sayıdır.
- Gelir ve elde tutma. Daha yüksek dönüşüm, daha hızlı satış döngüleri, daha az kaybedilen hesap. Atfetmesi daha zor, atfedebildiğinizde ise daha değerli.
- Önlenen risk. Yakalanan dolandırıcılık, önlenen uyumluluk ihlalleri, engellenen kesinti süresi. Düzenlemeye tabi sektörlerde bu, çoğu zaman verimlilik hikâyesinden tümüyle ağır basar.
Nedensel bağın savunulabilir olduğu bir ya da iki tanesini seçin. Hizmet maliyeti üzerine sıkı bir gerekçe, dördüne de dokunup hiçbirini kanıtlamayan dağınık bir sunumdan üstündür.
Önce temel değer, yoksa hiçbir şeyi kanıtlayamazsınız
İşte en sık gördüğüm hata: ekipler ürünü çıkarır, sayılar iyileşir ve bunun ne kadarının yapay zekâdan kaynaklandığını kimse söyleyemez. Model miydi, yeni süreç miydi, yoksa yol boyunca veriyi temizlemiş olmanız mıydı?
"Öncesini" ölçmediyseniz, elinizde bir ROI hikâyesi yok. Elinizde bir anekdot var.
Devreye almadan önce dört ila altı hafta boyunca temel değeri yakalayın. Yapabildiğiniz yerde bir kontrol grubu ayırın — bir ekip eski süreçte, bir ekip yenisinde. Kaba bir A/B, kendinden emin bir tahminden üstündür. Bir yönetim kurulu, kendinize yanılma şansı tanıdığınızı gördüğünde, geri gelen sayıya güvenir.
Herkesin unuttuğu maliyetleri hesaba katın
ROI bir kesirdir ve çoğu ekip, paydayı olduğundan düşük göstererek onu şişirir. Herkesin dile getirdiği kalem, API faturasıdır. Getiriyi asıl aşındıran maliyetler ise daha sessizdir:
- İnsan gözetimi. Gözden geçirme kuyrukları, istisna yönetimi, yüksek riskli kararlarda modeli denetleyen kişi.
- Yeniden çalışma. Model yanıldığında birileri toparlar — ve o zaman, bir yuvarlama hatası değil, gerçek bir maliyettir.
- Kayma ve bakım. Modeller bozulur. Yeniden eğitim, izleme ve bundan sorumlu mühendis için bütçe ayırın.
Bunları göz ardı eden bir geri ödeme iddiası, odadaki bir operasyon lideri hesabı sesli yaptığı ilk anda paramparça olur. Onları en baştan, kendiniz ekleyin. Bir yönetim kurulu, maliyetleri kendisine sorulmadan önce adlandıran kişiye güvenir.
Pazartesi nereden başlamalı
Net bir sahibi ve yönetim kurulunun zaten takip ettiği bir metriği olan tek bir kullanım senaryosu seçin. Temel değeri dürüstçe ölçün. Gözetim ve yeniden çalışma dâhil, maliyetin tamamını modelleyin. Sonra, sorgulama altında savunabileceğiniz tek ve ihtiyatlı bir sayı raporlayın — ve nasıl hesapladığınızı gösterin.
En ikna edici yapay zekâ gerekçesi, en iddialı olan değildir. Yönetim kurulunun açık bulamayacağı olandır. Sizin hangi sayınız o odada ayakta kalırdı?