Bir ekip bir hafta içinde bir LLM demosu çıkarır. Herkes alkışlar. Sonra onu üretime almak dokuz ay sürer — ve bunların yarısı gerçek kullanıcılarla temas ettiğinde ayakta kalamaz. Çoğu kurumsal yapay zekâ bütçesi işte demo ile üretim hattı arasındaki bu boşlukta ölür.
Komut (prompt) işin kolay %10'udur. Geri kalan %90 ise akıllı bir otomatik tamamlamayı, şirketinizin adını arkasına koyabileceğiniz bir şeye dönüştüren altyapı, koruma bariyerleri ve o sıkıcı operasyonel disiplindir.
Demo bir yalandır ve bunda bir sakınca yok
Bir demo, özenle seçilmiş bir soru üzerinde, tökezlediğinde yeniden denemeye hazır bir insanla birlikte yalnızca bir kez çalışır. Üretim ise günde on bin kez, kimsenin öngörmediği girdiler üzerinde, kimse izlemezken çalışır. Bunlar farklı makinelerdir.
Danışmanlık verdiğim projelerde tıkanıp kalan ekipler, "oyun alanında (playground) çalıştı" ifadesini bir kanıt olarak görenlerdir. Değildir. O bir hipotezdir. Modelin, deterministik bir sistemin içindeki olasılıksal bir bileşen olduğunu — sistemin kendisi olmadığını — kabul ettiğiniz anda asıl işin ne olduğu netleşir: modelin etrafındaki her şey.
Ürün, erişim (retrieval) katmanıdır; model ise sıradan bir bileşendir
Kurumsal kullanım senaryolarının çoğu "yaratıcı ol" değildir. Bunlar "verilerimizden doğru cevap ver"dir. Bu da erişim (retrieval) katmanınızı asıl ürün, altındaki LLM'i ise değiştirilebilir bir motor hâline getirir.
Önce gösterişsiz kısımları doğru yapın:
- Parçalama (chunking) ve meta veri. Kötü parçalama, model ne kadar iyi olursa olsun doğruluğunuza sessizce bir tavan koyar. Parçaları ilk günden itibaren kaynak, tarih ve erişim düzeyiyle etiketleyin.
- Güncellik ve izinler. Cevap, geçen çeyrekte yürürlükten kalkmış bir politikaya atıfta bulunuyorsa, bir yükümlülük inşa etmişsinizdir. Erişim, kimin neyi görmeye yetkili olduğuna saygı göstermelidir — modelin yetkilendirme diye bir kavramı yoktur.
- Kendi verinizle değerlendirme. Herkese açık kıyaslamalar (benchmark) sizin faturalarınız, sözleşmeleriniz, talepleriniz hakkında neredeyse hiçbir şey söylemez. Cevabı bilinen 100–200 gerçek sorudan oluşan altın bir küme (golden set) oluşturun ve her değişiklikte buna karşı puanlayın.
Modeli değiştirmek bir yapılandırma değişikliğidir. Verinizi düzeltmek ise bir projedir. Bütçenizi buna göre ayırın.
Koruma bariyerleri, maliyet ve gecikme vergisi
Ham bir model çağrısı bir özellik değildir. Kullanıcı ile model arasında girdi doğrulaması, çıktı denetimi ve model kendinden emin bir saçmalık döndürdüğünde devreye girecek bir yedek mekanizmaya ihtiyacınız vardır. Halüsinasyonu, kaybolmasını umduğunuz bir hata olarak değil, etrafında tasarım yaptığınız bilinen bir hata türü olarak ele alın.
Üç sayıyı izleyin
- Çözülen görev başına maliyet, token başına maliyet değil. Üç kez yeniden deneme gerektiren ucuz bir model, bir kerede başaran pahalı bir modelden daha maliyetlidir.
- p95 gecikmesi. Ortalamalar acıyı gizler. Kullanıcılar yavaş kuyruğu hisseder ve erişim ile güvenlik denetimlerini eklediğinizde iki saniyelik bir demo, on bir saniyelik bir üretim çağrısına dönüşür.
- Yükseltme (escalation) oranı. Sistem ne sıklıkla işi bir insana devrediyor? İşte bu sayı sizin gerçek doğruluğunuzdur ve bir gösterge panosunda (dashboard) yer almalıdır.
Önbelleğe alma (caching), kolay yollar için daha küçük modeller ve zor vakaları daha büyük modellere yönlendirmek, faturanızı genellikle herhangi bir komut hilesinden daha fazla düşürür. Cümleyi değil, üretim hattını optimize edin.
Yalnızca lansmana değil, tüm yaşam döngüsüne sahip çıkın
Modeller kayar (drift). Sağlayıcılar sürümleri kullanımdan kaldırır. Kullanıcılarınız daha salıya varmadan hiç hayal etmediğiniz girdiler üretir. Bir LLM özelliği yaşayan bir sistemdir ve diğer herhangi bir üretim servisiyle aynı operasyonel kası gerektirir.
- Her şeyi günlüğe kaydedin — komut, bağlam, çıktı ve kullanıcı tepkisi — ki gece 2'de yaşanan hatayı ayıklayabilesiniz.
- Komutlarınızı sürümleyin, tıpkı kod gibi. Bir komut değişikliği bir dağıtımdır (deploy); gözden geçirilmeyi ve bir geri alma yolunu hak eder.
- Döngüde bir insan tutun, yanılmanın maliyetinin yüksek olduğu yerlerde. Sıkıcı %80'i otomatikleştirin; sonuç doğuran %20'yi bir üst mercie taşıyın.
Pazartesi nereden başlamalı
Dar kapsamlı, hataya toleranslı ve ölçülebilir bir sonucu olan tek bir iş akışı seçin — kurum içi bilgi araması, ilk taslak destek yanıtları, talep önceliklendirme (triage). Bunu küçük bir gruba sunun. Yoğun biçimde ölçümleyin. Ölçeklendirmeden önce gerçekte neyin bozulduğunu öğrenin; çünkü bir pilotta bulduğunuz hatalar ucuzdur, üretimde bulduklarınız ise değildir.
LLM'lerle kazanan kuruluşlar, en zekice komutlara sahip olanlar değildir. Onlar, komutun etrafına üretim hattını kuran — ve modeli problemin en az ilgi çekici parçası olarak gören kuruluşlardır.
Yapay zekâ girişiminiz demo aşamasında takılıp kaldıysa, mesele hangi modeli kullanacağınız değildir. Mesele, üretim hattınızın hangi parçasından kaçındığınızdır.