Geçen çeyrekte bir müşteri sarsılmış bir halde beni aradı. Yeni "özerk" destek aracıları, bir hafta sonunu, yeterince ısrarcı biçimde talep eden herkese geri ödeme yaparak geçirmişti. Kötü niyet yok, ihlal yok - yalnızca kendisine söyleneni tam olarak yapan bir model; para hareket ettirebilen bir araçla ve kapıyı izleyen kimse olmadan. Fatura beş haneliydi. Ders ise çoğundan ucuzdu: bir aracı, yayınladığınız bir özellik değildir; işe aldığınız bir iş arkadaşıdır.
Aracıları üretime alma telaşı, onları güvenli biçimde çalıştırma disiplinini geride bıraktı. Herkes özerklik istiyor. Neredeyse hiç kimse önce korkulukları yazmak istemiyor. Bu sıralama tam tersi.
Özerklik bir açma-kapama anahtarı değil, kademeli bir ayardır
Ekipleri başını derde sokan çerçeve ikilidir - ya bir insan her düğmeye tıklar ya da aracı serbestçe çalışır. Gerçek sistemler bir yelpaze üzerinde yaşar ve akıllıca hamle, düşükten başlayıp yukarıya doğru hak ederek ilerlemektir.
Müşterilerle dört kaba kademe kullanırım:
- Öner: aracı taslağı hazırlar, bir insan gönderir. Sıfır etki alanı.
- Onayla: aracı bir eylem önerir; herhangi bir şey yürütülmeden önce bir insan evet'e tıklar.
- Uygula ve kaydet: aracı geri alınabilir eylemleri kendi başına yürütür, her adım kaydedilir.
- Tam özerklik: katı sınırları olan, dar ve iyi anlaşılmış görevlere ayrılmıştır.
Çoğu üretim aracısı, günlerce değil, aylarca "onayla" ya da "uygula ve kaydet" düzeyinde durmalıdır. Bir iş akışını yalnızca gerçek trafikle güven kazandıktan sonra terfi ettirin. Geri ödeme aracısı, ilk gün asla en üst kademeye dokunmamalıydı - geri ödemeler geri alınamaz para hareketidir, tam da döngüde bir insan gerektiren durumdur.
Yetenekleri belirlemeden önce etki alanını sınırlandırın
Tehlikeli soru "bu aracı ne yapabilir?" sorusudur. Doğru soru ise "yapabileceği en kötü şey nedir ve bu ne kadar kötü?" sorusudur. Yetenek ve sonuç farklı eksenlerdir ve siz ikincisini yönetirsiniz.
Bir aracıya, işi yine de bitirmesine olanak tanıyan en dar araçları verin. Her ek izin, artık gece 2'de üzerine kafa yormanız gereken bir yükümlülüktür.
Somut olarak, bir aracı devreye girmeden önce üç şeyin kesinleştirilmesini isterim:
- En az ayrıcalıklı araçlar. Yalnızca okuma yapan bir raporlama aracısı, yalnızca okuma izni olan kimlik bilgileri alır. Yazamaz, silemez ya da ödeme yapamaz - ona güvendiğimiz için değil, seçeneği kaldırdığımız için.
- Katı sınırlar istemlerde değil, kodda. Bir sistem isteminde "lütfen $200'dan fazla geri ödeme yapma" bir öneridir. Araç sarmalayıcınızda $200'ın üzerindeki geri ödemeleri reddeden bir denetim ise bir kuraldır. Bir sınırı asla, modelin onu görmezden gelmekte serbest olduğu tek yerde uygulatmaya çalışmayın.
- Geri alınabilirlik kapıları. Geri alınamaz eylemler -silmeler, ödemeler, dış e-postalar, üretim dağıtımları- ya insan onayı ya da bir bekleme süresi gerektiren bir çizgiyi aşar.
Gözlemlenebilirlik işin tamamıdır
Göremediğiniz şeyi yönetemezsiniz. Okunabilir bir iz bırakmadan hareket eden bir aracı, bir verimlilik aracı değil, bir yükümlülük üreticisidir. Verdiğim danışmanlıklarda, rahat uyuyan ekipler her aracı kararını sonradan denetlenebilir hale getirmiştir.
Bu, tüm izin günlüğe kaydedilmesi anlamına gelir: girdi, mümkün olduğu yerde modelin muhakemesi, hangi araçları hangi argümanlarla çağırdığı, ne döndüğü ve nihai eylem. Bir şeyler ters gittiğinde -ki gidecektir- tam olarak ne olduğunu tahmin yürütmeden yeniden kurgulamanız gerekir. Her aracı eylemini bir iz kimliğine (trace ID) ve bir insan sahibine bağlayın. "Bunu yapay zekâ yaptı" bir olay raporu değildir.
Sessiz hatalara dikkat edin
Gürültülü hatalar kolaydır; aracı çöker, size bildirim gelir. Pahalı olanlar sessizdir: kendinden emin bir şekilde yanlış şeyi tekrar tekrar yapan ve sayılar sapana kadar kimsenin fark etmediği aracı. Yalnızca çalışma süresi denetimleri değil, davranışsal uyarılar kurun. Geri ödeme hacmi 4 katına mı fırlıyor? Araç çağrısı hata oranı mı tırmanıyor? Eylemlerin bileşiminde ani bir değişiklik mi var? Bunlar sizin erken uyarılarınızdır.
Yönetişim bir belge değil, bir uygulamadır
Kimsenin okumadığı bir politika PDF'i tiyatrodur. İşe yarayan yönetişim, iş hattının içinde yaşar: nöbetteki herhangi bir mühendisin basabileceği bir acil durdurma düğmesi, saat başına hasarı sınırlayan hız limitleri, kötü bir değişikliğin %100'den önce trafiğin %1'ine ulaşması için aşamalı bir dağıtım ve aracılarınızın geçen hafta gerçekte ne yaptığına dair rutin bir inceleme.
Düzenleyiciler hızla yetişiyor - AB Yapay Zekâ Yasası (EU AI Act) ve GCC genelindeki sektör kuralları, otomatik kararların kanıtlanabilir biçimde gözetilmesini giderek daha fazla bekliyor. İyi tarafı, sizi hukuki açıdan beladan uzak tutan denetimlerin, sizi operasyonel açıdan beladan uzak tutanlarla aynı olmasıdır. Onları bir kez inşa edin.
Pazartesi nereden başlamalı
En riskli aracınızı -ya da yayınlamak üzere olduğunuzu- seçin ve üç soruyu yazılı olarak yanıtlayın: Yapabileceği en kötü tek eylem nedir? Bu eylem kodda mı uygulatılıyor, yoksa yalnızca bir istemde mi rica ediliyor? Bir saat boyunca hatalı davranırsa, onu ne kadar hızlı görebilir ve durdurabilirsiniz? Herhangi bir yanıt sizi ürpertiyorsa, ilk haftanızın işi hazır demektir.
Özerklik, bir aracının hak ettiği bir şeydir; lansman günü verdiğiniz bir şey değil. Önce yönetin, özerklik kendi kendine halolur.