New York'ta bir avukat, altı mahkeme kararına atıfta bulunan bir dilekçe sundu. Altısının da uydurması ChatGPT'ye aitti — uydurma dava adları, uydurma alıntılar, uydurma dosya numaraları. Model arıza yapmadı. Tam olarak yapmak üzere inşa edildiği şeyi yaptı: akıcı, makul metin üretti. Uydurma, sistemdeki bir hata değildi; akıcılığın gerçek anlamına geldiğini varsayan bir kullanıcının karşısında, sistemin tasarlandığı gibi çalışmasıydı.
İşte bu boşluk — kulağa doğru gelmek ile doğru olmak arasındaki boşluk — meselenin ta kendisidir. Üretken yapay zekâyı müşterilerin önüne ya da bir karar iş akışının içine koyuyorsanız, halüsinasyon sonradan yamalayacağınız bir uç durum değildir. İlk günden itibaren etrafında tasarım yapmanız gereken, teknolojinin bir özelliğidir.
Ona hata demeyi bırakın
Büyük dil modelleri gerçekleri getirip çıkarmaz. Kendinden önceki her şeye bakarak bir sonraki token'ı tahmin ederler; gerçeği değil, istatistiksel makullüğü optimize ederler. Eğitim verisi kendinden emin ve doğru bir cevabı desteklediğinde, öyle bir cevap alırsınız. Desteklemediğinde ise model yine kendinden emin bir cevap üretir — "bunu aslında bilmiyorum" diyen içsel bir sinyali yoktur. Kendine güven ile doğruluk birbirinden kopuktur.
Bu yeniden çerçeveleme önemlidir çünkü ne inşa ettiğinizi değiştirir. Efsanevi bir "halüsinasyonsuz model" peşinde koşmayı bırakır ve modelin ara sıra bir şeyler uyduracağını varsayan, sonra da bu uydurmayı, ona göre hareket edecek birine ulaşmadan önce yakalayan bir sistem tasarlamaya başlarsınız.
Koruma bariyerini riskin büyüklüğüne göre eşleştirin
Her kullanım senaryosu aynı titizliği gerektirmez. Danışmanlık verdiğim projelerde uygulamaları bir risk gradyanına yerleştirir ve bütçeyi yanlış bir cevabın gerçekten zarar verdiği yere harcarım.
- Düşük risk — beyin fırtınası, ilk taslaklar, zaten bir insanın gözden geçireceği kod. Hafif dokunuş. Kendinden emin, yanlış bir cevap birkaç dakikaya mal olur.
- Orta risk — müşteri desteği, kurum içi bilgi araması, belge özetleme. Yanlış bir cevap güveni aşındırır ya da yanlış bilgilendirir. Dayanak (grounding) ve kaynak gösterimi gerektirir.
- Yüksek risk — hukuki, tıbbi, finansal ya da uyumlulukla ilgili her şey veya geri alınamaz bir eylemi tetikleyen her şey. Yanlış bir cevap gerçek zarara yol açar. Dayanak, doğrulama, insan onayı ve bir denetim izi gerektirir.
En sık gördüğüm hata, her yere tek tip denetimler uygulamaktır — ya bir beyin fırtınası aracını gözden geçirme kapılarıyla boğmak ya da bir iade onayı ajanını ham model çıktısıyla çalışmaya bırakmak. Sonuca göre kalibre edin.
Gerçekten fark yaratan denetimler
Modeli kendi verinize dayandırın (RAG)
Erişimle-artırılmış üretim (retrieval-augmented generation), tek başına en yüksek kaldıraca sahip denetimdir. Modele ne "bildiğini" sormak yerine, kendi güvenilir kaynaklarınızdan ilgili pasajları getirir ve ona yalnızca o bağlamdan cevap vermesini söylersiniz. İyi yapıldığında bu, uydurmayı belirgin biçimde azaltır ve size bedavaya kaynak gösterimi sağlar. Kötü yapıldığında — gürültülü parçalar, zayıf erişim, çekimser kalma talimatının olmaması — kötü bağlamı yalnızca kendinden emin bir nesre aklar. Erişim kalitesi, cevap kalitesinin tavanıdır.
Modelin "bilmiyorum" demesine izin verin
Çoğu temel model yardımcı olacak şekilde eğitilir; bu da onları her zaman cevap vermeye iter. Modele reddetmesi için açıkça izin — ve talimat — vermeniz gerekir. "Bağlam cevabı içermiyorsa, bu bilgiye sahip olmadığını söyle" diyen bir sistem komutu, koca bir uydurma sınıfını önleyen tek satırlık bir metindir. Sonra da arayüzünüzü, "bilmiyorum"u bir başarısızlık değil, bir başarı olarak ele alacak biçimde tasarlayın.
İkinci bir geçişle doğrulayın
Riskin daha yüksek olduğu yerlerde tek bir üretime güvenmeyin. Çıktıyı bir doğrulama adımından geçirin: her iddiayı kaynağa karşı denetleyen ikinci bir model çağrısı, yapılandırılmış alanları doğrulayan bir kurallar motoru ya da adlandırılmış varlıklar ve sayılar üzerinde bir olgusallık denetimi. Evet, bu gecikme ve token'a mal olur. Bir dava da öyle.
Önemli olan yerlerde döngüde bir insan tutun
İnsan denetimi otomasyonun bir başarısızlığı değildir; bir tasarım tercihidir. İşin püf noktası, insanı her çıktının içinde boğmak değil, kararın başına yerleştirmektir. Modelin kaynaklarını ve güven düzeyini görünür kılın, dayanağı zayıf cevapları gözden geçirilmek üzere işaretleyin ve geri alınamayan eylemleri insanların onaylamasına izin verin.
Üretilen her ifadeyi, güvenilecek bir gerçek değil, doğrulanması gereken bir iddia olarak ele alın. Sistemi bu varsayımın etrafında kurun; böylece halüsinasyon, pusuda bekleyen bir yükümlülük yerine yönetilen bir riske dönüşür.
Ya ölçün ya da tahmin yürütüyorsunuz demektir
İzlemediğiniz şeyi yönetemezsiniz. Yayına almadan önce, doğru cevabı bilinen gerçek sorulardan oluşan bir değerlendirme kümesi oluşturun ve sistemin ne sıklıkla uydurduğunu, ne sıklıkla yanlışlıkla reddettiğini ve kaynaklarını ne sıklıkla doğru gösterdiğini ölçün. Yayına aldıktan sonra çıktıları günlüğe kaydedin, bunlardan örnekler alın ve kullanıcıların kötü cevapları işaretlemesine izin verin. İzlediğiniz bir halüsinasyon oranı, küçültebileceğiniz bir sorundur. Görmezden geldiğiniz oran ise patlamayı bekleyen bir manşettir.
Nereden başlamalı
En yoğun trafiğe sahip yapay zekâ özelliğinizi seçin ve bu hafta üç soruyu yanıtlayın: Burada yanlış bir cevap neye mal olur? Model güvenilir verilere mi dayanıyor, yoksa doğaçlama mı yapıyor? "Bilmiyorum" diyebiliyor mu ve diyor mu? Üçünü de yanıtlayamıyorsanız, işte ilk sprint'iniz budur. Amaç hiçbir zaman hiç yanılmayan bir model olmadı — amaç, hatalarının yakalandığı, sınırlandırıldığı ve ucuz olduğu bir sistemdir.
Bir sonraki yapay zekâ özelliğiniz yayına girmeden önce, o rahatsız edici soruyu sorun: kendinden emin bir biçimde yanıldığında ne olur — ve bunu ilk kim öğrenir?