Kalite Güvencesi · Nov 2026

Yapay Zekâ Tedarikinde Kabul Testi: Dört Karar Kapısı

CTO ve satın alma liderleri için gizli görev testleri, risk sınırları, entegrasyon kontrolleri ve toplam maliyetle yapay zekâ sağlayıcısı değerlendirme rehberi.

AI procurement acceptance testing, tedarikçinin etkileyici bir gösteri sunup sunmadığını değil, ürünün belirli bir iş sürecinde güvenli ve yararlı olup olmadığını ölçmelidir. Üretken model seçilmiş sorulara iyi yanıt verebilir; gerçek belgelerde, farklı dillerde, yanıltıcı talimatlarda veya eksik veride başarısız olabilir. CTO ve satın alma yöneticileri kabul ölçütlerini satış gösterisinden önce belirlemelidir. Sağlam karar; ölçülebilir görev performansı, işletme maliyeti, güvenlik sınırları, insana eskalasyon ve kabul edilen hata bütçesi gerektirir. Modeli bağımsız bir çalışan olarak değil iş akışındaki bir bileşen olarak değerlendirin.

Write the task contract before issuing an RFP

Tek bir iş akışını girdiler, beklenen çıktılar, yasak eylemler ve sonuçtan sorumlu kişiyle tanımlayın. Örneğin destek asistanı talepleri sınıflandırıp yanıt taslağı hazırlayabilir; ancak yetki olmadan iade başlatmamalı, müşteri kaydını değiştirmemeli ve dışarı mesaj göndermemelidir. Desteklenen dilleri, azami gecikmeyi, kaynak gösterme zorunluluğunu ve yetersiz kaynakta yanıt vermeme davranışını belirtin. Sağlayıcıdan bu sınırları teknik olarak nasıl uyguladığını göstermesini isteyin. Müşteri verisi kullanılıyorsa veri sınıflarını ve saklama süresini kaydedin. Kabul şartnamesi teklif talebine eklenmeli, tüm adaylar aynı koşullarla değerlendirilmelidir.

Build an evaluation set that resembles production

Değerlendirme kümesi sıradan işlemleri, nadir durumları, çelişkili kaynakları, belirsiz talepleri, çok dilli ifadeleri, eski kayıtları ve talimatları aşma girişimlerini içermelidir. Geliştirme örneklerini, sağlayıcının üzerinde ayar yapmadığı saklı kabul kümesinden ayırın. Gerçek iş verileri yalnızca uygun izin ve kimlik korumasıyla kullanılmalıdır; hassas örnekler sentetik verilerle temsil edilebilir. Her vakayı beklenen davranışı ve gerekçesiyle sürümlendirin. Reddetme, açıklama isteme veya insana aktarma da doğru sonuç olabilir. İkna edici görünen yanıtı sırf akıcı diye doğru saymak güvenilmez sistemi kabul etmenin kısa yoludur.

Score errors by harm, not by average accuracy

Yüzde doksan beş ortalama başarı, kurum içi belge etiketleme için iyi olabilir; ödeme talimatı onayı için kabul edilemez olabilir. Finans, güvenlik, hukuk ve operasyon ekipleriyle hata ciddiyetlerini belirleyin. Yanlış onaylar, kaynaksız iddialar, kaçırılan eskalasyonlar, veri ifşası ve yetkisiz araç kullanımını biçim sorunlarından ayrı ölçün. Yüksek ortalama puana rağmen bazı hata sınıfları mutlak engel olmalıdır. Sınıflandırıcılarda karışıklık matrisi, serbest metin yanıtlarında izlenebilir insan kararı isteyin. Yalnızca yüzdelik değil örnek sayısı ve mümkünse belirsizlik aralığı sunun. Küçük ve özenle seçilmiş örnek gerçek iş riskini kanıtlamaz.

Test prompt injection at the integration boundary

Birçok arıza modelin bilgisinden değil, getirilen içerikle yetkili talimat arasındaki sınırdan kaynaklanır. Belgeye, arama sonucuna ya da destek talebine asistanın gizli veriyi açıklamasını, kuralları atlamasını veya aracı çağırmasını isteyen saldırgan metin yerleştirin. Sistem bunu üst düzey talimat değil güvenilmeyen veri olarak ele almalıdır. Hassas eylemlerin yalnızca prompt metniyle değil sunucu tarafı izinlerle sınırlandığını doğrulayın. Araç kapsamları, kimlik bağlamı, onay kapıları, günlükler ve geri alma seçeneklerini inceleyin. OWASP LLM risk rehberi tehdit desenleri sunar, ancak sınama gerçek entegrasyonları yansıtmalıdır.

Evaluate total cost and operational load

Belirteç veya kullanıcı başına fiyatlandırma; insan incelemesi, tekrar deneme, değerlendirme bakımı, erişim altyapısı, olay yönetimi ve yasal saklama maliyetlerini gizleyebilir. Gerçekçi görev hacmi, yoğun saatler, çok dilli kullanım, tekrarlar ve insana aktarılan çıktı oranıyla toplam maliyet modeli kurun. Bin belirteç maliyeti yerine toplam maliyet başına başarıyla tamamlanan yararlı iş sayısını ölçün. Ek faydayı görmek için mevcut elle veya kural tabanlı sürece karşılaştırma yapın. Daha düşük doğruluk, artan talep ve model fiyatı değişikliği senaryolarını değerlendirin. Taslak hazırlama hızlanırken doğrulama yükü artıyorsa net kapasite kazanımı oluşmayabilir.

Set a four-gate acceptance process

Dört kabul kapısı kullanın. Birinci kapı veri akışları, saklama, yetkilendirme, olay bildirimi ve alt yüklenici şeffaflığı gibi hukuki ve güvenlik ön koşullarını denetler. İkinci kapı saklı test kümesinde hata ciddiyetine göre görev kalitesini ölçer. Üçüncü kapı gecikme, yük, kurtarma ve güvenli eskalasyonla operasyonel güvenilirliği inceler. Dördüncü kapı tanımlı başlangıç durumuna göre iş değerini ve toplam maliyeti karşılaştırır. Zorunlu kapının başarısızlığı, etkileyici satış gösterisine rağmen yayına engel olmalıdır. İş sahibi, bilgi güvenliği, mühendislik ve satın alma birlikte onay vermelidir. Kritik işlerde aşamalı yayın, insan incelemesi ve durdurma koşulu gerekir.

Monitor drift after contract signature

Kabul testi yalnızca belirli andaki durumu kanıtlar, ömür boyu garanti değildir. Sağlayıcı modeli günceller; promptlar, bilgi kaynakları, iş kuralları ve entegrasyonlar da değişir. Model sürümlerini, prompt değişikliklerini, veri kaynaklarını, araç izinlerini ve regresyon sonuçlarını kaydeden değişiklik envanteri kurun. Önemli değişiklikten sonra saklı kabul kümesini yeniden çalıştırın; üretim örneklerinde halüsinasyon, eskalasyon kalitesi, mahremiyet, gecikme ve maliyeti izleyin. Hangi güncellemenin yeniden onay gerektirdiğini kararlaştırın. Küçük kalite gerilemesi binlerce yanlış karara dönüşebilir. Güvenlik veya güvenilirlik eşiği tekrar kaçırılırsa sözleşmede çıkış hakkı bulunmalıdır.

A useful first 90 days for buyers

İlk otuz günde görev kapsamını, zarar sınıflarını, mevcut performansı ve güvenlik yükümlülüklerini belirleyin; temsili test kümesini oluşturun. 31–60. günlerde sağlayıcıları kör testlerle karşılaştırın, araç entegrasyonlarını saldırgan girişimlerle sınayın ve insan denetiminin maliyetini hesaplayın. 61–90. günlerde sınırlı pilot uygulayın, istisnaları inceleyin, izleme sorumluları atayın ve ölçülebilir hizmet ile çıkış şartlarını müzakere edin. Belirsiz biçimde yeterince doğru denilerek onay vermeyin. Hangi hataların kabul edildiğini, hangilerinin yasak olduğunu ve sorumluları yazılı hale getirin. AI ajan izinleri, yönetim kuruluna kanıt sunumu ve NIST AI Risk Management Framework yararlıdır. Bu ay tek iş yapılacaksa ücretsiz denemeden önce kabul şartnamesini yazın.