Bir yapay zekâ modelinin performansının, dünyadaki verinin, kullanıcı davranışının ya da modelin kendisinin değişmesi nedeniyle zamanla düşmesi ya da değişmesi. AI-native ürünlerin canlı sistemler olarak izlenmesini zorunlu kılar.
Kaymanın birkaç kaynağı vardır. Veri kaymasında modele gelen girdilerin dağılımı değişir: yeni bir müşteri segmenti, yeni ürünler, yeni bir dil kullanımı. Kavram kaymasında girdiler aynı kalsa da doğru cevabın kendisi değişir: mevzuat güncellenir, fiyatlar değişir, müşteri beklentisi kayar. Hazır büyük dil modelleri kullanan ürünlerde üçüncü bir kaynak daha vardır: sağlayıcı modeli güncellediğinde ürünün davranışı, ekip hiçbir şeyi değiştirmeden farklılaşabilir. Üçü de sessizce gelir.
Kayma sessizdir; ürün çökmez, yalnızca yavaş yavaş kötüleşir. Bu yüzden izleme gerektirir: değerlendirme setinin düzenli olarak yeniden çalıştırılması, canlıdaki cevaplardan örneklem alınıp puanlanması, kullanıcı şikâyetlerinin ve insana devretme oranının takibi. Model sürümlerini sabitlemek ve sürüm değişikliklerini canlıya almadan önce test etmek de pratik önlemlerdir. AI-native ürün bitmiş bir ürün değil, sürekli bakım isteyen bir sistemdir. İzleme ritmi, ürünün risk düzeyine göre belirlenir.
Sık yapılan hata. Lansmanda yapılan değerlendirmeyi kalıcı bir kalite garantisi saymak. Lansman günü iyi çalışan bir sistem, kimse dokunmasa bile altı ay sonra aynı kalitede olmayabilir.
← Kuzey Yıldızı metriği Bütün kavramlar MoSCoW önceliklendirmesi →