Ürün Yönetimi Sözlüğü · Adım 7 · Prototip

Wizard of Oz testi

İngilizce: Wizard of Oz test

Kullanıcının otomatik çalıştığını düşündüğü bir ürünün arka planda insanlar tarafından elle işletildiği deney. Pahalı teknolojiyi kurmadan önce, müşterinin o deneyime gerçekten ihtiyaç duyup duymadığını sınar.

Adını, perdenin arkasında makineleri elle çalıştıran Oz Büyücüsü’nden alır. Kullanıcı bir uygulama, bir sohbet asistanı ya da bir öneri sistemiyle etkileşime girer; ama cevapları bir algoritma değil, perde arkasındaki ekip üyeleri üretir. Böylece ekip haftalar sürecek bir mühendislik yatırımı yapmadan, kullanıcıların sonucu nasıl karşıladığını, ne sıklıkla kullandığını ve hangi cevaplardan memnun kaldığını gerçek davranışla görür. Ekip ayrıca hangi taleplerin otomatikleştirilmesinin zor olduğunu da erkenden öğrenir.

Yakın bir yöntem olan konsiyerj MVP’de ise kullanıcı hizmetin insan eliyle verildiğini bilir: ekip müşteriye birebir hizmet vererek ihtiyacı ve süreci öğrenir. Wizard of Oz deneyimin otomatik halini, konsiyerj ise değerin kendisini test eder. İki yöntem de ölçeklenmez ve ölçeklenmesi beklenmez; amaç öğrenmektir. Kullanıcıların verileri ya da kararları üzerinde etkisi olan durumlarda deneyin niteliği şeffaf biçimde açıklanmalıdır. Müşterinin güveni, deneyin kendisinden daha değerlidir.

ÖrnekRaporlama asistanı ekibi yapay zekâ modelini kurmadan önce on proje yöneticisine “asistan” arayüzü verir. Yüklenen verilerden raporu iki hafta boyunca ekipteki bir analist elle yazar; ekip, kullanıcıların en çok risk özetini okuduğunu ve grafikleri neredeyse hiç açmadığını öğrenir.

Sık yapılan hata. Olumlu sonucu teknik fizibilitenin kanıtı saymak. Wizard of Oz talebi test eder; aynı kalitenin bir modelle, makul maliyet ve gecikmeyle üretilebileceği ayrıca doğrulanmalıdır.

AI katmanı AI-native ürünlerde bu yöntem yeniden değer kazandı: model kurmadan önce ideal cevabın neye benzediğini insanlarla üretmek, eval için değerlendirme setinin ilk örneklerini de verir.

İlgili kavramlar

← Wireframe (tel çerçeve) Bütün kavramlar Yapılacak iş (JTBD) →