Yapay zekâ ürününün cevaplarını sürekli puanlayan kalite ölçüm düzeneği. Eval’i olmayan bir yapay zekâ ürünü, göstergesi olmayan bir uçaktır.
Klasik yazılımda test ya geçer ya kalır. Olasılıksal bir üründe ise aynı girdi farklı çıktılar üretebileceği için kalite tek bir testle değil, çok sayıda örnek üzerinden ölçülen bir dağılımla anlaşılır. Eval düzeneğinin kalbi, gerçek kullanım senaryolarını temsil eden ve her biri için iyi cevabın ne olduğu tanımlanmış bir değerlendirme setidir (golden set). Her prompt, model ya da veri değişikliğinden sonra ürün bu set üzerinde yeniden puanlanır.
Puanlama üç yolla yapılır: kural tabanlı kontroller (format doğru mu, yasaklı içerik var mı), insan değerlendirmesi ve başka bir modelin değerlendirici olarak kullanılması. Ürün yöneticisinin görevi “iyi cevap”ın ölçütlerini tanımlamaktır: doğruluk, eksiksizlik, ton, kaynak gösterme, güvenlik. Değerlendirme seti canlıdaki hatalarla sürekli zenginleştirilir; kullanıcıların şikâyet ettiği her vaka, bir sonraki sürümün sınav sorusuna dönüşür. Böylece ürün her sürümde yalnızca yeni şeyler öğrenmez, eski hatalarını tekrar etmediğini de kanıtlar.
Sık yapılan hata. Eval’i lansmandan sonra düşünmek. İlk günden kurulmayan bir ölçüm düzeneği, ürünün iyileşip iyileşmediğini değil, yalnızca ekibin izlenimini gösterir.