Kullanıcıların rastgele iki gruba ayrılıp birine mevcut sürümün (A), diğerine değiştirilmiş sürümün (B) gösterildiği ve önceden belirlenen bir metrikteki farkın ölçüldüğü kontrollü deney. Bir değişikliğin etkisini sezgiyle değil kanıtla gösterir.
A/B testinin gücü rastgele atamadan gelir: iki grup arasındaki tek sistematik fark test edilen değişiklik olduğu için, metrikteki farkın büyük olasılıkla o değişiklikten kaynaklandığı söylenebilir. Bunun için birkaç koşul gerekir: test öncesinde tek bir birincil metrik ve beklenen etki yazılmalı, yeterli örneklem büyüklüğü hesaplanmalı ve test bu büyüklüğe ulaşmadan sonuca bakılıp durdurulmamalıdır. Aksi halde rastlantısal dalgalanmalar başarı gibi görünür. Disiplin, aracın kendisinden önemlidir.
A/B testi her soruya cevap vermez. Yeterli trafiği olmayan ürünlerde anlamlı sonuç üretmek haftalar sürer; tamamen yeni bir ürün fikrini değil, mevcut bir deneyimdeki değişikliği ölçmeye uygundur. Birincil metriğin yanında, başka bir şeyin bozulmadığını gösteren koruyucu metrikler de izlenmelidir: dönüşüm artarken iade ya da şikâyet oranı da artıyorsa kazanç yanıltıcıdır. Erken aşamada nitel testler, olgun ürünlerde A/B testleri daha çok işe yarar.
Sık yapılan hata. Sonuçlara her gün bakıp ilk olumlu farkta testi durdurmak. Bu alışkanlık, gerçekte olmayan etkileri “kazanan” ilan etmenin en yaygın yoludur.