Modelin yapmaması gereken şeyleri engelleyen sınırlar: zararlı içerik, gizli veri sızıntısı, kapsam dışına çıkma. Ürün yöneticisi “asla yapılmayacaklar” listesini çıkarır.
Guardrail’ler modelin önüne ve arkasına konan kontrol katmanlarıdır. Girdi tarafında kapsam dışı, kötü niyetli ya da modeli talimatlarının dışına çıkarmaya yönelik talepleri (prompt injection) yakalar; çıktı tarafında zararlı içeriği, kişisel veri sızıntısını, yetkisiz tavsiyeyi ve kapsam dışına çıkan cevapları engeller. Bazıları basit kurallar, bazıları ayrı sınıflandırıcı modeller, bazıları da belirli eylemlerden önce insan onayı istemek biçiminde uygulanır. Katmanlar birbirini tamamlar.
Ürün yöneticisinin sorumluluğu, ürünün “asla yapmaması gerekenler” listesini çıkarmaktır. Bu liste yalnızca teknik ekibin değil; ürün, hukuk, risk ve müşteri deneyiminin ortak kararıdır. Guardrail ile kullanıcı deneyimi arasında bir gerilim vardır: çok gevşek koruma güveni, çok sıkı koruma kullanışlılığı öldürür. Bu dengeyi bulmak için guardrail’ler de eval’ler gibi ölçülür: neyi doğru engelledi, neyi gereksiz yere engelledi? İkisi birlikte izlenmezse denge bozulur.
Sık yapılan hata. Guardrail’i yalnızca zararlı içerik filtresi sanmak. Ürünün kapsamı dışına çıkmak, yetki aşımı ve mahremiyet ihlali de en az zararlı içerik kadar ciddi risklerdir.
← Genişlet, karar ver, sahiplen Bütün kavramlar Halüsinasyon →