Soruyu karara bağlamak
İlk adım model değil, karardır: hangi karar, hangi sıklıkta, kim tarafından veriliyor ve tahmin bu kararı nasıl değiştirecek. Kararı değiştirmeyen bir tahmin, ne kadar doğru olursa olsun rafta kalır.
- Kararın sahibi ve sıklığı baştan yazılır
- Tahminin hangi eşikte eyleme dönüşeceği belirlenir
- Mevcut karar yöntemi başlangıç değeri sayılır
- Başarısızlık maliyeti iki yönlü hesaplanır
Veri hazırlığı ve sızıntı
Model kalitesinin büyük bölümü veri hazırlığında belirlenir. En sık yapılan hata, tahmin anında var olmayan bir bilginin eğitim verisine karışmasıdır; bu sızıntı laboratuvarda mükemmel, üretimde işe yaramaz bir model üretir.
- Her özniteliğin tahmin anında var olduğu doğrulanır
- Zaman bazlı bölme, rastgele bölmenin yerini alır
- Eksik veri deseni ayrı bir sinyal olarak incelenir
- Veri kaynağı ve sürümü kayıt altına alınır
Doğrulama ve açıklanabilirlik
Kurumsal kararda modelin neden öyle dediği sorulur. Öznitelik katkıları raporlanır, uç örnekler incelenir ve modelin güvenilir olmadığı alanlar açıkça işaretlenir.
- Öznitelik katkısı karar sahibine anlaşılır sunulur
- Modelin zayıf olduğu segmentler yazılır
- Ayrımcı sonuç riski veri düzeyinde sınanır
- Doğrulama seti üretim dağılımını temsil eder
Üretim ve model sonrası izleme
Model yayına alındığı anda yaşlanmaya başlar. Girdi dağılımı kaydıkça doğruluk sessizce düşer; bu yüzden izleme yalnız sistem sağlığını değil veri ve tahmin dağılımını da kapsar.
- Girdi kayması eşikle izlenir
- Tahmin dağılımı gerçekleşmeyle karşılaştırılır
- Yeniden eğitim koşulu önceden yazılır
- Model sürümü ve verisi birlikte saklanır