SCNET · Kurumsal BT · Ankara, Türkiye

Sanal Çekirdek

Model, yayına alındığı andan itibaren yaşlanır.

İleri analitik, geçmişi raporlamaktan farklıdır: gelecek bir davranışı tahmin eder ve bir karara girdi olur. Sanal Çekirdek işi tahminle değil, kararın hangi eşikte değişeceğiyle başlatır.

Doğruluk oranı tek başına bir başarı ölçüsü değildir. Değer, modelin verdiği çıktının bir kararı gerçekten değiştirmesiyle oluşur.

Soruyu karara bağlamak

İlk adım model değil, karardır: hangi karar, hangi sıklıkta, kim tarafından veriliyor ve tahmin bu kararı nasıl değiştirecek. Kararı değiştirmeyen bir tahmin, ne kadar doğru olursa olsun rafta kalır.

  • Kararın sahibi ve sıklığı baştan yazılır
  • Tahminin hangi eşikte eyleme dönüşeceği belirlenir
  • Mevcut karar yöntemi başlangıç değeri sayılır
  • Başarısızlık maliyeti iki yönlü hesaplanır

Veri hazırlığı ve sızıntı

Model kalitesinin büyük bölümü veri hazırlığında belirlenir. En sık yapılan hata, tahmin anında var olmayan bir bilginin eğitim verisine karışmasıdır; bu sızıntı laboratuvarda mükemmel, üretimde işe yaramaz bir model üretir.

  • Her özniteliğin tahmin anında var olduğu doğrulanır
  • Zaman bazlı bölme, rastgele bölmenin yerini alır
  • Eksik veri deseni ayrı bir sinyal olarak incelenir
  • Veri kaynağı ve sürümü kayıt altına alınır

Doğrulama ve açıklanabilirlik

Kurumsal kararda modelin neden öyle dediği sorulur. Öznitelik katkıları raporlanır, uç örnekler incelenir ve modelin güvenilir olmadığı alanlar açıkça işaretlenir.

  • Öznitelik katkısı karar sahibine anlaşılır sunulur
  • Modelin zayıf olduğu segmentler yazılır
  • Ayrımcı sonuç riski veri düzeyinde sınanır
  • Doğrulama seti üretim dağılımını temsil eder

Üretim ve model sonrası izleme

Model yayına alındığı anda yaşlanmaya başlar. Girdi dağılımı kaydıkça doğruluk sessizce düşer; bu yüzden izleme yalnız sistem sağlığını değil veri ve tahmin dağılımını da kapsar.

  • Girdi kayması eşikle izlenir
  • Tahmin dağılımı gerçekleşmeyle karşılaştırılır
  • Yeniden eğitim koşulu önceden yazılır
  • Model sürümü ve verisi birlikte saklanır

Nasıl çalışırız

  1. Kararı ve eşiği birlikte tanımlayın
  2. Veriyi hazırlayın, sızıntıyı eleyin
  3. Modeli zaman bazlı bölmeyle doğrulayın
  4. Üretime alın ve kararla bağlayın
  5. Kaymayı izleyip yeniden eğitimi tetikleyin

Başarı nasıl ölçülür

  • Tahmin, tanımlı bir kararı değiştiriyor
  • Üretim doğruluğu doğrulama sonucuna yakın
  • Girdi kayması eşiği aşınca uyarı üretiyor
  • Model sürümü ve verisi geriye izlenebilir

Sık sorulan sorular

Ne kadar veri gerekir?

Miktardan çok temsil gücü belirleyicidir. Az ama olayı iyi temsil eden veri, çok ama tek dönemi yansıtan veriden daha kullanışlıdır; yeterlilik ilk denemede ölçülür.

Hazır model kullanılabilir mi?

Bazı problemlerde evet. Ancak hazır model kurumun kendi verisiyle doğrulanmadan üretime alınmaz; başkasının dağılımında iyi çalışan model sizinkinde çalışmayabilir.

Model kararı kim verecek?

Karar insanda kalır, model girdi üretir. Otomatik karar verilecek alanlar ayrıca belirlenir ve bunların itiraz yolu tanımlanır.

Hangi kararı iyileştirmek istediğinizi söyleyin; modelin o kararda ne kadar fark yaratacağını birlikte ölçelim.

İyileştirilecek kararı seçin