Kullanım alanı ve model seçimi
Her senaryo en büyük modeli gerektirmez. Özetleme, sınıflandırma ve taslak üretimi için küçük modeller çoğu zaman yeterlidir ve maliyeti kat kat düşürür. Seçim, ölçülen kalite ile birim maliyet arasında yapılır.
- Aday modeller aynı test setiyle karşılaştırılır
- Gecikme ve maliyet kalite kadar ölçütdür
- Veri konumu gereksinimi model seçimini kısıtlar
- Model değişimi mimariyi bozmayacak biçimde soyutlanır
Korkuluklar ve sınırlar
Modelin ne yapmayacağı, ne yapacağı kadar tanımlıdır. Girdi ve çıktı denetimi, izin verilen konu sınırı ve kişisel veri filtresi sisteme gömülür; sınır dışına çıkan istek reddedilir, tahmin edilmez.
- Konu sınırı yazılı ve sınanabilir
- Kişisel veri girdi tarafında da filtrelenir
- Model çıktısı doğrudan işleme aktarılmaz
- Reddetme davranışı da test edilir
Değerlendirme ve sürüm yönetimi
Bir istem değişikliğinin iyileştirme mi bozma mı olduğu, ancak sabit bir değerlendirme setiyle bilinir. Setler kullanım alanına özgü hazırlanır ve her sürüm aynı setle ölçülür.
- Değerlendirme seti kurumun kendi örnekleriyle kurulur
- İstem ve model sürümü birlikte kaydedilir
- Gerileme testi her değişiklikte çalışır
- İnsan değerlendirmesi örneklemle sürer
Maliyet ve benimseme
Kullanım arttıkça maliyet doğrusal artar; bu yüzden önbellek, istem uzunluğu ve model kademesi birlikte yönetilir. Benimseme ise kullanıcının çıktıya güvenmesiyle ilgilidir, arayüz güzelliğiyle değil.
- Tekrarlanan istekler önbelleğe alınır
- Basit görevler küçük modele yönlendirilir
- Birim maliyet kullanım alanı bazında izlenir
- Kullanıcı geri bildirimi değerlendirme setini besler