RAG'in gerçekten çalıştığı yer
RAG, cevabı bir belgede yazılı olan ve sık güncellenen bilgide güçlüdür: prosedürler, ürün belgeleri, sözleşme maddeleri, politika metinleri. Model yeniden eğitilmediği için kaynak değiştiğinde yanıt da değişir ve gösterilen kaynak denetlenebilir.
- Cevap tek bir belgede yazılıysa isabet yüksektir
- Kaynak değişince yeniden eğitim gerekmez
- Gösterilen atıf yanıtı denetlenebilir kılar
- Yetki filtresi kaynak sistemden miras alınır
Yetmediği dört durum
Başarısız yanıtların çoğu tek bir nedene değil dört ayrı nedene dayanır. Ayrımı yapmadan yapılan iyileştirme, yanlış katmanı onarır: erişim sorununa model değiştirmek fayda getirmez.
- Bilgi hiç yazılı değil: kaynak üretilmeden çözülmez
- Belgeler çelişiyor: önce hangisinin geçerli olduğu kararı gerekir
- Soru çok adımlı çıkarım istiyor: erişim tek başına yetmez
- Yanıt hesap gerektiriyor: sayıyı model değil bir araç üretmeli
Sonraki adım: eğitim mi, araç mı?
Eksik olan şey belirlendikten sonra çözüm de belirlenir. Davranış ve biçim eksikse ince ayar (SFT), alan dili eksikse sürdürülen ön eğitim (CPT), hesap ve işlem eksikse modele bağlanan araçlar değerlendirilir. Bunlar birbirinin alternatifi değil, farklı eksiklerin karşılığıdır.
- Biçim ve görev davranışı için ince ayar
- Alan dili derinliği için sürdürülen ön eğitim
- Hesap ve sorgu için araç çağırma
- Çok adımlı akış için planlayan bir iş akışı
Kararı ölçüm verir
Hangi yolun seçileceği tartışmayla değil, gerçek sorulardan derlenen bir değerlendirme setiyle belirlenir. Aynı set değişiklikten önce ve sonra koşulur; gerileme varken değişiklik üretime alınmaz.
- Set gerçek kullanıcı sorularından derlenir
- Erişim isabeti ve yanıt doğruluğu ayrı puanlanır
- Yanıt verilmemesi de bir başarı biçimidir
- Değişiklik aynı setle öncesine karşı ölçülür