SCNET · Kurumsal BT · Ankara, Türkiye

Sanal Çekirdek

RAG bilgiyi getirir; muhakemeyi getirmez.

Bilgi erişimli üretim (RAG), kurumun kendi belgelerinden alınan içerikle yanıt üretir. Yanıtın dayanacağı belge yoksa, belgeler birbiriyle çelişiyorsa veya soru birden çok adımda çıkarım gerektiriyorsa bu yaklaşım tek başına yetmez.

Kısa yanıt: RAG bir erişim katmanıdır. Sınırı, sorunun cevabının bir yerde yazılı olup olmadığıdır.

RAG'in gerçekten çalıştığı yer

RAG, cevabı bir belgede yazılı olan ve sık güncellenen bilgide güçlüdür: prosedürler, ürün belgeleri, sözleşme maddeleri, politika metinleri. Model yeniden eğitilmediği için kaynak değiştiğinde yanıt da değişir ve gösterilen kaynak denetlenebilir.

  • Cevap tek bir belgede yazılıysa isabet yüksektir
  • Kaynak değişince yeniden eğitim gerekmez
  • Gösterilen atıf yanıtı denetlenebilir kılar
  • Yetki filtresi kaynak sistemden miras alınır

Yetmediği dört durum

Başarısız yanıtların çoğu tek bir nedene değil dört ayrı nedene dayanır. Ayrımı yapmadan yapılan iyileştirme, yanlış katmanı onarır: erişim sorununa model değiştirmek fayda getirmez.

  • Bilgi hiç yazılı değil: kaynak üretilmeden çözülmez
  • Belgeler çelişiyor: önce hangisinin geçerli olduğu kararı gerekir
  • Soru çok adımlı çıkarım istiyor: erişim tek başına yetmez
  • Yanıt hesap gerektiriyor: sayıyı model değil bir araç üretmeli

Sonraki adım: eğitim mi, araç mı?

Eksik olan şey belirlendikten sonra çözüm de belirlenir. Davranış ve biçim eksikse ince ayar (SFT), alan dili eksikse sürdürülen ön eğitim (CPT), hesap ve işlem eksikse modele bağlanan araçlar değerlendirilir. Bunlar birbirinin alternatifi değil, farklı eksiklerin karşılığıdır.

  • Biçim ve görev davranışı için ince ayar
  • Alan dili derinliği için sürdürülen ön eğitim
  • Hesap ve sorgu için araç çağırma
  • Çok adımlı akış için planlayan bir iş akışı

Kararı ölçüm verir

Hangi yolun seçileceği tartışmayla değil, gerçek sorulardan derlenen bir değerlendirme setiyle belirlenir. Aynı set değişiklikten önce ve sonra koşulur; gerileme varken değişiklik üretime alınmaz.

  • Set gerçek kullanıcı sorularından derlenir
  • Erişim isabeti ve yanıt doğruluğu ayrı puanlanır
  • Yanıt verilmemesi de bir başarı biçimidir
  • Değişiklik aynı setle öncesine karşı ölçülür

Nasıl çalışırız

  1. Başarısız yanıtları toplayın, tahmin etmeyin
  2. Her başarısızlığı dört nedenden birine yazın
  3. Eksiğin bilgi mi, davranış mı, hesap mı olduğunu ayırın
  4. Her sınıfa kendi çözümünü eşleyin
  5. Kararı değerlendirme setiyle doğrulayın

Başarı nasıl ölçülür

  • Kaynaksız yanıt oranı düşüyor
  • Yanıtsız bırakılan soru bilinçli ve izlenebilir
  • Başarısızlıklar nedenine göre sınıflanabiliyor
  • Her değişiklik aynı setle öncesine karşı ölçülüyor

Sık sorulan sorular

Belge hiç yoksa RAG ne yapmalı?

Yanıt üretmemeli. Kaynağı olmayan soruda susmak, uydurmaktan iyidir; bu davranış sistemin tasarımına yazılır. Asıl çözüm bilgiyi yazılı hâle getirmektir.

İnce ayar RAG'in yerine geçer mi?

Geçmez. İnce ayar davranışı ve biçimi değiştirir, bilgiyi güncel tutmaz. Sık değişen kurum bilgisi için erişim katmanı gereklidir; ikisi çoğu kurumda birlikte kullanılır.

Çok adımlı sorular için ne gerekir?

Adımları planlayan ve araç çağırabilen bir iş akışı. Tek seferlik erişim, ara sonuç üretmesi gereken soruları karşılamaz.

Başarısız yanıtlarınızdan bir örneklem paylaşın; eksiğin hangi katmanda olduğunu birlikte sınıflayalım.

RAG kullanım alanınızı birlikte sınıflayalım