Yapay zeka
RAG nedir?
RAG (Retrieval-Augmented Generation, erişimle desteklenmiş üretim), bir dil modelinin cevabı kendi eğitim verisinden üretmek yerine, soruya göre aranıp bulunan belgelere dayanarak yazmasını sağlayan yöntemdir.
Son güncelleme:
Üç adımda nasıl işler
- Hazırlık: belgeler parçalara (chunk) bölünür, her parça bir vektöre çevrilip vektör veritabanına yazılır.
- Arama: kullanıcı sorusu aynı yöntemle vektöre çevrilir ve anlamca en yakın parçalar bulunur.
- Üretim: bulunan parçalar soruyla birlikte modele verilir ve modelden yalnızca bu parçalara dayanarak cevap yazması istenir.
Fine-tuning yerine neden RAG
Fine-tuning modelin ağırlıklarını değiştirir; bilgi modelin içine gömülür. Belge değiştiğinde modeli yeniden eğitmek gerekir. RAG'de bilgi dışarıda durur, belgeyi güncellediğiniz an cevap da güncellenir. Kurum içi dokümantasyon gibi sürekli değişen içerikte RAG neredeyse her zaman doğru tercihtir; fine-tuning ise biçim ve üslup öğretmek için kullanılır, bilgi yüklemek için değil.
Maliyet tarafında da fark belirgin: RAG kurulumu mevcut belgelerle günler içinde ayağa kalkar, fine-tuning ise etiketli veri seti hazırlamayı gerektirir ve o veri setini hazırlamak genelde projenin en pahalı kalemidir.
Kaliteyi belirleyen yer: arama
RAG projelerinde hatanın büyük kısmı model değil arama kaynaklıdır. Yanlış parça bulunduysa model o yanlış parçaya dayanarak son derece ikna edici bir cevap yazar. Parça boyutu, örtüşme oranı ve bölme sınırının nereden geçtiği bu yüzden doğrudan cevap kalitesini belirler.
Türkçe içerikte ek bir zorluk var: gömme (embedding) modellerinin çoğu ağırlıklı olarak İngilizce veriyle eğitilmiştir ve Türkçe eşanlamlılarda başarımı düşer. Anlamsal aramayı anahtar kelime aramasıyla birleştiren hibrit yaklaşım, Türkçe belgelerde belirgin fark yaratır.