RAG (Retrieval-Augmented Generation), bir dil modelinin soruyu cevaplamadan önce ilgili bilgiyi şirketin kendi kaynaklarından bulup kullanmasını sağlayan mimaridir. Model, genel bilgisine değil sizin prosedürlerinize, sözleşmelerinize ve dokümanlarınıza dayanarak cevap verir. Kurumsal yapay zeka asistanlarının büyük çoğunluğu bu yaklaşımla kurulur.
Neden RAG?
- Güncellik: Model yeniden eğitilmeden, doküman güncellendiği anda cevap da güncellenir.
- Doğruluk: Cevap, gerçek kaynaklara dayandığı için uydurma (halüsinasyon) riski azalır.
- İzlenebilirlik: Asistan, cevabın hangi dokümanın hangi bölümünden geldiğini gösterebilir.
- Maliyet: Model eğitmek yerine mevcut modeller kullanılır.
RAG nasıl çalışır?
- Hazırlık: Dokümanlar metne dönüştürülür, anlamlı parçalara bölünür ve her parçanın anlamını temsil eden sayısal vektörler (embedding) üretilir.
- Dizinleme: Parçalar, vektörleri ve üst verileriyle (doküman adı, tarih, erişim yetkisi) aranabilir bir dizine eklenir.
- Arama: Kullanıcı soru sorduğunda soru da vektöre çevrilir; anlamca en yakın parçalar bulunur. Anahtar kelime aramasıyla birlikte kullanılması (hibrit arama) genellikle daha iyi sonuç verir.
- Üretim: Bulunan parçalar, "yalnızca bu kaynaklara dayanarak cevap ver" talimatıyla birlikte modele verilir.
- Kaynak gösterme: Cevabın altında kullanılan dokümanlar listelenir.
Kaliteyi belirleyen kararlar
- Parçalama stratejisi: Çok küçük parçalar bağlamı kaybeder, çok büyükler gürültü ekler. Başlık yapısına göre parçalamak çoğu kurumsal dokümanda iyi sonuç verir.
- Doküman hijyeni: Eski sürümler, çelişen prosedürler ve taranmış ama okunamayan PDF'ler cevap kalitesini doğrudan düşürür.
- Yetki kontrolü: Kullanıcı yalnızca erişim yetkisi olan dokümanlardan cevap almalıdır; bu filtre arama anında uygulanmalıdır.
- "Bilmiyorum" diyebilme: İlgili kaynak bulunamadığında asistan tahmin yürütmemeli, bunu açıkça söylemelidir.
Kalite nasıl ölçülür?
Gerçek kullanıcı sorularından oluşan bir test seti hazırlanır ve her soru için doğru kaynak ile beklenen cevap belirlenir. Ölçülen şeyler: doğru kaynağın bulunma oranı, cevabın kaynağa sadakati ve kullanıcı geri bildirimi. Bu yaklaşım, belge işlemede doğruluk ölçümüne benzer bir disiplin gerektirir.
ERP ile birlikte kullanım
RAG yalnızca dokümanlarla sınırlı değildir. Süreç kılavuzları RAG ile, güncel sipariş veya stok bilgisi ise ERP'den gerçek zamanlı ve yetki kontrollü bir API çağrısıyla getirilerek aynı asistanda birleştirilebilir. Bu tür bir tasarımın veri güvenliği boyutu için KVKK ve veri güvenliği yazısına bakabilirsiniz.
RAG, kurumsal yapay zekaya başlamanın en pratik yollarından biridir. Başarısı ise modelden çok veri hazırlığına ve ölçüme bağlıdır. Yapay zeka çözüm mimarlığı çalışmalarında ilk iş, hangi dokümanların gerçekten güvenilir kaynak olduğunu belirlemektir.
