LLM ile belge işleme, tedarikçi faturaları, sipariş formları ve irsaliyeler gibi belgelerden verinin otomatik okunup yapılandırılmasıdır. Demolar genellikle etkileyicidir; ancak üretime geçiş kararı için tek bir soru önemlidir: "Bu sistem ne kadar doğru ve hangi belgelerde yanılıyor?" Bu sorunun cevabı sezgiyle değil ölçümle verilmelidir.
1. Altın veri seti hazırlayın
Gerçek belgelerden temsili bir örneklem seçilir: farklı tedarikçiler, farklı formatlar, taranmış ve dijital belgeler, çok sayfalı ve el yazısı notlu örnekler. Her belge için doğru değerler (fatura no, tarih, vergi no, satır kalemleri, tutarlar) bir insan tarafından girilir. Başlangıç için 100–300 belge çoğu senaryoda anlamlı sonuç verir. Bu set, her model veya istem değişikliğinden sonra yeniden çalıştırılır.
2. Alan bazında ölçün
"Belgelerin %92'si doğru" gibi tek bir sayı yanıltıcıdır. Doğruluk alan bazında ölçülmelidir:
- Tam eşleşme: Fatura no, vergi no gibi alanlar birebir doğru mu?
- Normalleştirilmiş eşleşme: Tarih ve tutarlar biçim farkı yok sayılarak doğru mu?
- Satır kalemleri: Kalem sayısı, miktar ve birim fiyatlar doğru mu; satır toplamı fatura toplamını tutuyor mu?
- Eksik ve fazladan alan: Model alanı hiç bulamadı mı, yoksa olmayan bir değer mi uydurdu?
Özellikle ikinci tür hata, yani olmayan değeri uydurmak, sessiz ve tehlikelidir; ayrıca raporlanmalıdır.
3. Kural bazlı doğrulama ekleyin
Modelin çıktısı, iş kurallarıyla otomatik kontrol edilir: satır toplamları fatura tutarını tutuyor mu, vergi no ana verideki tedarikçiyle eşleşiyor mu, sipariş numarası açık bir siparişe karşılık geliyor mu? Bu kontroller, modelin tek başına ulaşamayacağı güvenilirliği sağlar.
4. Otomasyon eşiğini belirleyin
Her belge üç yoldan birine gider:
- Otomatik: Tüm kurallardan geçti, güven yüksek; kullanıcı onayı olmadan ERP'ye öneri olarak düşer.
- Kontrol: Bir veya birkaç alan şüpheli; kullanıcı yalnızca işaretli alanları kontrol eder.
- Manuel: Belge okunamadı veya kurallar ağır ihlal edildi.
Başlangıçta otomatik yol dar tutulur; ölçümler iyileştikçe genişletilir. Bu yaklaşımın mimari tarafı kurumsal yapay zeka mimarisi yazısında ele alındı.
5. Üretimde ölçmeye devam edin
Canlıda kullanıcıların yaptığı her düzeltme kayıt altına alınır. Bu kayıtlar hem gerçek doğruluğu gösterir hem de altın veri setini büyütür. Yeni bir tedarikçi formatı geldiğinde doğruluk düşüyorsa, bu erken fark edilir.
Hangi sonuç "yeterince iyi"?
Cevap iş etkisine bağlıdır. Belge başına manuel giriş süresi, hata maliyeti ve kontrol süresi birlikte hesaplanır. Çoğu senaryoda hedef, insanın tamamen çıkarılması değil, işin "veri girişi"nden "istisna kontrolü"ne dönüşmesidir. Yapay zeka ile süreç otomasyonu projelerinde kazanç en çok burada görülür.
Ölçülmeyen yapay zeka projesi, güvenilmeyen yapay zeka projesidir. Yapay zeka proje uzmanı olarak ilk teslimatım her zaman bir ölçüm düzeneğidir.
