Yapay zeka
LLM nedir?
LLM (Large Language Model, büyük dil modeli), çok büyük miktarda metinle eğitilmiş, bir metnin devamında hangi kelimenin geleceğini olasılıkla tahmin ederek çalışan bir yapay sinir ağıdır.
Son güncelleme:
Nasıl çalışır
Model, metni token adı verilen parçalara böler ve her adımda bir sonraki token için olasılık dağılımı üretir. Cümleyi anlamak yerine, eğitim verisindeki milyarlarca örnekten öğrendiği istatistiksel örüntüyü uygular. Bu ayrım pratikte önemlidir: model bir bilgiyi hatırlamaz, o bilginin metinde nasıl göründüğünü taklit eder.
Modelin büyüklüğü parametre sayısıyla ölçülür. 2018'de BERT 340 milyon parametreyle büyük sayılıyordu; bugün üretimde kullanılan modeller yüz milyarlar seviyesinde. Ama boyut tek başına kaliteyi belirlemiyor: eğitim verisinin kalitesi ve sonradan uygulanan hizalama adımları en az onun kadar etkili.
Bağlam penceresi neden önemli
Bağlam penceresi, modelin tek seferde görebildiği metin miktarıdır. 8.000 token'lık bir pencere yaklaşık 6.000 Türkçe kelimeye denk gelir; 200.000 token'lık bir pencere orta boy bir kitabı alır. Pencere büyüdükçe maliyet ve gecikme de artar, o yüzden her şeyi modele vermek üretimde nadiren doğru cevaptır.
Türkçe için ek bir ayrıntı var: çoğu tokenizer İngilizce metne göre optimize edilmiştir ve Türkçenin eklemeli yapısı yüzünden aynı cümle Türkçede daha fazla token harcar. Aynı metin için maliyet farkı yüzde 30-50 bandına çıkabilir.
LLM ile arama motoru farkı
Arama motoru mevcut belgeleri indeksler ve size bağlantı döndürür; kaynağı görürsünüz. LLM ise cevabı üretir, kaynağı varsayılan olarak göstermez ve emin olmadığı yerde de akıcı yazar. Halüsinasyon denen sorun buradan çıkar. Üretimde bu iki yaklaşım genellikle birleştirilir: belgeler aranır, bulunan parçalar modele verilir, model yalnızca o parçalara dayanarak cevap yazar. Bu yönteme RAG denir.
Kurumsal kullanımda dikkat edilecekler
- Veri nereye gidiyor: sağlayıcının API'sine giden metin, sözleşmede aksi yazmıyorsa eğitimde kullanılabilir. KVKK kapsamındaki veride bu tek başına engelleyici olabilir.
- Maliyet token başına ölçülür, kullanıcı başına değil. Bir özellik yayına girmeden önce ortalama token tüketimini ölçmek faturayı tahmin edilebilir kılar.
- Model sürümleri değişir. Aynı istem altı ay sonra farklı cevap verebilir; kritik akışlarda sürüm sabitlemek ve çıktıyı test etmek gerekir.
- Doğruluk gereken yerde modelin cevabını kaynağa bağlayın. Kaynaksız üretim, hukuki ve tıbbi bağlamda kullanılabilir değildir.