Çok büyük metin verileriyle eğitilmiş, bir metnin devamını olasılıksal olarak tahmin ederek dil üreten ve anlayan yapay zekâ modeli. Sohbet asistanlarının, yazma yardımcılarının ve ajanların çoğunun “beyni”dir.
Bir dil modeli metni token adı verilen küçük parçalara böler ve her adımda bir sonraki parçanın ne olacağını tahmin eder. Bu basit görünen mekanizma, yeterli veri ve ölçekle özetleme, çeviri, sınıflandırma, kod yazma ve akıl yürütmeye benzeyen davranışlar üretir. Modelin bir seferde dikkate alabildiği metin miktarına bağlam penceresi denir; talimatlar, belgeler ve konuşma geçmişi bu pencereye sığmalıdır. Model bilgiyi aramaz; eğitiminden ve bağlamdan aldığı örüntülerle üretir.
Ürün yöneticisinin model seçmesi gerekmez; ama seçimin sonuçlarını anlaması gerekir. Daha büyük modeller genellikle daha yetenekli, daha yavaş ve daha pahalıdır; küçük modeller hızlı ve ucuzdur ama karmaşık görevlerde zorlanabilir. Sağlayıcı bir model sürümünü güncellediğinde ürünün davranışı değişebilir. Bu yüzden ürün kararları belirli bir modele değil, eval ile ölçülen kalite, gecikme ve maliyet dengesine bağlanmalıdır. Model değişse bile ölçüm düzeneği ürünün sürekliliğini korur.
Sık yapılan hata. Modeli bir bilgi bankası gibi görmek. Model bir şeyi “bilmez”, olası bir cevap üretir; güncel ve doğrulanmış bilgi gerektiğinde RAG gibi yöntemlerle kaynağa bağlanmalıdır.