Bağlam Penceresi (Context Window)

Bağlam Penceresi Nedir?

Bağlam penceresi, bir büyük dil modelinin (LLM) yanıt üretirken "görebildiği" ve dikkate alabildiği toplam bilgi miktarıdır. Token cinsinden ölçülen (1 token yaklaşık ¾ kelimedir) bağlam penceresi, modelin işlediği her şeyi içerir: ajanın davranışını tanımlayan sistem prompt'u, müşteriyle yapılan konuşmanın geçmişi, RAG ile erişilen dokümanlar ve ajanın kullanabileceği araç ve fonksiyonlar.

Bunu yapay zekânın çalışma belleği olarak düşünebilirsiniz. 128.000 token'lık bağlam penceresine sahip bir model aynı anda yaklaşık 96.000 kelimelik bilgiyi, yani bir romanın tamamına denk bir içeriği tutabilir. 4.000 token'lık pencereye sahip bir model ise yaklaşık 3.000 kelime, yani kabaca 6 sayfa tutabilir.

Bağlam Penceresi Boyutu Müşteri Hizmetleri İçin Neden Önemli?

Müşteri desteğinde bağlam penceresi boyutu, yapay zekâ etkileşimlerinin kalitesini doğrudan etkiler. Daha büyük bir bağlam penceresi sayesinde ajan:

• Uzun karşılıklı yazışmalarda bile konuşma geçmişinin tamamını hatırlayabilir
• Kapsamlı ürün dokümantasyonunu ve politika ayrıntılarını işleyebilir
• Müşterinin geçmiş etkileşimlerini ve hesap geçmişini dikkate alabilir
• Karmaşık, çok parçalı soruları akışı kaybetmeden yanıtlayabilir

Küçük bir bağlam penceresi ödünleşimlere yol açar: Sistem hangi bilgilerin dahil edileceğine ve hangilerinin dışarıda bırakılacağına karar vermek zorunda kalır. Bir müşterinin sorusu hem ayrıntılı bir ürün kılavuzunu hem de 3 aylık konuşma geçmişini anlamayı gerektiriyorsa, sınırlı bir bağlam penceresi ajanın kritik ayrıntıları gözden kaçırmasına neden olabilir.

Teknik bağlam: Günümüzün öncü modelleri 128K ile 2M token arasında bağlam pencereleri sunuyor; bu, 2023 yılında standart olan 4K-8K token'lık pencerelere kıyasla çarpıcı bir artış. Bu genişleme, yapay zekâ ajanlarının konuşma bağlamıyla birlikte bilgi tabanlarının tamamını işlemesini pratik hale getirdi.

Bağlam Penceresi ile Bilgi Tabanının Karşılaştırması

Bağlam penceresi ve bilgi tabanı farklı amaçlara hizmet eder. Bilgi tabanı, bir kuruluşun tüm bilgilerini kalıcı olarak depolar. Bağlam penceresi ise bu bilgilerin belirli bir etkileşim için modele yüklenen alt kümesidir. RAG ve bilgi grafiği teknikleri, her sorgu için bilgi tabanındaki hangi bilgilerin bağlam penceresine yerleştirileceğini akıllıca seçerek bu boşluğu kapatır.

Maven Avantajı: Akıllı Bağlam Yönetimi

Maven AGI, her etkileşimde bağlam penceresinin en ilgili bilgilerle doldurulmasını sağlamak için bir bilgi grafiği kullanır. Maven'ın erişim sistemi, pencereyi mevcut her şeyle doldurmak yerine o anki sorgu için hangi politikaların, hesap ayrıntılarının ve konuşma geçmişinin önemli olduğunu tam olarak belirler. Karmaşık, çok turlu konuşmalarda bile yüksek çözüm oranlarını mümkün kılan da bu akıllı bağlam yönetimidir.

Maven'dan kanıt: Mastermind, %60 daha fazla temas yönetirken Maven AGI ile canlı chat'te %93 çözüm oranına ulaştı. Bu sonuç, akıllı bağlam yönetiminin doğruluktan ödün vermeden ölçeklenebildiğini gösteriyor.

Sıkça Sorulan Sorular

Bir konuşma bağlam penceresini aştığında ne olur?

Bilgi bağlam penceresini aştığında konuşmanın eski bölümleri veya daha az ilgili erişilen dokümanlar özetlenir ya da çıkarılır. İyi tasarlanmış sistemler en önemli bağlamı korur ve geri kalanını özetler; böylece ajan konuşmanın ortasında kritik ayrıntıları "unutmaz".

Daha büyük bir bağlam penceresi her zaman daha iyi performans anlamına mı gelir?

Her zaman değil. Daha büyük bağlam pencereleri daha fazla bilgiye olanak tanır ancak gürültüye de yol açabilir. Araştırmalar, ilgili bilgi çok uzun bir bağlamın ortasında kaldığında modellerin bu bilgiyi bulmakta zorlanabildiğini gösteriyor. Pencereye doğru bilgiyi yerleştiren akıllı erişim, ham pencere boyutundan daha önemlidir.

Bağlam penceresi boyutu nasıl ölçülür?

Bağlam pencereleri token cinsinden ölçülür. 1 token, yaklaşık ¾ İngilizce kelimeye karşılık gelir. 128K token'lık bir bağlam penceresi yaklaşık 96.000 kelime tutar. Tokenizasyon modele ve dile göre değişir; İngilizce dışındaki metinler ve kod genellikle kelime başına daha fazla token kullanır.