Okno kontekstowe

Czym jest okno kontekstowe?

Okno kontekstowe to łączna ilość informacji, którą duży model językowy (LLM) może „widzieć” i uwzględnić podczas generowania odpowiedzi. Mierzone w tokenach (token to ok. ¾ słowa), okno kontekstowe obejmuje wszystko, co przetwarza model: prompt systemowy określający zachowanie agenta, historię rozmowy z klientem, dokumenty pobrane za pomocą RAG oraz narzędzia i funkcje dostępne dla agenta.

Można je traktować jak pamięć roboczą AI. Model z oknem kontekstowym o rozmiarze 128 000 tokenów mieści jednocześnie ok. 96 000 słów — tyle, ile cała powieść. Model z oknem o rozmiarze 4 000 tokenów mieści ok. 3 000 słów, czyli mniej więcej 6 stron.

Dlaczego rozmiar okna kontekstowego ma znaczenie w obsłudze klienta

W obsłudze klienta rozmiar okna kontekstowego bezpośrednio wpływa na jakość interakcji z AI. Większe okno kontekstowe oznacza, że agent może:

• Pamiętać całą historię rozmowy, nawet przy długiej wymianie wiadomości
• Przetwarzać obszerną dokumentację produktów i szczegóły polityk
• Uwzględniać wcześniejsze interakcje klienta i historię jego konta
• Obsługiwać złożone, wieloczęściowe pytania bez gubienia wątku

Małe okno kontekstowe wymusza kompromisy: system musi decydować, które informacje uwzględnić, a które pominąć. Jeśli pytanie klienta wymaga zrozumienia zarówno szczegółowej instrukcji produktu, jak i 3-miesięcznej historii rozmów, ograniczone okno kontekstowe może sprawić, że agent przeoczy kluczowe szczegóły.

Kontekst techniczny: współczesne modele czołowe oferują okna kontekstowe o rozmiarze od 128K do 2M tokenów, co stanowi ogromny wzrost w porównaniu z oknami 4K–8K tokenów, standardowymi w 2023 roku. Dzięki temu agenci AI mogą w praktyce przetwarzać całe bazy wiedzy wraz z kontekstem rozmowy.

Okno kontekstowe a baza wiedzy

Okno kontekstowe i baza wiedzy pełnią różne funkcje. Baza wiedzy trwale przechowuje wszystkie informacje organizacji. Okno kontekstowe to podzbiór tych informacji ładowany do modelu na potrzeby konkretnej interakcji. Techniki RAG i grafów wiedzy łączą te dwa elementy, inteligentnie wybierając, które informacje z bazy wiedzy umieścić w oknie kontekstowym dla danego zapytania.

Przewaga Maven: inteligentne zarządzanie kontekstem

Maven AGI wykorzystuje graf wiedzy, aby w każdej interakcji okno kontekstowe wypełniały najbardziej istotne informacje. Zamiast umieszczać w oknie wszystko, co dostępne, system wyszukiwania Maven precyzyjnie określa, które polityki, dane konta i fragmenty historii rozmowy mają znaczenie dla bieżącego zapytania. To inteligentne zarządzanie kontekstem umożliwia wysokie wskaźniki rozwiązań nawet w złożonych, wieloetapowych rozmowach.

Dowód skuteczności Maven: Mastermind osiągnął z Maven AGI 93% rozwiązanych spraw na czacie na żywo, obsługując jednocześnie o 60% więcej kontaktów — co pokazuje, że inteligentne zarządzanie kontekstem skaluje się bez utraty dokładności.

Najczęściej zadawane pytania

Co się dzieje, gdy rozmowa przekracza okno kontekstowe?

Gdy ilość informacji przekracza okno kontekstowe, starsze fragmenty rozmowy lub mniej istotne pobrane dokumenty są podsumowywane albo pomijane. Dobrze zaprojektowane systemy zachowują najważniejszy kontekst, a resztę podsumowują, dzięki czemu agent nie „zapomina” kluczowych szczegółów w trakcie rozmowy.

Czy większe okno kontekstowe zawsze oznacza lepsze wyniki?

Niekoniecznie. Większe okno mieści więcej informacji, ale może też wprowadzać szum. Badania pokazują, że modele mogą mieć trudność ze znalezieniem istotnych informacji, gdy są one ukryte w środku bardzo długiego kontekstu. Inteligentne wyszukiwanie, które umieszcza w oknie właściwe informacje, jest ważniejsze niż sam rozmiar okna.

Jak mierzy się rozmiar okna kontekstowego?

Okna kontekstowe mierzy się w tokenach. Token to ok. ¾ słowa w języku angielskim. Okno o rozmiarze 128K tokenów mieści ok. 96 000 słów. Tokenizacja różni się w zależności od modelu i języka — tekst w językach innych niż angielski oraz kod zwykle wymagają więcej tokenów na słowo.