Kontextfenster

Was ist ein Kontextfenster?

Ein Kontextfenster ist die gesamte Informationsmenge, die ein Large Language Model (LLM) beim Generieren einer Antwort „sehen“ und berücksichtigen kann. Gemessen in Token (etwa ¾ eines Wortes), umfasst das Kontextfenster alles, was das Modell verarbeitet: den System-Prompt, der das Verhalten des Agenten festlegt, den Gesprächsverlauf mit dem Kunden, über RAG abgerufene Dokumente sowie die Tools und Funktionen, die dem Agenten zur Verfügung stehen.

Man kann es sich als Arbeitsgedächtnis der KI vorstellen. Ein Modell mit einem Kontextfenster von 128.000 Token kann rund 96.000 Wörter gleichzeitig erfassen – so viel wie ein ganzer Roman. Ein Modell mit einem Fenster von 4.000 Token fasst etwa 3.000 Wörter, also rund 6 Seiten.

Warum die Größe des Kontextfensters im Kundenservice wichtig ist

Im Kundensupport beeinflusst die Größe des Kontextfensters direkt die Qualität der KI-Interaktionen. Mit einem größeren Kontextfenster kann der Agent:

• sich an den gesamten Gesprächsverlauf erinnern, auch bei langen Hin-und-her-Dialogen
• umfangreiche Produktdokumentationen und Richtliniendetails verarbeiten
• frühere Interaktionen und die Kontohistorie des Kunden berücksichtigen
• komplexe, mehrteilige Fragen beantworten, ohne den Faden zu verlieren

Ein kleines Kontextfenster erzwingt Kompromisse: Das System muss entscheiden, welche Informationen es aufnimmt und welche es verwirft. Erfordert eine Kundenfrage sowohl ein ausführliches Produkthandbuch als auch den Gesprächsverlauf der letzten 3 Monate, kann der Agent bei einem begrenzten Kontextfenster entscheidende Details übersehen.

Technischer Kontext: Moderne Frontier-Modelle bieten heute Kontextfenster von 128K bis 2M Token – ein enormer Sprung gegenüber den 4K bis 8K Token, die 2023 Standard waren. Dadurch ist es für KI-Agenten praktikabel geworden, ganze Wissensdatenbanken zusammen mit dem Gesprächskontext zu verarbeiten.

Kontextfenster vs. Wissensdatenbank

Kontextfenster und Wissensdatenbank erfüllen unterschiedliche Zwecke. Die Wissensdatenbank speichert sämtliche Informationen eines Unternehmens dauerhaft. Das Kontextfenster ist der Ausschnitt dieser Informationen, der für eine bestimmte Interaktion in das Modell geladen wird. RAG- und Knowledge-Graph-Verfahren schließen diese Lücke, indem sie für jede Anfrage gezielt auswählen, welche Informationen aus der Wissensdatenbank in das Kontextfenster gelangen.

Der Maven-Vorteil: Intelligentes Kontextmanagement

Maven AGI nutzt einen Knowledge Graph, damit bei jeder Interaktion die relevantesten Informationen das Kontextfenster füllen. Statt das Fenster mit allem Verfügbaren zu überladen, ermittelt das Retrieval-System von Maven genau, welche Richtlinien, Kontodetails und Gesprächsverläufe für die aktuelle Anfrage zählen. Dieses intelligente Kontextmanagement ermöglicht hohe Lösungsraten – auch bei komplexen Gesprächen mit vielen Wechseln.

Maven in der Praxis: Mastermind erreichte mit Maven AGI eine Lösungsrate von 93 % im Live-Chat und bewältigte dabei 60 % mehr Kontakte – ein Beleg dafür, dass intelligentes Kontextmanagement skaliert, ohne an Genauigkeit einzubüßen.

Häufig gestellte Fragen

Was passiert, wenn ein Gespräch das Kontextfenster überschreitet?

Überschreiten die Informationen das Kontextfenster, werden ältere Gesprächsteile oder weniger relevante abgerufene Dokumente zusammengefasst oder verworfen. Gut konzipierte Systeme bewahren den wichtigsten Kontext und fassen den Rest zusammen, damit der Agent entscheidende Details nicht mitten im Gespräch „vergisst“.

Bedeutet ein größeres Kontextfenster immer eine bessere Leistung?

Nicht unbedingt. Größere Kontextfenster fassen mehr Informationen, können aber auch Rauschen erzeugen. Studien zeigen, dass Modelle Schwierigkeiten haben können, relevante Informationen zu finden, wenn diese in der Mitte eines sehr langen Kontexts stehen. Ein intelligenter Abruf, der die richtigen Informationen ins Fenster bringt, ist wichtiger als die reine Fenstergröße.

Wie wird die Größe eines Kontextfensters gemessen?

Kontextfenster werden in Token gemessen. Ein Token entspricht etwa ¾ eines englischen Wortes. Ein Kontextfenster mit 128K Token fasst rund 96.000 Wörter. Die Tokenisierung variiert je nach Modell und Sprache – nicht englischsprachige Texte und Code benötigen in der Regel mehr Token pro Wort.