RAG (Retrieval Augmented Generation)

Was ist RAG (Retrieval Augmented Generation)?

Retrieval Augmented Generation (RAG) ist eine KI-Architektur, die Information Retrieval mit Textgenerierung kombiniert, um präzise, fundierte Antworten zu erzeugen. Statt sich allein auf das interne Wissen eines Large Language Models (LLM) zu verlassen, das veraltet oder unvollständig sein kann, ruft RAG relevante Dokumente aus einer externen Wissensquelle ab und übergibt diesen Kontext während der Generierung an das Sprachmodell. Dieser Ansatz – erst abrufen, dann generieren – ist die Grundlage moderner Plattformen für KI-Kundenservice, denn er reduziert KI-Halluzinationen und stellt sicher, dass Antworten auf geprüften, aktuellen Informationen beruhen.

So funktioniert RAG

Die RAG-Pipeline besteht aus zwei Hauptphasen: Retrieval und Generierung.

Retrieval-Phase: Stellt ein Kunde eine Anfrage, wandelt das System sie in ein Dense Vector Embedding um – eine numerische Darstellung, die die semantische Bedeutung erfasst. Dieses Embedding wird mit einem Vektorindex vorverarbeiteter Dokumente (Hilfeartikel, Produktdokumentation, Richtlinienseiten, frühere Tickets) abgeglichen, und zwar mithilfe von Ähnlichkeitssuchverfahren wie Kosinus-Ähnlichkeit oder Approximate Nearest Neighbor (ANN) Search. Die relevantesten Dokumentabschnitte werden abgerufen und gerankt. Fortgeschrittene Implementierungen ergänzen die Vektorsuche um Abfragen im Knowledge Graph und keywordbasiertes Retrieval (Hybrid Search), um sowohl die semantische Bedeutung als auch exakte Begriffe wie Produktcodes oder Fehler-IDs zu erfassen.

Generierungsphase: Die abgerufenen Dokumentabschnitte werden als Kontext in den Prompt des LLM eingefügt. Das Sprachmodell erzeugt eine Antwort, die die abgerufenen Informationen zu einer schlüssigen Antwort in natürlicher Sprache zusammenführt. Da das Modell auf echtes Quellmaterial statt nur auf sein parametrisches Gedächtnis zurückgreift, ist die Antwort faktisch fundiert und auf konkrete Dokumente rückführbar.

Produktionsreife RAG-Systeme ergänzen weitere Zwischenschritte: Query Rewriting zur Verbesserung der Retrieval-Qualität, Reranking zur Priorisierung der relevantesten Abschnitte und RAG-Fusion-Techniken, die Ergebnisse mehrerer Retrieval-Strategien zusammenführen. Diese Verfeinerungen reduzieren Rauschen und erhöhen die Präzision.

Warum RAG wichtig ist

Large Language Models sind leistungsstarke Generatoren, haben aber eine entscheidende Schwäche: Sie können Informationen erzeugen, die plausibel klingen, aber faktisch falsch sind. Das nennt man Halluzination – und im Kundenservice bedeutet das etwa eine falsche Abrechnungsrichtlinie, einen falschen Lösungsschritt oder eine Funktion, die es gar nicht gibt. RAG löst dieses Problem, indem jede Antwort in abgerufenen Belegen verankert wird.

Das grundlegende RAG-Paper von Lewis et al. (2020), veröffentlicht auf der NeurIPS, zeigte, dass die Kombination eines vortrainierten Sprachmodells mit einem neuronalen Retriever über externe Dokumente spezifischere, vielfältigere und faktentreuere Ergebnisse liefert als rein parametrische Modelle. Diese Architektur ist seitdem der Standard für wissensintensive KI-Anwendungen, wie die ursprüngliche RAG-Forschung auf arXiv belegt.

Im Kundenservice wirkt sich RAG unmittelbar aus. Der KI-Agent kann seine Quellen angeben, Support-Teams können die Richtigkeit prüfen, und Kunden erhalten Antworten auf Basis des tatsächlichen Unternehmenswissens – nicht auf Basis einer Vermutung des Modells. Außerdem lässt sich die KI mit RAG einfach aktuell halten: Sobald der Dokumentindex aktualisiert ist, berücksichtigt die KI die neuen Informationen sofort, ohne erneutes Training.

Anwendungsfälle

RAG ist branchenübergreifend das technische Fundament für präzisen KI-Support:

• Kundensupport: Abruf von Hilfeartikeln, Produktdokumentation und Kontodaten, um präzise Antworten auf Kundenfragen zu generieren
• Internes Wissensmanagement: Mitarbeitende können Confluence, Notion, Google Drive und andere Repositories in natürlicher Sprache durchsuchen
• Compliance und regulierte Branchen: Jede KI-Antwort basiert auf freigegebenen Richtliniendokumenten, mit nachvollziehbaren Quellenangaben für Audits
• Technisches Troubleshooting: Abruf von Fehlerdokumentation, API-Referenzen und bewährten Lösungsmustern für Interaktionen im SaaS-Support
• Mehrsprachiger Support: Abruf von Quelldokumenten in einer Sprache und Generierung von Antworten in der bevorzugten Sprache des Kunden

Der Maven-Vorteil

Die Plattform von Maven AGI basiert auf einer ausgereiften RAG-Architektur. Agent Maven nutzt Hybrid Search, die Dense Vector Embeddings mit strukturierten Abfragen im Knowledge Graph über mehr als 100 angebundene Datenquellen kombiniert. Mehrstufiges Reranking und Context Fusion sorgen dafür, dass die relevantesten Informationen die Generierungsebene erreichen – für präzise, vollständige Antworten.

Enumerate, ein PropTech-Unternehmen, erreichte mit Maven AGI eine Lösungsquote von 91 %. Diese Genauigkeit ist nur möglich, weil die RAG-Pipeline von Maven geprüfte Informationen aus der eigenen Wissensdatenbank und den Produktsystemen des Unternehmens abruft – nicht aus dem parametrischen Gedächtnis des LLM. So entfällt das Halluzinationsrisiko, das das Vertrauen in KI-Support untergräbt.

Für Maven AGI, finanziert mit 78 Mio. US-Dollar, ist RAG eine grundlegende Ebene. Jede Antwort von Agent Maven basiert auf abgerufenen Belegen und enthält für mehr Transparenz Quellenangaben. Deshalb erreichen Maven-Kunden wie K1x eine Lösungsquote von 80 % (10-mal so hoch wie mit der bisherigen KI) und Papaya Pay 90 % autonome Lösungen. Mehr dazu erfahren Sie bei IBM Research zu Retrieval Augmented Generation – oder Sie lesen, wie sich hybrides Retrieval in der aktuellen Forschung zu RAG mit Knowledge Graphs weiterentwickelt.

Häufig gestellte Fragen

Wie reduziert RAG KI-Halluzinationen?

RAG reduziert Halluzinationen, indem die Ausgabe des Sprachmodells auf abgerufenen Quelldokumenten basiert statt allein auf internen Parametern. Das Modell stützt sich auf konkrete, geprüfte Textpassagen. Enthält der abgerufene Kontext keine Antwort, benennen gut konzipierte RAG-Systeme diese Lücke, statt eine Antwort zu erfinden.

Was sind Vector Embeddings und warum sind sie für RAG wichtig?

Vector Embeddings sind numerische Darstellungen von Text, die dessen semantische Bedeutung erfassen. Das Wort „Rückerstattung“ und die Formulierung „mein Geld zurückbekommen“ hätten ähnliche Embeddings, obwohl sie kein Wort gemeinsam haben. In RAG ermöglichen Embeddings eine semantische Suche: Das System findet inhaltlich relevante Dokumente, nicht nur Keyword-Treffer. Genau deshalb ist RAG für Conversational AI deutlich effektiver als klassische Suche.

Muss das Sprachmodell für RAG neu trainiert werden?

Nein. Ein zentraler Vorteil von RAG ist, dass das Sprachmodell bei geänderten Informationen nicht neu trainiert werden muss. Teams aktualisieren den Dokumentindex, und die Retrieval-Ebene liefert bei der Generierung sofort die aktuellen Informationen. Damit eignet sich RAG ideal für dynamische Umgebungen wie den SaaS-Support, in denen sich die Dokumentation häufig ändert.

Was ist Hybrid Search in einem RAG-System?

Hybrid Search kombiniert vektorbasierte semantische Suche mit keywordbasiertem Retrieval (BM25 oder ähnlich). Die Vektorsuche erfasst Bedeutung und Absicht besonders gut, die Keyword-Suche eignet sich besser für exakte Treffer wie Produktcodes und Fehler-IDs. Durch die Kombination liefert die RAG-Pipeline relevante Ergebnisse – ob die Anfrage umgangssprachlich oder sehr spezifisch ist. Maven AGI setzt diesen hybriden Ansatz auf seiner Plattform für Enterprise-KI-Support ein.