Qualitätssicherung (QA) im Support

Was ist QA im Kundensupport?

Qualitätssicherung (QA) im Kundensupport bedeutet, Kundeninteraktionen zu prüfen und zu bewerten, um sicherzustellen, dass sie die Standards für Genauigkeit, Vollständigkeit, Tonalität und Lösung erfüllen. Traditionell haben QA-Teams einen kleinen Prozentsatz der Gespräche menschlicher Agenten stichprobenartig geprüft, anhand eines Bewertungsrasters benotet und die Ergebnisse für Coaching und Verbesserung genutzt.

Da KI-Agenten inzwischen 60–90 % der Kundeninteraktionen übernehmen, muss sich QA weiterentwickeln und sowohl menschliche als auch KI-Leistung abdecken.

QA für KI-Agenten: Was sich ändert

KI-QA unterscheidet sich in mehreren Punkten von klassischer QA für Menschen:

• Skalierung: KI führt täglich Tausende Gespräche. QA kann sich nicht auf manuelle Stichproben verlassen – sie braucht automatisiertes Qualitätsmonitoring mit Observability-Tools
• Konsistenz: KI-Agenten arbeiten konsistenter als Menschen. QA konzentriert sich daher weniger auf Schwankungen und mehr auf systemische Probleme (falsche Informationen, übersehene Grenzfälle, schwaches Retrieval)
• Ursache: Macht die KI Fehler, liegt die Ursache meist in der Wissensbasis, den Guardrails oder der Retrieval-Konfiguration – nicht im Verhalten eines einzelnen Agenten
• Feedbackschleife: Wird ein Qualitätsproblem der KI behoben, gilt das für alle künftigen Interaktionen. Wird ein Qualitätsproblem eines Menschen behoben, gilt das für einen Agenten

Branchenkontext: Unternehmen mit den besten KI-Ergebnissen behandeln KI-Agenten als verantwortliche Mitglieder der Belegschaft – sie richten QA-Kennzahlen stärker auf Verhalten aus und gestalten Coaching- und Qualitätsprüfungsprozesse für Menschen und Maschinen neu.

Zentrale QA-Kennzahlen für KI-gestützten Support

• ** Lösungsquote:** Wurde das Anliegen tatsächlich gelöst?
• Antwortgenauigkeit: Waren die Informationen korrekt und vollständig?
• ** Grounding-Qualität:** Basierten die Antworten auf verifizierten Quellen?
• ** Halluzinationsrate:** Wie oft hat die KI unbelegte Aussagen generiert?
• ** CSAT:** Waren die Kunden mit der KI-Interaktion zufrieden?
• Angemessenheit von Eskalationen: Waren Eskalationen gerechtfertigt, oder hat die KI unnötig eskaliert?

Der Maven-Vorteil: Integrierte Quality Intelligence

Inbox und Data & Insights von Maven AGI bieten automatisierte QA-Funktionen. Die Inbox erkennt Wissenslücken, Widersprüche und veraltete Inhalte, die Qualitätsprobleme verursachen, direkt an der Quelle. Die Funktion „Thinks Out Loud“ macht die Argumentation bei jeder Interaktion transparent und beschleunigt so die Qualitätsprüfung. Die Audit Trails von Maven protokollieren jede Entscheidung und ermöglichen systematische QA in großem Maßstab.

Maven in der Praxis: Check erreicht mit Maven AGI eine Genauigkeit von 85 % bei komplexen Finanzanfragen – ein Beleg für die Qualitätsarchitektur der Plattform bei kritischen Interaktionen, in denen Genauigkeit nicht verhandelbar ist.

Häufig gestellte Fragen

Sollten QA-Teams KI-Gespräche prüfen?

Ja, aber anders als Gespräche mit Menschen. Statt einzelne Interaktionen zu bewerten, sollten QA-Teams Muster analysieren: Welche Themen erzeugen die meisten Fehler, welche Artikel der Wissensbasis sorgen für Verwirrung und wo ist die Konfidenz der KI falsch kalibriert? Dieser systematische Ansatz verbessert alle Interaktionen, nicht nur die geprüften Stichproben.

Wie oft sollte die Qualität der KI geprüft werden?

Automatisiertes Qualitätsmonitoring sollte kontinuierlich laufen. Eine manuelle QA-Prüfung von KI-Interaktionen sollte mindestens wöchentlich stattfinden, ergänzt durch eine tiefere monatliche Analyse. Kritische Qualitätskennzahlen sollten in Echtzeit-Dashboards mit Alerts bei plötzlichen Veränderungen überwacht werden.

Kann KI sich selbst prüfen?

KI kann QA durch automatisierte Bewertung von Antworten, Halluzinationserkennung und Genauigkeitsprüfungen unterstützen. Menschliche Aufsicht bleibt jedoch unverzichtbar – vor allem bei der Bewertung von Tonalität, Empathie und Urteilsvermögen in komplexen Situationen, die automatisierte Systeme nicht immer zuverlässig einschätzen.