KI-Konfidenzwert

Was ist ein KI-Konfidenzwert?

Ein KI-Konfidenzwert ist ein numerisches Maß (meist 0–100 % oder 0–1), das angibt, wie sicher sich ein KI-Agent über die Richtigkeit seiner Antwort oder die Angemessenheit seiner geplanten Aktion ist. Hohe Konfidenz bedeutet, dass starke Belege die Antwort stützen. Niedrige Konfidenz bedeutet, dass der Agent unsicher ist und die Antwort unzuverlässig sein könnte.

Konfidenzwerte sind der zentrale Mechanismus, um die Zuverlässigkeit von KI im Produktivbetrieb zu steuern. Sie bestimmen, wann die KI direkt antwortet, wann sie Rückfragen stellt und wann sie an einen Menschen eskaliert.

So funktionieren Konfidenzwerte

Konfidenzwerte ergeben sich aus mehreren Signalen:

• Retrieval-Qualität: Wie genau die abgerufenen Inhalte der Wissensdatenbank zur Frage des Kunden passen (anhand von Ähnlichkeitswerten der semantischen Suche)
• Quellenabdeckung: Ob mehrere Quellen die Antwort bestätigen oder nur eine einzige Quelle gefunden wurde
• Klarheit des Intents: Wie eindeutig die Intent-Erkennung erfasst hat, was der Kunde wissen möchte
• Fundierung der Antwort: Wie gut die generierte Antwort durch die abgerufenen Belege gestützt wird (Stärke des Groundings)

Warum Konfidenzwerte wichtig sind

Ohne Konfidenzbewertung behandelt ein KI-Agent jede Antwort mit gleicher Sicherheit – auch wenn er nur rät. Das führt zu halluzinierten Antworten, die mit falscher Überzeugung vorgetragen werden. Das ist schlimmer, als „Ich bin mir nicht sicher“ zu sagen oder an einen Menschen zu eskalieren.

Gut kalibrierte Konfidenzwerte ermöglichen ein abgestuftes Antwortverhalten:

• Hohe Konfidenz (über 90 %): Direkt auf den Kunden antworten
• Mittlere Konfidenz (60–90 %): Antworten, aber mit Einschränkungen, Rückfragen oder dem Angebot einer Eskalation
• Niedrige Konfidenz (unter 60 %): An einen menschlichen Mitarbeitenden eskalieren, statt eine ungenaue Antwort zu riskieren

Branchenkontext: 2024 trafen 47 % der KI-Nutzer in Unternehmen wichtige Geschäftsentscheidungen auf Basis halluzinierter Inhalte – eine Zahl, die zeigt, wie wichtig Konfidenzbewertung als Schutz vor übermäßiger Selbstsicherheit der KI ist.

Der Maven-Vorteil: Kalibrierte Konfidenz und Transparenz

Maven AGI nutzt Konfidenzbewertung in der gesamten Reasoning-Pipeline, um das Antwortverhalten zu steuern. Bei hoher Konfidenz löst der Agent das Anliegen autonom. Bei niedriger Konfidenz eskaliert er mit vollständigem Kontext. Mavens Funktion „Thinks Out Loud“ macht diese Konfidenzbewertung für Support-Teams sichtbar und schafft Transparenz darüber, warum die KI geantwortet, nachgefragt oder eskaliert hat.

Maven in der Praxis: Check erreicht eine Genauigkeit von 85 % bei komplexen Finanzanfragen – ein Bereich, in dem die Kalibrierung der Konfidenz entscheidend ist, weil falsche Antworten zu Finanzthemen echte Konsequenzen haben.

Häufig gestellte Fragen

Können Konfidenzwerte falsch sein?

Ja. Konfidenzwerte sind Schätzungen, keine Garantien. Eine KI kann mit hoher Sicherheit falsch liegen (hoher Wert bei falscher Antwort) oder unnötig unsicher sein (niedriger Wert bei richtiger Antwort). Kontinuierliche Kalibrierung durch QA und Feedbackschleifen verbessert die Genauigkeit mit der Zeit.

Sollten Kunden den Konfidenzwert der KI sehen?

In der Regel nicht – Rohwerte sind für Kunden nicht aussagekräftig. Stattdessen sollte die KI ihre Formulierung an die Konfidenz anpassen: „Ihre Rückerstattung wird innerhalb von 3–5 Werktagen bearbeitet“ (hohe Konfidenz) vs. „Soweit ich sehen kann, sollte Ihre Rückerstattung in 3–5 Werktagen bearbeitet werden. Ich verbinde Sie zur Bestätigung aber gern mit einem Spezialisten“ (mittlere Konfidenz).

Wie legt man die richtigen Konfidenzschwellen fest?

Beginnen Sie konservativ (mehr eskalieren) und passen Sie die Schwellen anhand von Daten an. Beobachten Sie die Genauigkeit der Antworten auf verschiedenen Konfidenzstufen und justieren Sie die Schwellen so, dass Lösungsquote und Genauigkeit im Gleichgewicht sind. Bereiche mit höherem Risiko (Gesundheitswesen, Finanzen) sollten höhere Schwellen verwenden als Bereiche mit geringerem Risiko.