AI-betrouwbaarheidsscore

Wat is een AI-betrouwbaarheidsscore?

Een AI-betrouwbaarheidsscore (confidence score) is een numerieke maatstaf (doorgaans 0-100% of 0-1) die aangeeft hoe zeker een AI-agent is van de juistheid van zijn antwoord of van de geschiktheid van de actie die hij wil uitvoeren. Een hoge score betekent dat de agent sterk bewijs heeft voor zijn antwoord. Een lage score betekent dat de agent onzeker is en dat het antwoord mogelijk onbetrouwbaar is.

Betrouwbaarheidsscores zijn het belangrijkste middel om de betrouwbaarheid van AI in productie te beheren. Ze bepalen wanneer de AI direct antwoordt, wanneer hij verduidelijkende vragen stelt en wanneer hij escaleert naar een mens.

Hoe betrouwbaarheidsscores werken

Betrouwbaarheidsscores worden afgeleid uit meerdere signalen:

• Kwaliteit van de opgehaalde informatie: hoe goed de opgehaalde content uit de kennisbank aansluit op de vraag van de klant (via similarityscores van semantisch zoeken)
• Brondekking: of meerdere bronnen het eens zijn over het antwoord of dat er maar 1 bron is gevonden
• Duidelijkheid van de intentie: hoe duidelijk het systeem voor intentieherkenning heeft vastgesteld wat de klant vraagt
• Onderbouwing van het antwoord: hoe goed het gegenereerde antwoord wordt ondersteund door het opgehaalde bewijs (de sterkte van de grounding)

Waarom betrouwbaarheidsscores belangrijk zijn

Zonder betrouwbaarheidsscores behandelt een AI-agent elk antwoord met dezelfde zekerheid, ook als hij gokt. Dat leidt tot gehallucineerde antwoorden die met misplaatste zekerheid worden gegeven, en dat is erger dan zeggen "Ik weet het niet zeker" of escaleren naar een mens.

Goed gekalibreerde betrouwbaarheidsscores maken een getrapte aanpak mogelijk:

• Hoge betrouwbaarheid (90%+): direct antwoorden aan de klant
• Gemiddelde betrouwbaarheid (60-90%): antwoorden met een voorbehoud, verduidelijkende vragen stellen of aanbieden om te escaleren
• Lage betrouwbaarheid (onder 60%): escaleren naar een medewerker in plaats van een onjuist antwoord te riskeren

Context uit de markt: in 2024 nam 47% van de zakelijke AI-gebruikers belangrijke bedrijfsbeslissingen op basis van gehallucineerde content. Dat onderstreept hoe belangrijk betrouwbaarheidsscores zijn als bescherming tegen overmoedige AI.

Het voordeel van Maven: gekalibreerde betrouwbaarheid en transparantie

Maven AGI gebruikt betrouwbaarheidsscores in de hele redeneerpipeline om te bepalen hoe een AI-agent reageert. Bij een hoge betrouwbaarheid lost de agent het verzoek zelfstandig op. Bij een lage betrouwbaarheid escaleert hij met de volledige context. Met de functie "Thinks Out Loud" van Maven zien supportteams deze inschatting zelf, wat transparantie geeft over waarom de AI koos om te antwoorden, door te vragen of te escaleren.

Maven in de praktijk: Check haalt 85% nauwkeurigheid bij complexe financiële vragen, een domein waarin kalibratie van betrouwbaarheid cruciaal is, omdat onjuiste antwoorden over financiële zaken echte gevolgen hebben.

Veelgestelde vragen

Kunnen betrouwbaarheidsscores verkeerd zijn?

Ja. Betrouwbaarheidsscores zijn inschattingen, geen garanties. Een AI kan vol overtuiging ongelijk hebben (hoge score bij een onjuist antwoord) of onnodig onzeker zijn (lage score bij een correct antwoord). Continue kalibratie via QA en feedbackloops verbetert de nauwkeurigheid in de loop van de tijd.

Moeten klanten de betrouwbaarheidsscore van de AI zien?

Meestal niet: ruwe scores zeggen klanten weinig. De AI moet zijn taalgebruik juist afstemmen op de betrouwbaarheid: "Je terugbetaling wordt binnen 3-5 werkdagen verwerkt" (hoge betrouwbaarheid) versus "Op basis van wat ik zie, zou je terugbetaling binnen 3-5 werkdagen verwerkt moeten zijn, maar ik verbind je even door met een specialist om dat te bevestigen" (gemiddelde betrouwbaarheid).

Hoe stel je de juiste drempelwaarden in?

Begin voorzichtig (vaker escaleren) en stuur bij op basis van data. Monitor de nauwkeurigheid van antwoorden op verschillende betrouwbaarheidsniveaus en stem de drempels af om resolutiepercentage en nauwkeurigheid in balans te brengen. Domeinen met een hoger risico (zorg, financiën) vragen om hogere drempels dan domeinen met een lager risico.