Betrouwbaarheid en onderbouwing
De twee metingen bij elk antwoord, wat elke meting je wel en niet kan vertellen, en hoe je ze samen leest.
Dat een agent zeker klinkt, zegt je niet of hij ook gelijk had. Daarom wordt elk antwoord twee keer gemeten, met twee methodes die elk op een andere manier tekortschieten.
Betrouwbaarheid: dekte je inhoud de vraag?
Betrouwbaarheid is een getal van 0 tot 100, gemeten aan het zoekresultaat, voordat het antwoord geschreven wordt. De meting stelt één vraag: hebben we in je bronnen iets gevonden dat echt over deze vraag gaat?
Ze kijkt naar hoe goed de beste passage is, en naar hoe ver die passage uitsteekt boven de passages die eronder eindigen. Een vraag die je inhoud dekt, levert een duidelijke winnaar op. Een vraag die je inhoud niet dekt, levert een rij passages op die er allemaal even ver naast zitten.
| Betrouwbaarheid | Getoond als | Betekenis |
|---|---|---|
| 70 en hoger | Goed gedekt | Dit staat in je bronnen. |
| 50 tot 70 | Deels gedekt | Er is iets verwants gevonden. Het antwoord kan onvolledig zijn. |
| onder 50 | Slecht gedekt | Je bronnen hadden weinig of niets. Een goede agent heeft dat dan ook gezegd. |
De schaal is geijkt op echte vragen, niet verzonnen: 50 ligt op de gemeten grens tussen vragen die een kennisbank wel en niet kon beantwoorden.
Wat deze meting niet ziet. Betrouwbaarheid wordt gemeten voordat het model schrijft, en is dus blind voor wat het model daarna doet. Ook op perfecte passages kan een antwoord volgen dat er zelf iets bij verzint. Daar is de tweede meting voor.
Onderbouwing: bleef het antwoord bij je inhoud?
Bij elk antwoord met een betrouwbaarheid van 50 of hoger volgt een aparte controle nadat het antwoord geschreven is. Een model dat alleen de passages en het antwoord ziet, beoordeelt of de passages het antwoord onderbouwen:
- supported (onderbouwd): elke feitelijke bewering wordt door de passages gedragen
- partial (deels onderbouwd): sommige beweringen wel, minstens één niet
- unsupported (niet onderbouwd): de hoofdbewering staat niet in de passages, of spreekt ze tegen
Op het Overzicht verschijnt partial als de badge Deels gedekt en unsupported als de badge Niet gedekt.
Antwoorden onder 50 worden niet gecontroleerd: ze zijn al als zwak gemarkeerd, en een tweede markering voegt niets toe. Bij die antwoorden is de onderbouwing gewoon leeg. Dat is ook zo in het zeldzame geval dat de controle zelf mislukte. Een leeg oordeel betekent nooit "in orde", alleen "niet gecontroleerd".
De controle kost je geen credits. In de widget loopt ze pas nadat de bezoeker het antwoord heeft, dus er wordt niets trager van.
Wat deze meting niet ziet. Het controlemodel leest je instructies niet. Gebruikt een antwoord terecht een feit uit je instructies, zoals je telefoonnummer, dan vindt het controlemodel daar geen passage bij, en kan het oordeel partial luiden. Zie je het oordeel partial, lees dan eerst het antwoord voordat je iets concludeert. En het blijft het oordeel van een model, geen bewijs: de meeste beweringen zonder onderbouwing worden gevonden, niet allemaal.
Ze samen lezen
| Betrouwbaarheid | Onderbouwing | Wat er gebeurde | Wat je doet |
|---|---|---|---|
| hoog | supported | De inhoud was er en de agent heeft die gebruikt. | Niets. |
| hoog | partial of unsupported | De inhoud was er, en de agent zei meer dan erin stond. | Scherp de instructies aan, verlaag de temperatuur, of voeg het ontbrekende detail toe als bron. |
| laag | leeg | De inhoud was er niet. | Voeg een bron toe. |
De middelste rij is de belangrijke. Zonder tweede meting zien deze antwoorden eruit als je beste.
Waar je ze ziet
- Testomgeving: de betrouwbaarheid onder elk antwoord, met de gebruikte bronnen.
- Activiteit: de betrouwbaarheid bij elk antwoord in een gesprek, en het oordeel over de onderbouwing bij de antwoorden waar de controle het niet mee eens was.
- Overzicht: het aandeel goed, deels en slecht gedekte antwoorden, en de lijst De moeite waard om toe te voegen, waar antwoorden met het oordeel unsupported bovenaan staan.
- API: elk antwoord heeft de velden
confidenceengrounding. Zie de API-referentie. - Bezoekers zien geen van beide metingen. De widget toont alleen het antwoord.