Hoe een antwoord tot stand komt
Wat er gebeurt tussen de vraag van een bezoeker en het antwoord van de agent, en waar de twee kwaliteitscijfers vandaan komen.
Als je de stappen kent, is elke instelling, en elk zwak antwoord, makkelijker te begrijpen.
1. De vraag moet op zichzelf kunnen staan
Een vervolgvraag als "en wat kost dat?" zegt op zichzelf niets. Vóór het zoeken wordt de vraag herschreven met behulp van de laatste paar berichten, zodat het onderwerp in de vraag zelf staat. Alleen de zoekstap gebruikt de herschreven versie. Wat wordt opgeslagen, en waarop het model antwoordt, zijn de eigen woorden van de bezoeker.
2. Je content wordt doorzocht
Elke bron is bij het toevoegen in passages van ongeveer 500 tokens geknipt. De vraag wordt met al die passages vergeleken op betekenis, niet op trefwoord. Zo vindt "hoelang mag ik het terugsturen?" je retourbeleid, ook als het woord "retour" niet in de vraag staat.
Vraagt de bezoeker vanaf een pagina van je site die de agent als bron heeft gelezen, dan komen de 2 passages van die pagina die het dichtst bij de vraag liggen er eerst bij, hoe laag hun score ook is: "is dit geschikt voor buiten?" op de pagina van een product gaat over dat product, hoe weinig de woorden ook overeenkomen. Alleen het knopscript kan de agent de pagina vertellen, zie De widget installeren.
3. De betrouwbaarheid wordt gemeten
Voordat er iets geschreven wordt, krijgt het zoekresultaat zelf een score van 0 tot 100. De score kijkt naar hoe goed de beste passage is, en naar hoe ver die boven de rest uitsteekt. Een vraag die je content dekt, heeft één duidelijke winnaar. Een vraag die je content niet dekt, vindt tien passages die er allemaal even weinig op lijken.
- 70 of hoger: goed gedekt.
- Onder 50: je content had weinig te bieden. De oplossing is een bron.
De betrouwbaarheid wordt altijd op dezelfde manier gemeten, wat je bij Ophalen ook instelt. Een cijfer betekent dus hetzelfde bij elke agent en door de tijd heen. De passages die voor de pagina van de bezoeker zijn toegevoegd, tellen niet mee.
4. Het model schrijft
Het model krijgt de regels van het platform, jouw instructies, de pagina waarop de bezoeker is als die bekend is, en de beste passages, tot het aantal dat je hebt ingesteld. Het heeft de opdracht om alleen te antwoorden vanuit die passages en vanuit feiten in je instructies, om het te zeggen als het antwoord daar niet in staat, en om bij je onderwerp te blijven.
5. Een tweede mening
Bij antwoorden waar de zoekstap zeker van was, volgt een aparte controle. Een model dat je instructies en het gesprek niet heeft gezien, leest het antwoord naast de passages en geeft een oordeel:
- supported (onderbouwd): elke feitelijke bewering wordt door de passages gedekt
- partial (deels onderbouwd): sommige beweringen wel, minstens één niet
- unsupported (niet onderbouwd): de hoofdbewering staat niet in de passages, of spreekt ze tegen
De controle gebeurt alleen bij die zekere antwoorden, want juist daar zou een antwoord dat niet onderbouwd is zich anders achter een goed cijfer verschuilen. Onder 50 is er geen controle en blijft de onderbouwing leeg. De controle volgt pas nadat de bezoeker het antwoord heeft gekregen, dus een gesprek wordt er nooit trager van.
6. Het wordt vastgelegd
Het antwoord, de betrouwbaarheid, het oordeel, de gebruikte bronnen en de kosten worden bij het gesprek opgeslagen. Dat is wat Activiteit en Overzicht je laten zien.
De twee samen lezen
| Betrouwbaarheid | Onderbouwing | Wat het betekent |
|---|---|---|
| hoog | supported | Een goed antwoord. |
| hoog | partial of unsupported | De agent zei meer dan er in je content staat. Meestal los je dat op in de instructies. |
| laag | niet gecontroleerd | Je content dekt dit niet. Voeg een bron toe. |