Zwakke antwoorden verbeteren

Een agent wordt goed doordat je hem bijstuurt. Je begint bij de lijst De moeite waard om toe te voegen onderaan Overzicht: daar staan de vragen die je bronnen het slechtst beantwoordden, en de antwoorden die verder gingen dan hun bronnen. Open er een om het hele gesprek te lezen.

Doorloop de stappen in deze volgorde. Elke stap is goedkoper dan de volgende.

1. Lees de vraag en het antwoord#

Is het antwoord eigenlijk wel fout? Een lage betrouwbaarheid bij "verkopen jullie ook auto's?" in een fietsenwinkel is geen probleem. De agent zei dat hij het niet wist, en dat klopt. Sla deze over.

Kijk naar wat de bezoeker echt vroeg. Mensen vragen het in hun eigen woorden, en dat zijn vaak niet de jouwe.

2. Staat de informatie wel in je bronnen?#

Negen van de tien keer is dit de oorzaak. Zoek het antwoord op in je eigen bronnen.

Het staat er niet. Voeg het toe:

• één specifieke vraag: een vraag-antwoordpaar, met de vraag in de woorden van de bezoeker. Het snelst gaat dat met Verbeter antwoord onder het antwoord in Activiteit, dat bij de vraag van de bezoeker zelf begint
• een heel onderwerp: een tekstbron, of de pagina op je site die er had moeten zijn

Het staat er wel, maar de pagina is nooit gelezen. Lees in Websites waarom een crawler pagina's mist, en voeg de pagina toe als Losse link.

Het staat er wel, in een gescande PDF. Dan staat het er niet. Zie Bestanden.

3. Het staat er wel, maar het is niet gevonden#

Open het gesprek in Activiteit en bekijk de bronnen onder het antwoord. Ontbreekt de juiste bron daar:

• Formulering. Op je pagina staat "retourprocedure", de bezoeker zegt "terugsturen". De zoekstap werkt op betekenis en overbrugt dat meestal, maar een vraag-antwoordpaar in de woorden van de bezoeker doet dat altijd.
• Weggestopt. Het antwoord is één zin in een lange pagina over iets anders. Til het eruit en maak er een vraag-antwoordpaar of een eigen korte tekst van.
• Overstemd. Tien blogberichten noemen het onderwerp terloops en eindigen boven die ene pagina die het uitlegt. Verwijder wat de agent niet nodig heeft, of sluit het uit.
• Minimale gelijkenis te hoog, als je die hebt verhoogd. Zie Ophaalinstellingen.

4. Het is gevonden, maar het antwoord ging verder#

Dit is de badge Deels gedekt of Niet gedekt: goede passages, en een antwoord dat er iets bij verzon.

• Verlaag de temperatuur naar ongeveer 0,3.
• Zeg het in de instructies: "Staat er in de bronnen geen prijs, zeg dan dat je de prijs niet weet. Schat nooit."
• Vul het gat. Modellen verzinnen er het meest bij waar een bron net ophoudt vóór wat er gevraagd werd. Geeft de pagina de levertijd voor België en vroeg de bezoeker naar Frankrijk, voeg Frankrijk dan toe.
• Controleer op tegenstrijdigheden. Twee bronnen die elkaar tegenspreken, zoals een oude en een nieuwe prijslijst, leveren antwoorden op die half fout zijn. Verwijder de oude.
• Gaat het oordeel over een feit dat in je instructies staat, dan kan het antwoord prima zijn. Het controlemodel leest je instructies niet.

5. Het is gevonden, en het antwoord is nog steeds matig#

• Te lang, te stijf, verkeerde toon: dat is een kwestie van instructies.
• Haalt twee producten door elkaar: verlaag Top-K-resultaten, zodat hij minder passages tegelijk leest.
• Mist de helft van een tweedelige vraag: verhoog Top-K-resultaten, of probeer een sterker model in de Testomgeving.

6. Controleer of het gewerkt heeft#

Stel dezelfde vraag in de Testomgeving. De betrouwbaarheid hoort hoger te zijn, en de juiste bron hoort onder het antwoord te staan. Stel de vraag daarna nog een keer in andere woorden.

Maak er een gewoonte van#

Tien minuten per week in de eerste maand, daarna één keer per maand. De lijst wordt snel korter, want bezoekers vragen steeds dezelfde dingen.

Gebruik je een AI-assistent zoals Claude, dan kan die het leeswerk voor je doen. Via MCP kan hij de zwakke antwoorden ophalen, de ontbrekende vraag-antwoordparen voorstellen, en ze toevoegen zodra jij ze hebt goedgekeurd.