Ophaalinstellingen
De twee instellingen die bepalen welke passages het model te zien krijgt, en wanneer je ze aanpast.
Voordat het model schrijft, kiest de zoekstap de passages die het mag gebruiken. Twee instellingen onder Instellingen, in het blok Ophalen, sturen die keuze. De standaardwaarden zijn gemeten, niet gegokt, en bij de meeste agents hoef je ze nooit te wijzigen.
Hoe de passages worden gekozen
- De zoekstap rangschikt je passages op hoe dicht ze qua betekenis bij de vraag liggen.
- Passages onder de Minimale gelijkenis vallen af.
- Van wat overblijft gaan de beste Top-K-resultaten naar het model.
Blijft er na stap 2 niets over, dan krijgt het model te horen dat er niets gevonden is. Het zegt dan dat het geen antwoord heeft (of het antwoordt met een feit uit je instructies).
Top-K-resultaten
Hoeveel passages het model krijgt, van 1 tot 10. De standaardwaarde is 5.
- Verhoog het aantal (7 tot 10) als antwoorden onvolledig zijn omdat de informatie over meerdere pagina's verspreid staat, zoals bij een vraag waarvoor zowel de prijslijst als de leveringsvoorwaarden nodig zijn.
- Verlaag het aantal (2 tot 3) als antwoorden dingen erbij halen waar niet om gevraagd is, of twee producten door elkaar halen. Minder passages betekent minder om door in de war te raken.
Meer passages is niet zonder meer beter. Elke passage is ongeveer 500 tokens leeswerk, en een model dat er tien krijgt terwijl er twee relevant waren, heeft acht kansen om op een dwaalspoor te raken.
Minimale gelijkenis
Hoe dicht een passage bij de vraag moet liggen om überhaupt mee te tellen, van 0 tot 1. De standaardwaarde is 0,25.
Dat lijkt laag, en dat is met opzet. Gelijkenis is geen percentage dat zegt hoe juist iets is. In onze metingen scoort een passage die helemaal over de vraag gaat rond 0,67, en een relevante alinea binnen een bredere pagina rond 0,29. Een drempel van 0,5 zou de meeste goede antwoorden weggooien.
- Zet hem iets hoger (0,30 tot 0,35) als de agent vragen beantwoordt die hij had moeten afwijzen, met passages die er maar vaag mee te maken hebben.
- Zet hem lager (0,15 tot 0,20) als de agent "dat weet ik niet" zegt over dingen die duidelijk in je bronnen staan. Dat gebeurt het vaakst bij heel korte vragen en bij vragen in een andere taal dan die van je bronnen.
Wijzig de waarde in kleine stappen en test elke keer met dezelfde vragen.
Wat deze instellingen niet veranderen
Betrouwbaarheid wordt bij elke agent op dezelfde manier gemeten, altijd over hetzelfde aantal kandidaten, hoe deze twee instellingen ook staan. Een schuifregelaar verzetten maakt de cijfers in Overzicht op zichzelf nooit beter of slechter. Dat is bewust: een cijfer dat je kunt veranderen door aan een knop te draaien, zegt je niets.
Voordat je ze aanpast
De meeste zwakke antwoorden zijn geen kwestie van instellingen. Staat de informatie niet in je bronnen, dan vindt geen enkele instelling die. Lees eerst Zwakke antwoorden verbeteren. Instellingen zijn daar de laatste stap, niet de eerste.