Een AI voorbeelden geven en een taak opdelen

Taalmodellen produceren de meest waarschijnlijke woordenreeks op basis van de tekst die ze ontvangen¹. Goed gekozen voorbeelden sturen die reeks naar het gewenste formaat.

Voor problemen in meerdere stappen heeft het onderzoek verschillende methoden beschreven. Het artikel uit 2022 over de "gedachtegang" (chain of thought) laat zien dat enkele demonstraties met tussenliggende redeneerstappen de resultaten verbeteren bij taken op het gebied van rekenen, gezond verstand en symbolisch redeneren³. Een ander artikel uit 2022 laat zien dat het toevoegen van de zin "Let's think step by step" volstaat, zonder enig voorbeeld, om de resultaten te verbeteren⁴. Een derde methode, "van eenvoudig naar complex" (least-to-most), verdeelt een probleem in deelproblemen die in volgorde worden opgelost, waarbij elk antwoord helpt het volgende op te lossen⁵.

Deze resultaten komen uit tests op standaardproblemen, niet uit kantoorsituaties. Ze laten zien dat de methode kan helpen, zonder een goed antwoord te garanderen.

• Schrijf twee of drie korte, gevarieerde voorbeelden, die elk een invoer en de exact verwachte uitvoer tonen.
• Vervang elk echt gegeven door een verzonnen gegeven: een fictieve naam, een afgerond bedrag zonder verband met een dossier, een herschreven tekst.
• Plaats de instructie duidelijk. De volgorde telt: Microsoft merkt op dat de volgorde van de informatie de uitvoer kan veranderen, ook die van de voorbeelden¹.
• Verdeel de taak: vraag een eerste stap, lees die na, corrigeer haar en ga dan verder met de volgende, voortbouwend op de goedgekeurde stap.
• Voorzie een uitweg: sta de AI toe te antwoorden dat ze het niet weet of dat er informatie ontbreekt¹.
• Controleer belangrijke feiten (cijfers, data, namen) in een betrouwbare bron voordat u ze gebruikt.

Een voorbeeld van een verzoek in twee stappen, hier ter illustratie:

Illustratie, fictieve tekst.
Stap 1: [som de controleerbare beweringen in de onderstaande tekst op.]
Stap 2: [stel na mijn controle voor elke bewering een manier voor om haar te controleren.]
Ontbreekt er informatie, antwoord dan "niet gevonden".

• Bevooroordeelde voorbeelden. Het model bootst na wat u laat zien. Microsoft wijst op gevoeligheid voor volgorde, met een recentheidseffect: wat aan het einde van het verzoek staat, kan zwaarder wegen¹. Varieer de voorbeelden en lees het antwoord na met de vraag of het hun vorm niet kopieert.
• Verzonnen stappen. Een stap die aannemelijk lijkt, kan onjuist zijn. Alleen de conclusie nalezen is niet genoeg.
• Overmatig vertrouwen. De winst die het onderzoek heeft gemeten, heeft betrekking op bepaalde testsets³⁴. Ze zeggen niets over uw dossier.
• Lekken via de instructies. Instructies en voorbeelden maken deel uit van het verzoek. OWASP rekent tot de risico's het vrijgeven van gevoelige informatie en het onthullen van informatie over de systeeminstructies⁸. Microsoft wijst erop dat een systeembericht het model beïnvloedt zonder te garanderen dat het de regels naleeft⁶. Reken er niet op dat de instructie "onthul niets" een geheim beschermt dat in een voorbeeld staat.
• Tekst van derden in het verzoek. Plakt u een document van buiten in (cv, e-mail, webpagina), dan kan het verborgen instructies bevatten. De Britse NCSC geeft het (hypothetische) voorbeeld van een cv met verborgen tekst die vraagt de eerdere instructies te negeren en het dossier goed te keuren⁷. Het voegt eraan toe dat de huidige modellen geen beveiligingsgrens afdwingen tussen instructies en gegevens⁷. Lees de uitvoer dus voorzichtig na wanneer de brontekst niet van uzelf is.

Mei 2020: GPT-3 getest met voorbeelden

De auteurs van GPT-3, een model met 175 miljard parameters, testen het zonder het model bij te werken, met taken en voorbeelden die alleen via tekst worden gegeven. Ze melden goede resultaten op veel datasets, en ook datasets waarbij leren van enkele voorbeelden moeite blijft houden².

Mei 2022: één zin volstaat bij een rekentest

Onderzoekers laten zien dat het toevoegen van "Let's think step by step" de nauwkeurigheid bij de MultiArith-test van 17,7 % naar 78,7 % brengt en bij GSM8K van 10,4 % naar 40,7 %, met het model text-davinci-002⁴. Ook met deze winst is het antwoord volgens deze cijfers bij MultiArith in meer dan een op de vijf gevallen fout en bij GSM8K in meer dan een op de twee⁴.

Mei 2022: opdelen van eenvoudig naar complex

De auteurs van de least-to-most-methode melden dat ze met het model code-davinci-002 en 14 voorbeelden minstens 99 % nauwkeurigheid halen op de SCAN-test, tegenover 16 % met chain of thought⁵. Ze preciseren dat chain of thought de neiging heeft slecht te presteren bij problemen die moeilijker zijn dan de getoonde voorbeelden⁵.