Directe prompt injection

De onderzoekers Fábio Perez en Ian Ribeiro toonden in 2022 aan dat weinig geschoolde maar kwaadwillende personen GPT-3 kunnen misleiden met eenvoudige, met de hand geschreven teksten³. Ze beschrijven twee doelen: het doel van het model kapen (goal hijacking) en het zijn prompt laten prijsgeven (prompt leaking)³.

Een tweede soort doel is misbruik. Een team onderzoekers beschreef in 2023 resultaten zoals onbeperkt en willekeurig gebruik van het model achter een applicatie en de eenvoudige diefstal van de prompt van die applicatie⁴.

Een jailbreak werkt anders. De auteurs van de studie "Jailbroken" noemen twee oorzaken waarom veiligheidstraining faalt: concurrerende doelen (de mogelijkheden van het model botsen met zijn veiligheidsregels) en onvolledige generalisatie (de veiligheid dekt een gebied niet waarin het model wel over mogelijkheden beschikt)⁵.

OWASP noemt ook varianten. De aanvaller kan aan zijn bericht een reeks ogenschijnlijk betekenisloze tekens toevoegen of meerdere talen of een codering zoals Base64 gebruiken om filters te omzeilen¹.

Voor de gebruiker of het bedrijf herkent men een geslaagde aanval aan de gevolgen. OWASP somt de mogelijke gevolgen op: openbaarmaking van gevoelige informatie, onthulling van informatie over de infrastructuur of de systeemprompts, vertekende of bevooroordeelde inhoud, onbevoegde toegang tot de functies van het model, uitvoering van opdrachten in gekoppelde systemen¹.

Concreet moet een assistent die buiten zijn onderwerp antwoordt, zijn eigen instructies opdreunt of inhoud produceert die het bedrijf nooit zou hebben goedgekeurd, u alert maken. OWASP geeft een typisch scenario: een aanvaller vraagt een chatbot van de klantenservice zijn instructies te negeren, privégegevens op te vragen en e-mails te versturen¹.

Hier volgt een illustratie van dit soort bericht, geneutraliseerd en geparafraseerd:

Illustratie (geparafraseerd bericht, niet functioneel):
[instructie die de chatbot vraagt de regels van de leverancier te negeren
en vervolgens zijn interne instructies volledig over te schrijven]

Voor een taalmodel bestaan er geen "gegevens" en geen "instructies", alleen het volgende token (next token): het model voorspelt het meest waarschijnlijke token op basis van de tekst die het tot dan toe heeft ontvangen². De instructies van de leverancier en de zin die de gebruiker typt, komen dus in dezelfde tekst terecht, zonder scheiding die het model respecteert².

Dit onderscheidt prompt injection van SQL-injectie. Bij SQL garanderen geparametriseerde query's dat de database nooit een invoer als instructie interpreteert². Het NCSC schrijft dat aanvallen met prompt injection misschien nooit volledig kunnen worden beperkt zoals SQL-injecties². De lopende oplossingsrichtingen (pogingen detecteren, het model trainen om instructies voorrang te geven, het model laten weten wat gegevens zijn) leggen een onderscheid over iets dat de technologie zelf niet maakt².

Het NIST publiceerde in maart 2025 een taxonomie van adversarial machine learning⁶.

Een aandachtspunt zijn filters op verboden woorden. Het NCSC waarschuwt tegen het blokkeren van bekende zinnen zoals "ignore previous instructions": er bestaan oneindig veel herformuleringen die dat filter omzeilen².

Preventie

De eenvoudige maatregelen die hier zijn gekozen, komen van OWASP en het NCSC.

• Minimale rechten: geef het model de minimaal noodzakelijke toegang en handel uitgebreide functies af in de code van de applicatie in plaats van ze aan het model toe te vertrouwen¹.
• Menselijke goedkeuring: eis de toestemming van een persoon voor handelingen met bijzondere rechten¹.
• Filtering van uitvoer: definieer gevoelige categorieën, spoor niet-toegestane inhoud op met semantische filters en tekenreekscontroles en valideer het formaat van de antwoorden met deterministische code¹.
• Rol afbakenen: beschrijf in de systeemprompt de rol en de grenzen van het model¹. Deze maatregel helpt, maar is niet genoeg: OWASP presenteert al deze maatregelen als middelen om de impact te beperken¹.
• Testen: voer regelmatig penetratietests en simulaties uit en behandel het model daarbij als een onbetrouwbare gebruiker¹.
• Bewaking: log genoeg informatie om verdachte activiteit te herkennen, ook mislukte aanroepen van tools en API's, die de eerste stappen van een aanval kunnen verraden².

Het NCSC voegt eraan toe dat de beveiliging van een systeem moet berusten op deterministische waarborgen die zijn handelingen beperken, in plaats van op de loutere hoop te voorkomen dat kwaadaardige inhoud het model bereikt². Als het restrisico onaanvaardbaar is, past de toepassing misschien niet bij een taalmodel².

November 2022: GPT-3 misleid met eenvoudige teksten

Op 17 november 2022 publiceren Fábio Perez en Ian Ribeiro PromptInject, een kader om deze aanvallen te analyseren. Ze onderzoeken GPT-3, dat ze beschrijven als het meest in productie gebruikte taalmodel, en tonen aan dat het gemakkelijk uit de pas kan worden gebracht met met de hand geschreven invoer³. De twee onderzochte aanvallen zijn het kapen van het doel en het lekken van de prompt³.

Juni 2023: 31 van de 36 applicaties kwetsbaar

Op 8 juni 2023 publiceert een team van twaalf onderzoekers een studie over echte applicaties die een taalmodel gebruiken. Na een analyse van tien commerciële applicaties ontwikkelt het team een aanvalstechniek met de naam HouYi en past die toe op 36 applicaties: 31 blijken gevoelig voor prompt injection⁴. Tien leveranciers bevestigden de resultaten, onder wie Notion⁴.

Juli 2023: beveiligingen die bezwijken

Op 5 juli 2023 evalueren Alexander Wei, Nika Haghtalab en Jacob Steinhardt GPT-4 van OpenAI en Claude v1.3 van Anthropic. Hun nieuwe aanvallen slagen bij elk verzoek uit een verzameling gevaarlijke verzoeken, afkomstig uit de red-teamingevaluatiesets van de modellen⁵. De auteurs concluderen dat de kwetsbaarheden blijven bestaan ondanks de inspanningen op het gebied van red teaming en veiligheidstraining⁵.