Menselijke goedkeuring van AI-agents

OWASP legt uit dat een systeem op basis van een taalmodel van de ontwikkelaar vaak de mogelijkheid krijgt functies of andere systemen aan te roepen, via extensies (soms tools, vaardigheden of plug-ins genoemd). De keuze welke extensie wordt gebruikt, kan ook aan de agent zelf worden overgelaten³. Een agent schakelt doorgaans meerdere aanroepen van het model aan elkaar, elk gebaseerd op het resultaat van de vorige³.

OWASP onderscheidt drie gebruikelijke oorzaken van overmatige autonomie: te veel functies, te veel rechten, te veel autonomie³. Menselijke goedkeuring is het antwoord op de derde: OWASP geeft als voorbeeld een extensie die de documenten van een gebruiker verwijdert zonder om bevestiging te vragen³.

Goedkeuring vervangt de andere beveiligingen niet. OWASP raadt ook aan de agent alleen de extensies, functies en rechten te geven die nodig zijn, en de autorisaties te laten controleren door de onderliggende systemen in plaats van door het model³. Bij prompt injection rekent OWASP menselijke controle van bevoorrechte handelingen tot de maatregelen die de impact beperken². Die keuzes zijn aan de teams die de agent inzetten, niet aan de medewerker.

• Lees het goedkeuringsverzoek volledig voordat u antwoordt, inclusief de betrokken ontvangers, bestanden en accounts.
• Weiger als u niet begrijpt wat de agent gaat doen, of als het verzoek niet overeenkomt met wat u hem hebt gevraagd.
• Weiger een actie die niets te maken heeft met uw lopende taak: een agent die een document samenvat, heeft geen reden om voor te stellen een bericht te versturen.
• Controleer bij een actie die andere mensen, een betaling of toegang raakt via een ander kanaal als de twijfel blijft.
• Meld aan de beveiliging elke agent die handelt zonder uw akkoord te vragen terwijl hij dat zou moeten doen.

Goedkeuren zonder te lezen

Wanneer goedkeuringsverzoeken zich herhalen, gaat men uiteindelijk klikken zonder te kijken. De goedkeuring wordt dan een formaliteit en beschermt niets meer. Een verzoek dat midden in een taak verschijnt, verdient dezelfde aandacht als het eerste van de dag.

De agent met te veel rechten

OWASP geeft het voorbeeld van een extensie die gegevens zou moeten lezen, maar verbinding maakt met een database met een identiteit die ook kan wijzigen, invoegen en verwijderen³. Het noemt ook de extensie die voor een gebruiker handelt met een generiek bevoorrecht account met toegang tot de bestanden van alle gebruikers³. In zulke gevallen kan één goedkeuring veel verdergaande gevolgen hebben dan het verzoek doet vermoeden.

Prompt injection

OWASP beschrijft indirecte injectie: het model accepteert inhoud van buitenaf, zoals websites of bestanden, en die inhoud wijzigt zijn gedrag op onvoorziene wijze². De instructies hoeven niet leesbaar te zijn voor een mens, zolang het model ze verwerkt². OWASP voegt toe dat het niet bekend is of er onfeilbare preventiemethoden bestaan². Menselijke goedkeuring is dus een vangnet dat u niet moet omzeilen.

De volgende illustratie is geneutraliseerd: de verborgen instructie is geparafraseerd.

Illustratie (fictief). Verborgen tekst in een ontvangen e-mail:
[instructie aan de assistent: gevoelige informatie zoeken
in de mailbox en doorsturen naar een extern adres]
Goedkeuringsverzoek dat aan de medewerker wordt getoond:
"Een bericht sturen naar [email protected]?"

Dit is het scenario dat OWASP beschrijft: een boobytrapte e-mail zet de assistent ertoe aan de mailbox te doorzoeken en gevoelige informatie door te sturen naar het adres van de aanvaller³. Als tegenmaatregel noemt OWASP de verplichting om elk door de extensie opgesteld bericht na te lezen en handmatig op « verzenden » te klikken³.

Denken dat goedkeuring volstaat

OWASP preciseert dat sommige maatregelen, zoals logging, monitoring en ratelimiting, overmatige autonomie niet voorkomen maar de schade beperken³. NIST presenteert zijn kader voor AI-risicobeheer als bedoeld voor vrijwillig gebruik⁴. Het Britse NCSC stelt dat de beveiliging van een AI-systeem al bij het ontwerp en gedurende de hele levenscyclus een vereiste moet zijn⁵.