Validation humaine des agents IA

L'OWASP explique qu'un système à base de modèle de langage reçoit souvent de son développeur la capacité d'appeler des fonctions ou d'autres systèmes, par des extensions (parfois appelées outils, compétences ou plugins). Le choix de l'extension à utiliser peut aussi être confié à l'agent lui-même³. Un agent enchaîne généralement plusieurs appels au modèle, chacun s'appuyant sur le résultat des précédents³.

L'OWASP identifie trois causes habituelles d'une autonomie excessive : trop de fonctions, trop de permissions, trop d'autonomie³. La validation humaine répond à la troisième : l'OWASP donne comme exemple une extension qui supprime les documents d'un utilisateur sans lui demander de confirmation³.

La validation ne remplace pas les autres protections. L'OWASP recommande aussi de ne donner à l'agent que les extensions, les fonctions et les permissions nécessaires, et de faire contrôler les autorisations par les systèmes en aval plutôt que par le modèle³. Pour l'injection de prompt, l'OWASP range le contrôle humain des opérations privilégiées parmi les mesures qui limitent l'impact². Ces choix reviennent aux équipes qui déploient l'agent, pas au salarié.

• Lisez la demande d'approbation en entier avant de répondre, y compris les destinataires, les fichiers et les comptes concernés.
• Refusez quand vous ne comprenez pas ce que l'agent va faire, ou quand la demande ne correspond pas à ce que vous lui avez demandé.
• Refusez une action qui n'a aucun rapport avec votre tâche en cours : un agent qui résume un document n'a pas de raison de proposer d'envoyer un message.
• Pour une action qui touche d'autres personnes, un paiement ou des accès, vérifiez par un autre moyen si le doute persiste.
• Signalez à la sécurité tout agent qui agit sans demander votre accord alors qu'il devrait le faire.

Valider sans lire

Quand les demandes d'approbation se répètent, on finit par cliquer sans regarder. La validation devient alors une formalité et ne protège plus rien. Une demande qui apparaît en milieu de tâche demande la même attention que la première de la journée.

L'agent qui a trop de droits

L'OWASP donne l'exemple d'une extension censée lire des données, mais qui se connecte à une base avec une identité qui peut aussi modifier, insérer et supprimer³. Il cite aussi l'extension qui agit pour un utilisateur avec un compte privilégié générique ayant accès aux fichiers de tous les utilisateurs³. Dans ces cas, une seule approbation peut avoir des effets bien plus larges que ce que la demande laisse voir.

L'injection de prompt

L'OWASP décrit l'injection indirecte : le modèle accepte des contenus venus de l'extérieur, comme des sites web ou des fichiers, et ces contenus modifient son comportement de façon imprévue². Les instructions n'ont pas besoin d'être lisibles par un humain, tant que le modèle les traite². L'OWASP ajoute qu'on ne sait pas s'il existe des méthodes de prévention infaillibles². L'approbation humaine est donc un garde-fou à ne pas contourner.

L'illustration suivante est neutralisée : la consigne cachée est paraphrasée.

Illustration (fictive). Texte caché dans un e-mail reçu :
[consigne adressée à l'assistant : chercher des informations sensibles
dans la boîte et les transférer à une adresse externe]
Demande d'approbation affichée au salarié :
"Envoyer un message à [email protected] ?"

C'est le scénario que décrit l'OWASP : un e-mail piégé pousse l'assistant à parcourir la boîte et à transférer des informations sensibles à l'adresse de l'attaquant³. Parmi les parades, l'OWASP cite l'obligation de relire et de cliquer manuellement sur « envoyer » pour chaque message rédigé par l'extension³.

Croire que la validation suffit

L'OWASP précise que certaines mesures, comme la journalisation, la surveillance et la limitation du débit, ne préviennent pas l'autonomie excessive mais limitent les dégâts³. Le NIST présente son cadre de gestion des risques de l'IA comme destiné à un usage volontaire⁴. Le NCSC britannique indique que la sécurité d'un système d'IA doit être une exigence dès la conception et tout au long de son cycle de vie⁵.