Validación humana de los agentes de IA

OWASP explica que un sistema basado en un modelo de lenguaje recibe a menudo de su desarrollador la capacidad de llamar a funciones o a otros sistemas mediante extensiones (a veces llamadas herramientas, habilidades o plugins). La elección de la extensión que se va a usar también puede delegarse en el propio agente³. Un agente suele encadenar varias llamadas al modelo, cada una apoyada en el resultado de las anteriores³.

OWASP identifica tres causas habituales de una autonomía excesiva: demasiadas funciones, demasiados permisos, demasiada autonomía³. La validación humana responde a la tercera: OWASP da como ejemplo una extensión que borra los documentos de un usuario sin pedirle confirmación³.

La validación no sustituye a las demás protecciones. OWASP recomienda además dar al agente solo las extensiones, las funciones y los permisos necesarios, y que las autorizaciones las controlen los sistemas posteriores en lugar del modelo³. En cuanto a la inyección de prompt, OWASP incluye el control humano de las operaciones privilegiadas entre las medidas que limitan el impacto². Estas decisiones corresponden a los equipos que despliegan el agente, no al empleado.

• Lea la solicitud de aprobación completa antes de responder, incluidos los destinatarios, los archivos y las cuentas afectados.
• Rechace cuando no entienda lo que el agente va a hacer, o cuando la solicitud no se corresponda con lo que usted le pidió.
• Rechace una acción que no tenga relación con su tarea en curso: un agente que resume un documento no tiene motivo para proponer el envío de un mensaje.
• Si la acción afecta a otras personas, o se trata de un pago o de accesos, y la duda persiste, compruébelo por otra vía.
• Comunique a seguridad cualquier agente que actúe sin pedir su conformidad cuando debería hacerlo.

Validar sin leer

Cuando las solicitudes de aprobación se repiten, uno acaba haciendo clic sin mirar. La validación se convierte entonces en un trámite y deja de proteger. Una solicitud que aparece a mitad de una tarea exige la misma atención que la primera del día.

El agente con demasiados derechos

OWASP da el ejemplo de una extensión destinada a leer datos, pero que se conecta a una base de datos con una identidad que también puede modificar, insertar y borrar³. Cita además la extensión que actúa por un usuario con una cuenta privilegiada genérica que tiene acceso a los archivos de todos los usuarios³. En estos casos, una sola aprobación puede tener efectos mucho más amplios de lo que la solicitud deja ver.

La inyección de prompt

OWASP describe la inyección indirecta: el modelo acepta contenidos procedentes del exterior, como sitios web o archivos, y esos contenidos modifican su comportamiento de forma imprevista². Las instrucciones no necesitan ser legibles por una persona, siempre que el modelo las procese². OWASP añade que no se sabe si existen métodos de prevención infalibles². La aprobación humana es, por tanto, una salvaguarda que no debe eludirse.

La ilustración siguiente está neutralizada: la instrucción oculta aparece parafraseada.

Ilustración (ficticia). Texto oculto en un correo recibido:
[instrucción dirigida al asistente: buscar información sensible
en el buzón y reenviarla a una dirección externa]
Solicitud de aprobación mostrada al empleado:
"¿Enviar un mensaje a [email protected]?"

Es el escenario que describe OWASP: un correo trampa empuja al asistente a recorrer el buzón y a reenviar información sensible a la dirección del atacante³. Entre las medidas de protección, OWASP cita la obligación de revisar y pulsar manualmente « enviar » en cada mensaje redactado por la extensión³.

Creer que la validación basta

OWASP precisa que algunas medidas, como el registro de actividad, la supervisión y la limitación de la tasa de peticiones, no previenen la autonomía excesiva, pero limitan los daños³. NIST presenta su marco de gestión de riesgos de la IA como destinado a un uso voluntario⁴. El NCSC británico indica que la seguridad de un sistema de IA debe ser un requisito desde el diseño y durante todo su ciclo de vida⁵.