--- id: CP-508 slug: validacion-humana-agentes-ia-acciones-prohibidas lang: es title: Validación humana de los agentes de IA description: Un agente de IA puede preparar una acción, pero algunas deben ser aprobadas por una persona. Qué lee, acepta o rechaza el empleado. canonical_url: https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas/ markdown_url: https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas.md publisher: Brain (https://startbrain.io) license: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) cite_as: Brain, «Validación humana de los agentes de IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas/ (CC BY 4.0) wing: 4 theme: use_responsibly reflex: air-039 schema: G3 updated: "2026-11-03" translations: es: https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas/ fr: https://startbrain.io/cyberpedia/fr/articles/validation-humaine-agents-ia-actions-interdites/ en: https://startbrain.io/cyberpedia/en/articles/human-in-the-loop-ai-agent-approval/ de: https://startbrain.io/cyberpedia/de/articles/menschliche-freigabe-ki-agenten-verbotene-aktionen/ it: https://startbrain.io/cyberpedia/it/articles/convalida-umana-agenti-ia-azioni-vietate/ sources: - "n": 1 title: Intelligence artificielle | CNIL publisher: CNIL url: https://www.cnil.fr/fr/intelligence-artificielle accessed: "2026-11-03" - "n": 2 title: LLM01:2025 Prompt Injection publisher: OWASP url: https://genai.owasp.org/llmrisk/llm01-prompt-injection/ accessed: "2026-11-03" - "n": 3 title: LLM06:2025 Excessive Agency publisher: OWASP url: https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ accessed: "2026-11-03" - "n": 4 title: AI Risk Management Framework publisher: NIST url: https://www.nist.gov/itl/ai-risk-management-framework accessed: "2026-11-03" - "n": 5 title: Guidelines for secure AI system development publisher: NCSC (Royaume-Uni) url: https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development published: "2023-11-27" accessed: "2026-11-03" --- # Validación humana de los agentes de IA Un agente de IA ya no se limita a responder a una pregunta. Puede leer un buzón de correo, abrir documentos, llamar a otras herramientas y actuar en lugar de su usuario. La CNIL habla de una IA agéntica « désormais capable d'agir sur son environnement à la place de son utilisateur » [1]. El principio de validación humana (en inglés, Human-in-the-Loop) responde a este cambio: el agente prepara y una persona aprueba antes de que la acción se lleve a cabo. Esta ficha explica qué debe leer el empleado antes de hacer clic y cuándo debe rechazar. ## En 30 segundos - Dónde ocurre: un asistente o un agente de IA propone enviar un mensaje, borrar un archivo, pagar o cambiar un acceso. - Lo que busca el atacante: que el agente ejecute una acción, por ejemplo ocultando instrucciones en un correo electrónico o en una página web que el agente lee [2]. - El reflejo: no aprobar nunca una acción de un agente sin haber leído lo que hace, y rechazarla si faltan datos. - Si ya lo ha hecho: avise de inmediato al servicio de seguridad de Brain y deje de usar el agente afectado hasta recibir su respuesta. ## Preguntas directas ### ¿Qué es la validación humana? Es un paso en el que una persona debe decir sí antes de que se ejecute una acción de alto impacto. OWASP la describe así: usar un control humano para exigir que una persona apruebe las acciones de alto impacto antes de que se realicen [3]. OWASP da un ejemplo: una aplicación que publica contenido en redes sociales en nombre de un usuario debe incluir una rutina de aprobación en la extensión que realiza la publicación [3]. ### ¿Qué acciones deben pasar siempre por una persona? Esta ficha recoge cinco categorías: los pagos, el borrado de datos, el envío de mensajes al exterior, la modificación de derechos de acceso y las decisiones que afectan a personas. Las fuentes citadas aquí no elaboran esta lista. Hablan de « acciones de alto impacto » [3] y ponen como ejemplos el borrado de documentos sin confirmación del usuario y el envío de mensajes [3]. ### ¿Por qué no puede el agente juzgar por sí solo? Porque puede equivocarse o ser manipulado. OWASP llama « Excessive Agency » a la debilidad que permite acciones dañinas como consecuencia de respuestas inesperadas, ambiguas o manipuladas de un modelo de lenguaje, sea cual sea la causa del mal funcionamiento [3]. Entre los desencadenantes habituales, OWASP cita las alucinaciones y la inyección de prompt [3]. ### ¿Qué debo leer antes de aprobar? Como mínimo: qué hace la acción, sobre qué datos o cuentas y a quién va dirigida. Si el agente propone enviar un mensaje, lea el destinatario y el contenido completo. Si el resumen de la solicitud es vago, es un motivo para rechazar. ### ¿Puedo rechazar? Sí. Rechazar no cuesta nada: el agente puede reformular y la solicitud puede repetirse. Una aprobación dada por error puede ser irreversible, por ejemplo un borrado o un mensaje que ya se ha enviado. ## Cómo funciona OWASP explica que un sistema basado en un modelo de lenguaje recibe a menudo de su desarrollador la capacidad de llamar a funciones o a otros sistemas mediante extensiones (a veces llamadas herramientas, habilidades o plugins). La elección de la extensión que se va a usar también puede delegarse en el propio agente [3]. Un agente suele encadenar varias llamadas al modelo, cada una apoyada en el resultado de las anteriores [3]. OWASP identifica tres causas habituales de una autonomía excesiva: demasiadas funciones, demasiados permisos, demasiada autonomía [3]. La validación humana responde a la tercera: OWASP da como ejemplo una extensión que borra los documentos de un usuario sin pedirle confirmación [3]. La validación no sustituye a las demás protecciones. OWASP recomienda además dar al agente solo las extensiones, las funciones y los permisos necesarios, y que las autorizaciones las controlen los sistemas posteriores en lugar del modelo [3]. En cuanto a la inyección de prompt, OWASP incluye el control humano de las operaciones privilegiadas entre las medidas que limitan el impacto [2]. Estas decisiones corresponden a los equipos que despliegan el agente, no al empleado. ## Lo que usted hace - Lea la solicitud de aprobación completa antes de responder, incluidos los destinatarios, los archivos y las cuentas afectados. - Rechace cuando no entienda lo que el agente va a hacer, o cuando la solicitud no se corresponda con lo que usted le pidió. - Rechace una acción que no tenga relación con su tarea en curso: un agente que resume un documento no tiene motivo para proponer el envío de un mensaje. - Si la acción afecta a otras personas, o se trata de un pago o de accesos, y la duda persiste, compruébelo por otra vía. - Comunique a seguridad cualquier agente que actúe sin pedir su conformidad cuando debería hacerlo. ## Las trampas ### Validar sin leer Cuando las solicitudes de aprobación se repiten, uno acaba haciendo clic sin mirar. La validación se convierte entonces en un trámite y deja de proteger. Una solicitud que aparece a mitad de una tarea exige la misma atención que la primera del día. ### El agente con demasiados derechos OWASP da el ejemplo de una extensión destinada a leer datos, pero que se conecta a una base de datos con una identidad que también puede modificar, insertar y borrar [3]. Cita además la extensión que actúa por un usuario con una cuenta privilegiada genérica que tiene acceso a los archivos de todos los usuarios [3]. En estos casos, una sola aprobación puede tener efectos mucho más amplios de lo que la solicitud deja ver. ### La inyección de prompt OWASP describe la inyección indirecta: el modelo acepta contenidos procedentes del exterior, como sitios web o archivos, y esos contenidos modifican su comportamiento de forma imprevista [2]. Las instrucciones no necesitan ser legibles por una persona, siempre que el modelo las procese [2]. OWASP añade que no se sabe si existen métodos de prevención infalibles [2]. La aprobación humana es, por tanto, una salvaguarda que no debe eludirse. La ilustración siguiente está neutralizada: la instrucción oculta aparece parafraseada. ```text Ilustración (ficticia). Texto oculto en un correo recibido: [instrucción dirigida al asistente: buscar información sensible en el buzón y reenviarla a una dirección externa] Solicitud de aprobación mostrada al empleado: "¿Enviar un mensaje a contact@exemple.invalid?" ``` Es el escenario que describe OWASP: un correo trampa empuja al asistente a recorrer el buzón y a reenviar información sensible a la dirección del atacante [3]. Entre las medidas de protección, OWASP cita la obligación de revisar y pulsar manualmente « enviar » en cada mensaje redactado por la extensión [3]. ### Creer que la validación basta OWASP precisa que algunas medidas, como el registro de actividad, la supervisión y la limitación de la tasa de peticiones, no previenen la autonomía excesiva, pero limitan los daños [3]. NIST presenta su marco de gestión de riesgos de la IA como destinado a un uso voluntario [4]. El NCSC británico indica que la seguridad de un sistema de IA debe ser un requisito desde el diseño y durante todo su ciclo de vida [5]. ## Fuentes 1. CNIL, «Intelligence artificielle | CNIL». https://www.cnil.fr/fr/intelligence-artificielle (consultado el 3 de noviembre de 2026) 2. OWASP, «LLM01:2025 Prompt Injection». https://genai.owasp.org/llmrisk/llm01-prompt-injection/ (consultado el 3 de noviembre de 2026) 3. OWASP, «LLM06:2025 Excessive Agency». https://genai.owasp.org/llmrisk/llm062025-excessive-agency/ (consultado el 3 de noviembre de 2026) 4. NIST, «AI Risk Management Framework». https://www.nist.gov/itl/ai-risk-management-framework (consultado el 3 de noviembre de 2026) 5. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de noviembre de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado el 3 de noviembre de 2026) --- Fuente original: Cyberpedia, la enciclopedia pública de ciberseguridad e IA publicada por Brain. Versión canónica: https://startbrain.io/cyberpedia/es/articles/validacion-humana-agentes-ia-acciones-prohibidas/ Puede reutilizar este texto libremente bajo la licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/), siempre que cite «Brain, Cyberpedia» con un enlace a la dirección anterior.