Inyección directa de prompt

Los investigadores Fábio Perez e Ian Ribeiro demostraron en 2022 que personas poco cualificadas, pero con malas intenciones, pueden desviar GPT-3 con simples textos escritos a mano³. Describen dos objetivos: desviar la finalidad del modelo (goal hijacking) y hacer que divulgue su prompt (prompt leaking)³.

Un segundo tipo de objetivo es el uso indebido. Un equipo de investigadores describió en 2023 resultados como el uso ilimitado y arbitrario del modelo que hay detrás de una aplicación, y el robo fácil del prompt de la aplicación⁴.

El jailbreak procede de otra manera. Los autores del estudio «Jailbroken» proponen dos causas del fallo del entrenamiento en seguridad: objetivos contrapuestos (las capacidades del modelo entran en conflicto con sus reglas de seguridad) y una generalización inadecuada (la seguridad no cubre un ámbito en el que el modelo sí tiene capacidades)⁵.

OWASP cita también variantes. El atacante puede añadir a su mensaje una secuencia de caracteres aparentemente sin sentido, o usar varios idiomas o una codificación como Base64 para evadir los filtros¹.

Para el usuario o para la empresa, un ataque exitoso se detecta por sus efectos. OWASP enumera las consecuencias posibles: divulgación de información sensible, revelación de información sobre la infraestructura o sobre los prompts del sistema, contenidos falseados o sesgados, acceso no autorizado a las funciones del modelo, ejecución de comandos en sistemas conectados¹.

En concreto, debe dar la alarma un asistente que responde fuera de su tema, que recita sus propias instrucciones o que produce un contenido que la empresa nunca habría aprobado. OWASP da un escenario típico: un atacante pide a un chatbot de soporte que ignore sus instrucciones, que consulte datos privados y que envíe correos electrónicos¹.

Esta es una ilustración de este tipo de mensaje, neutralizada y parafraseada:

Ilustración (mensaje parafraseado, no funcional):
[instrucción que pide al chatbot que ignore las reglas recibidas del proveedor
y que después copie íntegramente sus instrucciones internas]

Para un modelo de lenguaje no hay «datos» ni «instrucciones», solo el token siguiente (next token): el modelo predice el token más probable a partir del texto recibido hasta ese momento². Las instrucciones del proveedor y la frase escrita por el usuario acaban, pues, en el mismo texto, sin una separación que el modelo respete².

Este punto distingue la inyección de prompt de la inyección SQL. En SQL, las consultas parametrizadas garantizan que el motor nunca interprete una entrada como una instrucción². El NCSC escribe que los ataques por inyección de prompt podrían no llegar a mitigarse del todo, como sí se mitigan las inyecciones SQL². Las vías en curso (detectar los intentos, entrenar al modelo para que dé prioridad a las instrucciones, indicar al modelo qué es un dato) añaden por encima una distinción que la tecnología no hace².

El NIST publicó en marzo de 2025 una taxonomía del aprendizaje automático adversarial⁶.

Un punto de cautela se refiere a los filtros de palabras prohibidas. El NCSC advierte contra el bloqueo de frases conocidas como «ignore previous instructions»: existe una infinidad de reformulaciones que eluden ese filtro².

Prevención

Las medidas sencillas que se recogen aquí proceden de OWASP y del NCSC.

• Mínimo privilegio: dar al modelo el acceso mínimo necesario y gestionar las funciones ampliadas en el código de la aplicación en lugar de confiarlas al modelo¹.
• Validación humana: exigir la aprobación de una persona para las operaciones con privilegios¹.
• Filtrado de las salidas: definir categorías sensibles, detectar los contenidos no autorizados con filtros semánticos y controles de cadenas, y validar el formato de las respuestas con código determinista¹.
• Definición del rol: describir en el prompt del sistema el rol y los límites del modelo¹. Esta medida ayuda, pero no basta: OWASP presenta todas estas medidas como formas de atenuar el impacto¹.
• Pruebas: realizar pruebas de intrusión y simulaciones periódicas, tratando al modelo como un usuario no fiable¹.
• Supervisión: registrar suficiente información para detectar una actividad sospechosa, incluidas las llamadas fallidas a herramientas y API, que pueden delatar las primeras etapas de un ataque².

El NCSC añade que la seguridad de un sistema debe apoyarse en salvaguardas deterministas que limiten sus acciones, y no solo en la esperanza de impedir que un contenido malicioso llegue al modelo². Si el riesgo residual es intolerable, puede que el caso de uso no sea adecuado para un modelo de lenguaje².

Noviembre de 2022: GPT-3 desviado con simples textos

El 17 de noviembre de 2022, Fábio Perez e Ian Ribeiro publican PromptInject, un marco de análisis de estos ataques. Estudian GPT-3, que describen como el modelo de lenguaje más desplegado en producción, y demuestran que puede desalinearse con facilidad mediante entradas escritas a mano³. Los dos ataques estudiados son el secuestro del objetivo y la fuga del prompt³.

Junio de 2023: 31 aplicaciones de 36 vulnerables

El 8 de junio de 2023, un equipo de doce investigadores publica un estudio sobre aplicaciones reales que utilizan un modelo de lenguaje. Tras analizar diez aplicaciones comerciales, desarrolla una técnica de ataque llamada HouYi y la aplica a 36 aplicaciones: 31 resultan sensibles a la inyección de prompt⁴. Diez proveedores validaron los resultados, entre ellos Notion⁴.

Julio de 2023: protecciones que ceden

El 5 de julio de 2023, Alexander Wei, Nika Haghtalab y Jacob Steinhardt evalúan GPT-4 de OpenAI y Claude v1.3 de Anthropic. Sus nuevos ataques tienen éxito en cada solicitud de una colección de peticiones peligrosas extraída de los conjuntos de evaluación de red teaming de los modelos⁵. Los autores concluyen que las vulnerabilidades persisten pese a los esfuerzos de red teaming y de entrenamiento en seguridad⁵.