Probar un asistente de IA interno antes de abrirlo
Antes de abrir un asistente de IA a los empleados, el equipo lo ataca a propósito y mide sus respuestas. Cómo se hace y qué puede hacer usted.
En esta página
En 30 segundos
- Dónde ocurre
- Antes de abrir un asistente de IA a los empleados. NIST precisa que el red teaming puede realizarse antes o después de poner un modelo o un sistema a disposición del público, y que su sección se centra en el contexto previo al despliegue[3].
- Riesgos probados
- NIST incluye entre los riesgos que hay que probar las instrucciones desviadas (jailbreaking), las fugas de información sensible y las respuestas falsas enunciadas con aplomo[3].
- El reflejo
- Participar en las pruebas cuando el equipo se lo proponga, anotar y notificar cualquier comportamiento extraño, y no dar acceso al asistente a otras personas sin la validación del equipo responsable.
De qué se trata
Antes de que un asistente de IA interno se abra a los empleados, el equipo responsable de él puede atacarlo a propósito para encontrar sus fallos. Este ejercicio se llama red teaming. El término designaba en origen ataques sistemáticos realizados para probar vulnerabilidades de seguridad. Con los grandes modelos de lenguaje, se ha extendido a todo tipo de ensayos, pruebas y ataques a sistemas de IA[1].
El red teaming no sustituye el trabajo sistemático de medición y corrección[1]. Los autores de un balance de experiencia de Microsoft, basado en más de 100 productos de IA generativa probados, incluyen entre sus lecciones que el red teaming de la IA no es safety benchmarking[2].
Preguntas directas
¿Qué es el red teaming de un asistente de IA?
NIST describe ejercicios que a menudo se realizan en un entorno controlado, en colaboración con los desarrolladores, para detectar comportamientos o resultados no deseados, entender cómo podrían producirse y poner a prueba las salvaguardas[3]. Califica el red teaming de la IA de práctica en evolución[3]. La iniciativa AI Red Teaming de OWASP indica que proporcionará una metodología estandarizada, con benchmarks, herramientas y marcos de trabajo[7].
¿El red teaming sustituye a la evaluación mediante medición?
No. Según Microsoft, el red teaming no sustituye la medición sistemática. Ayuda a descubrir e identificar daños, lo que permite después elegir medidas para comprobar la eficacia de las correcciones[1]. Microsoft recomienda, como buena práctica, empezar con una primera ronda de red teaming manual antes de las mediciones sistemáticas[1]. Esta primera ronda sirve para elaborar la lista de daños que hay que medir y corregir[1].
¿Quién prueba?
Microsoft aconseja reunir un grupo variado, según la experiencia, los perfiles y las especialidades útiles para el ámbito del producto. Los probadores con mentalidad ofensiva y experiencia en seguridad ayudan a entender los riesgos de seguridad. Los usuarios corrientes, que no han participado en el desarrollo, aportan otra mirada sobre los daños que encontrarán los usuarios[1]. NIST describe también un red teaming realizado por el público general, es decir, por usuarios que no son necesariamente expertos en IA o en técnica, y señala que esta forma puede ser más eficaz con grandes grupos de probadores[3].
¿Qué riesgos hay que probar antes de la apertura?
Se distinguen tres familias de riesgos.
- Las instrucciones desviadas. NIST llama jailbreaking a la elaboración deliberada de instrucciones para eludir los controles sobre las respuestas[3]. OWASP sitúa la inyección de instrucciones (Prompt Injection) a la cabeza de su lista de 2025 de los riesgos de las aplicaciones de modelos de lenguaje[4]. Microsoft cita también la extracción de la instrucción del sistema (meta prompt) entre los puntos que los especialistas en seguridad pueden explorar[1].
- Las fugas de datos. OWASP enumera la divulgación de información sensible y la fuga de la instrucción del sistema[4]. NIST informa de que, durante ataques, modelos revelaron información sensible de dominio público que figuraba en sus datos de entrenamiento[3].
- Las respuestas falsas. NIST llama a este riesgo confabulación: un sistema produce y presenta con seguridad un contenido falso o erróneo[3]. El riesgo aparece cuando el usuario cree ese contenido por el tono seguro de la respuesta[3]. OWASP incluye la desinformación entre sus diez riesgos[4].
Cómo funciona
El método sigue un ciclo: definir el marco, probar, medir, corregir y repetir.
Definir el marco. Microsoft invita a planificar antes de las pruebas quién prueba, qué, cómo, y cómo se registran los resultados[1]. El manual de OWASP propone un método en ocho fases: planificación, reconocimiento, cartografía de la superficie de ataque, explotación, persistencia, evaluación del impacto, informe y remediación[6].
Probar. Según Microsoft, se puede probar el modelo base con su sistema de seguridad, la propia aplicación, o ambos antes y después de las correcciones[1]. La aplicación se prueba preferiblemente a través de su interfaz, y en la medida de lo posible en la interfaz de producción, que es la más parecida al uso real[1]. Microsoft sugiere empezar con pruebas abiertas y elaborar después una lista de daños con definiciones y ejemplos, que guíe las rondas siguientes[1].
Medir. Microsoft recomienda probar las versiones del producto con y sin medidas de protección, y añadir mediciones sistemáticas tras una primera ronda manual[1]. Después de cada ronda, un breve informe dirigido a las partes interesadas enumera los principales problemas, da acceso a los datos brutos y presenta el plan de las rondas siguientes[1].
Corregir y repetir. Microsoft propone comprobar que el plan de pruebas cubre los filtros de contenido, usar técnicas de redacción de instrucciones para reducir el riesgo y volver a probar para validar las mejoras[1]. Los autores del balance de experiencia de Microsoft escriben que el trabajo de securización de los sistemas de IA nunca estará terminado[2].
Las directrices del NCSC (Reino Unido), publicadas el 27 de noviembre de 2023, indican que la seguridad debe ser «a core requirement, not just in the development phase, but throughout the life cycle of the system»[5]. El Playbook de NIST, de uso voluntario, organiza sus sugerencias en torno a cuatro funciones: Govern, Map, Measure y Manage[8].
Qué hace usted
Un empleado sin perfil técnico puede actuar en cuatro puntos.
Participar en las pruebas. Si el equipo le asocia a una ronda de pruebas, Microsoft indica que puede ser útil dar a los probadores instrucciones claras: objetivo de la ronda, funciones que probar y acceso, tipos de problemas buscados, tiempo que dedicar, método de registro y persona de contacto[1]. Su condición de usuario corriente tiene valor en este ejercicio[1].
Registrar lo que ve. Microsoft propone anotar la fecha del ejemplo, un identificador del par entrada/salida si está disponible, el texto introducido y una descripción o una captura de la respuesta[1]. Una hoja de cálculo compartida es a menudo el método más sencillo, y cada persona puede releer en ella los ejemplos de las demás[1].
Notificar un comportamiento extraño. NIST indica que se pueden recoger comentarios directos de los usuarios en producción, después de poner un modelo a disposición[3]. Las directrices del NCSC sitúan el desarrollo de procesos de gestión de incidentes entre los temas del despliegue seguro[5]. En concreto, comunique al equipo del asistente lo que ha visto, con la fecha y el texto introducido.
No abrir la herramienta sin validación. El NCSC cita la puesta en producción responsable entre los temas del despliegue[5]. Para un empleado, esto se traduce de forma sencilla: no dé acceso al asistente a otras personas sin el visto bueno del equipo que responde de él.
Las trampas
- Tomar un ejemplo por una estadística. Microsoft pide que el informe precise que el red teaming sirve para exponer y hacer comprender la superficie de riesgo, y que nadie interprete un ejemplo aislado como una medida de la frecuencia de un daño[1].
- No decir dónde se hizo la prueba. Microsoft aconseja indicar qué puntos de acceso se han usado, y volver a probar en la interfaz de producción cuando se haya usado otro punto de acceso[1].
- Creer una respuesta porque está argumentada. NIST señala que los resultados pueden contener razonamientos o citas inventados que pretenden justificar la respuesta, lo que puede llevar a confiar en ella en exceso[3].
- Aplicar los resultados sin analizarlos. NIST escribe que los resultados del red teaming deberían ser objeto de un análisis adicional antes de integrarse en la gobernanza y en la toma de decisiones[3].
- Contar solo con la máquina o solo con el ser humano. Los autores del balance de experiencia de Microsoft señalan que la automatización puede ayudar a cubrir una parte mayor del panorama de riesgos, y que el elemento humano del red teaming de la IA es un punto clave de sus lecciones[2].
Fuentes
- Microsoft, «Planning red teaming for large language models (LLMs) and their applications». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/red-teaming (consultado el 14 de noviembre de 2026)
- arXiv, «Lessons From Red Teaming 100 Generative AI Products», 13 de enero de 2025. https://arxiv.org/abs/2501.07238 (consultado el 14 de noviembre de 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultado el 14 de noviembre de 2026)
- OWASP, «LLMRisks Archive». https://genai.owasp.org/llm-top-10/ (consultado el 14 de noviembre de 2026)
- NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de noviembre de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado el 14 de noviembre de 2026)
- OWASP, «GenAI Red Teaming Manual Version 1.0», 20 de octubre de 2026. https://genai.owasp.org/resource/genai-red-teaming-manual-version-1-0/ (consultado el 14 de noviembre de 2026)
- OWASP, «AI Red Teaming Initiative», 13 de noviembre de 2025. https://genai.owasp.org/initiatives/ai-red-teaming-initiative/ (consultado el 14 de noviembre de 2026)
- NIST, «NIST AI RMF Playbook», 8 de julio de 2022. https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook (consultado el 14 de noviembre de 2026)
Citar este artículo
Brain, «Probar un asistente de IA interno antes de abrirlo», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp511_es_2026,
author = {Brain},
title = {Probar un asistente de IA interno antes de abrirlo},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/es/articles/probar-asistente-ia-interno-antes-de-abrirlo/},
note = {CC BY 4.0}
}