Cyberpediapor Brain

Aprendizaje supervisado, no supervisado y por refuerzo

Cómo aprende un sistema de IA: ejemplos etiquetados, datos sin etiquetar, ensayos y recompensas. Y por qué importan los datos de entrenamiento.

En esta página
  1. 1En 30 segundos
  2. 2De qué se trata
  3. 3Preguntas directas
  4. 4Cómo funciona
  5. 5Las trampas
  6. 6Fuentes
  7. 7Citar este artículo

En 30 segundos

Dónde ocurre
En las herramientas que clasifican mensajes, detectan actividades sospechosas o dirigen a un agente, es decir, un programa que aprende por ensayos y recibe comentarios sobre sus acciones[1][2].
Lo que busca el atacante
Falsear el entrenamiento insertando o modificando ejemplos, lo que el NIST llama envenenamiento de datos[2].
El reflejo
Preguntarse de dónde vienen los datos que sirvieron para entrenar una herramienta antes de fiarse de su resultado, porque un modelo a menudo solo es tan bueno como los datos que se le dan[1].

De qué se trata

Un sistema de IA corriente no ha sido programado regla por regla. Según Google[1], el aprendizaje automático (machine learning) permite que un sistema aprenda y mejore por sí solo, sin ser programado de forma explícita, al proporcionarle grandes cantidades de datos. La manera de proporcionarle esos datos cambia lo que aprende.

Google[1] presenta cuatro tipos de modelos. Aquí se describen tres: el aprendizaje supervisado, el aprendizaje no supervisado y el aprendizaje por refuerzo. El cuarto, llamado semisupervisado, es un enfoque mixto en el que solo una parte de los datos está etiquetada[1]. Para un empleado, un punto importa: un modelo depende de los datos con los que se entrenó[1], y un atacante puede intentar falsearlos[2].

Preguntas directas

¿Cuál es la diferencia entre las tres formas de aprender?

Todo depende de lo que el sistema recibe durante el entrenamiento. En el aprendizaje supervisado, recibe ejemplos etiquetados[1]. En el aprendizaje no supervisado, recibe datos sin etiquetar[1]. En el aprendizaje por refuerzo, un agente interactúa con un entorno y aprende una política, es decir, una manera de actuar, que maximiza su recompensa[2].

¿Una herramienta de IA sigue aprendiendo una vez en servicio?

El NCSC (Reino Unido)[3] define el aprendizaje continuo como el conjunto de métodos que ajustan o prolongan el entrenamiento de un modelo una vez desplegado, a partir de las interacciones y de las comentarios de uso. Google[1] indica por su parte que un modelo puede reentrenarse con datos nuevos y recibir comentarios de usuarios reales. El NIST[2] señala que los detectores de ataques en sistemas industriales suelen reentrenarse con datos recogidos durante su funcionamiento, lo que abre a un atacante la posibilidad de envenenarlos.

¿Qué es el envenenamiento de datos?

El NIST[2] define los ataques por envenenamiento como ataques realizados durante la fase de entrenamiento. En un envenenamiento de datos, el adversario controla una parte de los datos de entrenamiento insertando o modificando ejemplos[2]. La ENISA[4] sitúa el envenenamiento de datos entre las amenazas que apuntan a los sistemas de aprendizaje automático, junto con los ataques adversariales y la exfiltración de datos.

Cómo funciona

Aprendizaje supervisado: aprender con ejemplos corregidos

El modelo recibe datos etiquetados y aprende a relacionar una característica con una etiqueta[1]. Google[1] da el ejemplo del reconocimiento de manzanas: para entrenar el algoritmo, se le muestran imágenes etiquetadas como manzanas. La respuesta esperada se conoce de antemano[1].

El NIST[2] distingue dos familias de técnicas supervisadas: la clasificación, en la que las etiquetas predichas son discretas, y la regresión, en la que son continuas. Microsoft[5] señala que la salida de un modelo de aprendizaje automático es, casi siempre, un valor numérico, como una puntuación o una clasificación.

El NIST[2] cita clasificadores de spam entrenados con ejemplos de correos electrónicos. Describe también el caso de la clasificación de programas maliciosos, en el que los atacantes pueden enviar archivos a plataformas de inteligencia sobre amenazas y el etiquetado se hace con firmas de antivirus u otros métodos externos[2].

Aprendizaje no supervisado: encontrar grupos sin instrucciones

El modelo aprende patrones a partir de datos sin etiquetar[1]. La «correctness» de la salida no se conoce de antemano: el algoritmo aprende de los datos sin intervención humana y los clasifica en grupos según sus atributos[1]. Si se le dan imágenes de manzanas y de plátanos, las separa por sí solo[1]. Google[1] lo considera eficaz para el modelado descriptivo y la búsqueda de patrones, y cita el agrupamiento K-means entre los algoritmos habituales.

En seguridad, el NIST[2] menciona modelos no supervisados utilizados para agrupar programas maliciosos y para detectar anomalías en el tráfico de red. Señala que su envenenamiento se ha demostrado en ambos usos[2].

Aprendizaje por refuerzo: aprender probando

Google[1] lo describe como un aprendizaje «learn by doing», por ensayos y errores. Un agente aprende una tarea a través de un bucle de retroalimentación, hasta que su rendimiento alcanza un nivel deseable. Recibe un refuerzo positivo cuando acierta y negativo cuando falla[1]. En el ejemplo de Google[1], unos investigadores enseñaron a un algoritmo a jugar al go: sin conocer las reglas, movió piezas al azar y acabó venciendo a un jugador humano.

El NCSC (Reino Unido)[3] precisa que sus principios de seguridad no cubren de forma específica el aprendizaje por refuerzo, porque esta técnica se desarrolla de otra manera. Pueden servir de base, pero probablemente hagan falta precauciones de seguridad adicionales[3].

Las trampas

Datos de mala calidad

Según Google[1], si se supone que los datos de entrenamiento son de buena calidad, cuantos más ejemplos recibe el algoritmo, más preciso se vuelve el modelo. Por el contrario, un algoritmo alimentado con un conjunto de datos sesgado produce resultados sesgados[1]. Obtener y depurar datos estructurados es un primer paso importante para el aprendizaje supervisado, y puede resultar difícil cuando los datos están dispersos en varios lugares de la organización[1].

Datos envenenados

El NIST[2] escribe que el envenenamiento puede organizarse a gran escala: un adversario con medios económicos limitados podría controlar una fracción de los conjuntos de datos públicos utilizados para el entrenamiento. Puede degradar el modelo en todos los ejemplos, o provocar errores en un pequeño número de ejemplos elegidos[2]. Un método sencillo, la inversión de etiquetas, consiste en proporcionar ejemplos de entrenamiento cuya etiqueta es falsa o ha sido modificada[2].

Las defensas son desiguales. Los ataques que degradan el modelo en todos los ejemplos suelen poder detectarse vigilando las medidas de rendimiento habituales, como la precisión o la exhaustividad[2]. Los ataques dirigidos son, en cambio, «notoriously challenging to defend against» según el NIST[2], que cita como medidas el control de acceso a los datos de entrenamiento, la depuración y validación de los datos, y la acreditación de su procedencia y de su integridad.

El NCSC (Reino Unido)[3] recuerda que los sistemas de IA y de aprendizaje automático están sujetos a vulnerabilidades nuevas, que deben considerarse además de las amenazas clásicas, y que la seguridad debe ser un requisito a lo largo de todo el ciclo de vida del sistema.

Un modelo puede ser engañado sin tocar su entrenamiento

Un ataque de evasión modifica los ejemplos presentados a un modelo ya entrenado para cambiar su predicción[2]. El NIST[2] cita el estudio de un detector comercial de páginas de phishing: de 4 600 muestras que el sistema consideraba inciertas, los autores identificaron 100 ejemplos adversariales. Los atacantes no usaban métodos de optimización, sino técnicas sencillas como el recorte, el enmascaramiento o el desenfoque de la imagen[2].

El NIST[2] añade que diseñar modelos que resistan la evasión sin perder precisión sigue siendo un problema abierto. Unos investigadores han demostrado algunas evasiones contra detectores de programas maliciosos y contra un sistema de protección del correo, pero no dieron lugar a ataques en la práctica[2].

Necesidades de datos variables

Microsoft[5] indica que el aprendizaje automático puede funcionar con pequeñas cantidades de datos, mientras que el aprendizaje profundo necesita grandes cantidades de datos de entrenamiento.

Fuentes

  1. Google, «What is Machine Learning? Types and uses». https://cloud.google.com/learn/what-is-machine-learning (consultado el 14 de noviembre de 2026)
  2. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-2e2025.pdf (consultado el 14 de noviembre de 2026)
  3. NCSC (Royaume-Uni), «Principles for security of Machine learning ML», 22 de mayo de 2024. https://www.ncsc.gov.uk/collection/machine-learning-principles (consultado el 14 de noviembre de 2026)
  4. ENISA, «Securing Machine Learning Algorithms | ENISA», 14 de diciembre de 2021. https://www.enisa.europa.eu/publications/securing-machine-learning-algorithms (consultado el 14 de noviembre de 2026)
  5. Microsoft, «Deep Learning vs. Machine Learning - Azure Machine Learning». https://learn.microsoft.com/en-us/azure/machine-learning/concept-deep-learning-vs-machine-learning?view=azureml-api-2 (consultado el 14 de noviembre de 2026)