Deriva de los modelos y contaminación de la web por la IA
Cómo las IA entrenadas con textos de IA pierden diversidad y cómo comprobar un contenido generado antes de usarlo en el trabajo.
En 30 segundos
- Dónde ocurre
- En las herramientas de generación de texto e imagen, y en los contenidos en línea que sirven para entrenarlas.
- Qué cambia para usted
- Una respuesta puede parecer creíble y ser falsa, o ser solo una versión empobrecida de un contenido existente.
- El reflejo
- No reutilice ningún texto generado sin haberlo contrastado con una fuente fiable que haya abierto usted mismo.
- Si ya lo ha hecho
- Relea el documento, localice la fuente de cada dato, corríjalo y avise a los destinatarios si ha salido algún error.
De qué se trata
Los asistentes de escritura producen textos que otros modelos, u otros empleados, reutilizan después. Cuando esos textos generados sirven para entrenar nuevos modelos, los investigadores han constatado defectos irreversibles. Este efecto se llama «Model Collapse», aquí traducido como deriva de modelo1.
Esta ficha explica el mecanismo sin entrar en ecuaciones y ofrece gestos sencillos: comprobar una información, contrastarla, detectar un contenido dudoso y no reutilizar nunca tal cual un texto generado.
Preguntas directas
¿Qué es la deriva de modelo?
Es la degradación de un modelo entrenado con contenidos producidos por otros modelos. Los investigadores constataron que usar contenido generado en el entrenamiento causa defectos irreversibles: las «colas» de la distribución original, es decir, los casos raros, desaparecen. Llamaron a este efecto «Model Collapse» y lo observaron en autocodificadores variacionales, modelos de mezcla gaussiana y grandes modelos de lenguaje1.
¿El fenómeno se limita al texto?
No. Otro equipo estudió modelos generativos de imágenes en bucles en los que cada generación se entrena con las salidas de la anterior. Sin suficientes datos reales nuevos en cada generación, la calidad (precisión) o la diversidad (exhaustividad) de los modelos futuros disminuye progresivamente. Los autores llaman a este estado «Model Autophagy Disorder» (MAD), por analogía con la enfermedad de las vacas locas3.
¿Y en los modelos de lenguaje?
Un estudio aceptado en NAACL 2024 (Findings) midió la diversidad léxica, sintáctica y semántica tras ajustes sucesivos con texto sintético, en inglés. Constata un descenso constante de la diversidad de las salidas a lo largo de las iteraciones, especialmente marcado en las tareas que exigen creatividad2.
¿Puede un texto generado ser falso sin que la herramienta «mienta»?
Sí. OWASP describe la alucinación: el modelo rellena lagunas con regularidades estadísticas, sin comprender el contenido, y produce respuestas que parecen correctas pero carecen de fundamento. Los sesgos de los datos de entrenamiento y la información incompleta también contribuyen5.
¿Pueden los datos de entrenamiento ser manipulados a propósito?
Sí. OWASP llama envenenamiento de datos a la manipulación de los datos de preentrenamiento, de ajuste o de representación para introducir vulnerabilidades, puertas traseras o sesgos. El riesgo es alto con fuentes externas, que pueden contener contenido no verificado o malicioso4.
1Cómo funciona1 min
Un modelo de lenguaje aprende de grandes cantidades de texto recopiladas en la web. Si una parte creciente de ese texto procede de modelos, el siguiente aprende en parte de copias. Los autores del primer estudio sostienen que este riesgo debe tomarse en serio para seguir aprovechando el entrenamiento con datos recopilados a gran escala en la web. Añaden que los datos procedentes de interacciones humanas reales con los sistemas ganarán valor a medida que el contenido generado se extienda en los datos recopilados de Internet1.
El otro trabajo establece que, sin suficientes datos reales nuevos en cada generación, la calidad o la diversidad disminuye3. Las páginas consultadas no cuantifican la parte de contenido sintético presente actualmente en la web, y esta ficha no aporta ninguna cifra.
2Qué hace usted1 min
- Trate una respuesta generada como un borrador. OWASP nombra la confianza excesiva (overreliance): los usuarios integran datos incorrectos en decisiones importantes sin una revisión suficiente5.
- Contraste con fuentes externas fiables. OWASP recomienda cruzar las salidas del modelo con esas fuentes y prever una revisión humana y una verificación de los hechos para la información sensible5.
- Localice el origen de cada dato, cifra o cita antes de escribirlo en un documento. Si no encuentra ninguna fuente, elimine el dato.
- Compruebe que una referencia existe antes de usarla. OWASP cita un caso en el que ChatGPT fabricó casos judiciales falsos, con graves consecuencias ante un tribunal5.
- En el caso del código, no adopte sin control una biblioteca sugerida. Los asistentes proponen bibliotecas de terceros inseguras o inexistentes5.
- Detecte los contenidos dudosos: texto sin autor ni fuente, afirmaciones sin respaldo, contradicciones con una fuente que usted conoce. Estos criterios son pautas de sentido común de esta ficha, no un método extraído de las fuentes.
- Señale el contenido generado cuando lo difunda. OWASP recomienda etiquetar claramente los contenidos generados por IA e informar sobre los límites de fiabilidad5.
3Las trampas2 min
- Una respuesta fluida no es una respuesta verificada: la desinformación de un modelo parece creíble5.
- Una fuente que reproduce un texto generado no es una segunda opinión. Dos páginas que dicen lo mismo pueden proceder del mismo modelo.
- Los propios modelos pueden venir del exterior. OWASP señala que actualmente no existe una garantía sólida sobre la procedencia de los modelos publicados: las fichas descriptivas no dan ninguna sobre su origen6.
- Un modelo envenenado puede comportarse con normalidad hasta que un desencadenante cambia su comportamiento, lo que hace difícil detectar el defecto4.
- Las condiciones de uso de una herramienta pueden permitir el uso de sus datos para el entrenamiento. OWASP señala este riesgo cuando las condiciones y la política de privacidad son poco claras6. No introduzca información sensible en una herramienta no validada por su empresa.
- Un error de la IA compromete a la organización incluso sin atacante. OWASP cita el chatbot de Air Canada, cuya información errónea a los viajeros provocó trastornos y complicaciones legales, y la aerolínea fue demandada con éxito5.
En el plano de la organización, NIST propone un perfil transversal para la IA generativa, complemento del AI RMF 1.0, de uso voluntario8. Las directrices del NCSC británico, publicadas el 27 de noviembre de 2023, abarcan el diseño, el desarrollo, el despliegue y la explotación de los sistemas de IA, incluida la seguridad de la cadena de suministro7.
4Casos reales1 min
27 de mayo de 2023: la «maldición de la recursión»
Ilia Shumailov y cinco coautores presentan a arXiv un artículo que se pregunta qué será de los futuros modelos GPT cuando los grandes modelos de lenguaje produzcan buena parte del texto en línea. Su respuesta: el contenido generado utilizado en el entrenamiento provoca defectos irreversibles. Muestran que el efecto puede darse en varias familias de modelos1.
4 de julio de 2023: el trastorno de autofagia de los modelos
Sina Alemohammad, Richard G. Baraniuk y seis coautores presentan a arXiv un análisis de tres familias de bucles autófagos en modelos de imágenes. Su conclusión: sin suficientes datos reales nuevos, la precisión o la diversidad disminuye de una generación a otra3.
16 de noviembre de 2023: el declive de la diversidad lingüística
Yanzhu Guo y sus coautores presentan a arXiv experimentos de ajuste recursivo en inglés. La diversidad de las salidas baja en cada iteración, sobre todo en las tareas creativas2.
Ficha
- Identificador
- CP-279
- Ala
- 4. Inteligencia artificial
- Competencia Brain
- Entender la IA (understand_ai)
- Reflejo Brain
- air-003
- Esquema
- G2 · Mito frente a realidad
- Idiomas
- de, en, es, fr
- Fuentes
- 8 fuentes verificadas el 3 de noviembre de 2026
Fuentes8 fuentes
- arXiv, «The Curse of Recursion: Training on Generated Data Makes Models Forget», 27 de mayo de 2023. https://arxiv.org/abs/2305.17493 (consultado el 3 de noviembre de 2026)
- arXiv, «The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text», 16 de noviembre de 2023. https://arxiv.org/abs/2311.09807 (consultado el 3 de noviembre de 2026)
- arXiv, «Self-Consuming Generative Models Go MAD», 4 de julio de 2023. https://arxiv.org/abs/2307.01850 (consultado el 3 de noviembre de 2026)
- OWASP, «LLM04:2025 Data and Model Poisoning». https://genai.owasp.org/llmrisk/llm042025-data-and-model-poisoning/ (consultado el 3 de noviembre de 2026)
- OWASP, «LLM09:2025 Misinformation». https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultado el 3 de noviembre de 2026)
- OWASP, «LLM03:2025 Supply Chain». https://genai.owasp.org/llmrisk/llm032025-supply-chain/ (consultado el 3 de noviembre de 2026)
- NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de noviembre de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado el 3 de noviembre de 2026)
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile», 26 de julio de 2024. https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence (consultado el 3 de noviembre de 2026)
Citar este artículo
Brain, «Deriva de los modelos y contaminación de la web por la IA», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp279_es_2026,
author = {Brain},
title = {Deriva de los modelos y contaminación de la web por la IA},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/es/articles/deriva-modelos-contaminacion-web-contenido-sintetico/},
note = {CC BY 4.0}
}