Cyberpediapor Brain
ESDEENFR

Cómo se entrena y se alinea un modelo de IA

Preentrenamiento, fine-tuning, RLHF y DPO: las etapas de fabricación de un asistente de IA y lo que cambian para su uso en el trabajo.

En 30 segundos

Dónde ocurre
Cada vez que se consulta a un asistente de IA, sea público o proporcionado por la empresa.
Lo que amenaza a estos sistemas
El informe del NIST recoge, entre otras, el envenenamiento de datos, la evasión y el abuso8.
El reflejo
Releer y comprobar toda respuesta antes de usarla, y no pegar datos sensibles en una herramienta sin el visto bueno de la empresa.
Si ya lo ha hecho
Avisar al servicio de seguridad o al referente de IA, indicando la herramienta utilizada y la naturaleza de los datos introducidos.

De qué se trata

Un asistente de IA no sale terminado de un único entrenamiento. Pasa por varias etapas sucesivas: una lectura masiva de textos, un aprendizaje con ejemplos de instrucciones y, por último, un ajuste según las preferencias de evaluadores. Para un empleado, el interés es práctico. Saber cómo se fabrica la respuesta ayuda a calibrar la confianza que merece y a decidir qué se le puede encomendar.

Preguntas directas

¿Cuáles son las etapas de fabricación de un asistente de IA?

Son tres. El preentrenamiento da al modelo un conocimiento general del lenguaje a partir de corpus de texto muy grandes. El fine-tuning supervisado (SFT) le enseña a responder a instrucciones, a partir de ejemplos de buenas respuestas. Después, la alineación ajusta su comportamiento según preferencias humanas, con métodos como el RLHF o el DPO.

¿Qué hace el preentrenamiento?

La arquitectura Transformer, presentada en 2017, se basa únicamente en mecanismos de atención1. Un enfoque habitual consiste en preentrenar un modelo con un gran corpus de textos y luego afinarlo para una tarea concreta2. GPT-3, por ejemplo, es un modelo de lenguaje de 175 000 millones de parámetros, diez veces más que cualquier modelo no disperso anterior2.

¿Qué aporta el fine-tuning supervisado?

En el caso de InstructGPT, los investigadores reunieron instrucciones escritas por evaluadores e instrucciones enviadas a través de la API de OpenAI. Recopilaron demostraciones del comportamiento deseado y las usaron para afinar GPT-3 mediante aprendizaje supervisado3. Para el empleado, lo que conviene retener: en el caso de InstructGPT, instrucciones enviadas a través de la API de OpenAI sirvieron de base al conjunto de datos3.

¿Qué son el RLHF y el DPO?

El RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) añade una segunda fase. Los investigadores recopilan clasificaciones de respuestas del modelo y las usan para afinar todavía más el modelo supervisado3. Los evaluadores comparan respuestas y el sistema aprende a producir las que prefieren. Otros autores aplicaron este método para obtener asistentes útiles e inofensivos, e indican que este entrenamiento mejora los resultados en casi todas las evaluaciones de procesamiento del lenguaje4.

El DPO (Direct Preference Optimization) persigue el mismo objetivo de forma más sencilla. Sus autores describen el RLHF como un procedimiento complejo y a menudo inestable, y proponen un método que lo sustituye por una simple pérdida de clasificación5. Según sus autores, el DPO alinea el modelo con las preferencias tan bien como los métodos existentes, o mejor5.

¿Puede una IA supervisar también a otra IA?

Sí, es el principio de la Constitutional AI. La única supervisión humana es una lista de reglas o principios, y el propio modelo produce críticas y revisiones de sus respuestas6. En cuanto a la inocuidad, ninguna etiqueta humana identifica las respuestas dañinas: un modelo evalúa cuál de dos respuestas es mejor6.

¿Un modelo educado es un modelo fiable?

No. Los autores de InstructGPT señalan que los modelos más grandes no siguen necesariamente mejor la intención del usuario y que pueden producir respuestas falsas, tóxicas o simplemente inútiles3. Incluso tras la alineación, InstructGPT « still makes simple mistakes »3. Un tono cortés y seguro no demuestra, por tanto, nada sobre la exactitud del contenido.

1Cómo funciona1 min

El preentrenamiento hace que el modelo absorba un gran corpus de textos2. Los autores del DPO subrayan que este entrenamiento es totalmente no supervisado, lo que dificulta un control preciso del comportamiento5.

Las dos etapas siguientes sirven para corregirlo. El fine-tuning enseña las respuestas esperadas. La alineación añade el juicio humano, o el de otro modelo, sobre la calidad de varias respuestas posibles36.

Afinar por completo un modelo muy grande es caro. El método LoRA congela los pesos del modelo preentrenado y añade pequeñas matrices entrenables. Para GPT-3 175B, reduce 10 000 veces el número de parámetros que hay que entrenar y 3 veces la memoria de GPU necesaria, en comparación con un afinado completo7.

2Lo que usted hace1 min
  • Compruebe las respuestas que importan: cifras, referencias, nombres, extractos de normas. El modelo puede producir contenidos falsos3.
  • No pegue datos sensibles (clientes, contratos, código interno, datos personales) en una herramienta que la empresa no haya validado. En el caso de InstructGPT, instrucciones enviadas a través de la API de OpenAI sirvieron de base al conjunto de datos3.
  • Siga la política de uso de la empresa: indica qué herramientas están autorizadas y qué datos pueden introducirse en ellas.
  • Comunique cualquier comportamiento extraño del modelo o una respuesta que parezca revelar información que no debería salir.
3Las trampas1 min

El informe NIST AI 100-2 E2025 establece un vocabulario común para los ataques contra los sistemas de aprendizaje automático. Entre sus palabras clave figuran el envenenamiento de datos (data poisoning), la evasión, el abuso y la vulneración de la privacidad8. También abarca los agentes conversacionales y los grandes modelos de lenguaje8.

De estas etapas de fabricación se derivan algunas trampas:

  • Unos datos de entrenamiento o de afinado manipulados pueden sesgar el modelo. El informe del NIST sitúa el envenenamiento de datos entre los ataques catalogados8.
  • El NIST incluye también el abuso y la evasión entre las palabras clave de su informe sobre ataques8.
  • Puede filtrarse información confidencial. El NCSC británico quiere que los sistemas de IA funcionen « without revealing sensitive data to unauthorised parties »9. El proyecto OWASP sobre aplicaciones de modelos de lenguaje recoge las vulnerabilidades de seguridad más críticas de estas aplicaciones10.

El NCSC recuerda además que los sistemas de IA presentan vulnerabilidades nuevas, que hay que considerar además de las amenazas informáticas habituales9.

4Casos reales1 min

Marzo de 2022: un modelo pequeño alineado preferido a un modelo grande sin alinear

En el artículo publicado el 4 de marzo de 2022, los autores comparan modelos en evaluaciones humanas. Las respuestas del modelo InstructGPT de 1300 millones de parámetros son preferidas a las de GPT-3 (175 000 millones), con cien veces menos parámetros3. Los mismos trabajos señalan una mayor veracidad y menos contenidos tóxicos3. Para un empleado, la lección es limitada: la alineación hace que las respuestas se ajusten más a lo que la gente prefiere, pero no elimina los errores, que los autores siguen reconociendo3.

Ficha

Identificador
CP-261
Ala
4. Inteligencia artificial
Competencia Brain
Entender la IA (understand_ai)
Reflejo Brain
air-001
Esquema
G3 · Corte anatómico
Idiomas
de, en, es, fr
Fuentes
10 fuentes verificadas el 3 de noviembre de 2026
Fuentes10 fuentes
  1. arXiv, «Attention Is All You Need», 12 de junio de 2017. https://arxiv.org/abs/1706.03762 (consultado el 3 de noviembre de 2026)
  2. arXiv, «Language Models are Few-Shot Learners», 28 de mayo de 2020. https://arxiv.org/abs/2005.14165 (consultado el 3 de noviembre de 2026)
  3. arXiv, «Training language models to follow instructions with human feedback», 4 de marzo de 2022. https://arxiv.org/abs/2203.02155 (consultado el 3 de noviembre de 2026)
  4. arXiv, «Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback», 12 de abril de 2022. https://arxiv.org/abs/2204.05862 (consultado el 3 de noviembre de 2026)
  5. arXiv, «Direct Preference Optimization: Your Language Model is Secretly a Reward Model», 29 de mayo de 2023. https://arxiv.org/abs/2305.18290 (consultado el 3 de noviembre de 2026)
  6. arXiv, «Constitutional AI: Harmlessness from AI Feedback», 15 de diciembre de 2022. https://arxiv.org/abs/2212.08073 (consultado el 3 de noviembre de 2026)
  7. arXiv, «LoRA: Low-Rank Adaptation of Large Language Models», 17 de junio de 2021. https://arxiv.org/abs/2106.09685 (consultado el 3 de noviembre de 2026)
  8. NIST, «Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations», 24 de marzo de 2025. https://csrc.nist.gov/pubs/ai/100/2/e2025/final (consultado el 3 de noviembre de 2026)
  9. NCSC (Royaume-Uni), «Guidelines for secure AI system development», 27 de noviembre de 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development (consultado el 3 de noviembre de 2026)
  10. OWASP, «OWASP Top 10 for Large Language Model Applications». https://owasp.org/projects/top-10-for-large-language-model-applications (consultado el 3 de noviembre de 2026)

Citar este artículo

Brain, «Cómo se entrena y se alinea un modelo de IA», Cyberpedia, 2026. https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/

BibTeX 
@misc{brain_cp261_es_2026,
  author = {Brain},
  title = {Cómo se entrena y se alinea un modelo de IA},
  year = {2026},
  howpublished = {Cyberpedia},
  url = {https://startbrain.io/cyberpedia/es/articles/preentrenamiento-fine-tuning-alineacion-rlhf-dpo/},
  note = {CC BY 4.0}
}
Licencia CC BY 4.0