Cyberpediapor Brain

Hacer revisar un contrato a una IA: lo que detecta, lo que omite

Un asistente de IA puede detectar cláusulas de riesgo en un contrato, pero omite algunas e inventa. Los límites medidos y los gestos a adoptar.

En esta página
  1. 1En 30 segundos
  2. 2De qué se trata
  3. 3Preguntas directas
  4. 4Cómo funciona
  5. 5Qué hace usted
  6. 6Las trampas
  7. 7Fuentes
  8. 8Citar este artículo

En 30 segundos

Dónde ocurre
Cuando se pide a un asistente de IA que detecte en un contrato las cláusulas de riesgo[1].
Qué puede salir mal
Algunos modelos responden no related clause aunque haya una cláusula pertinente[1], y un modelo puede producir afirmaciones jurídicas sin fundamento[2].
El reflejo
No poner información sensible en una consulta a un modelo público[3], y hacer que una persona verifique los resultados cuando lo que está en juego es importante[2].

De qué se trata

Unos investigadores han medido la capacidad de los modelos de lenguaje para identificar, cláusula por cláusula, los riesgos jurídicos de contratos comerciales. Su banco de pruebas, ContractEval, evaluó 4 modelos propietarios y 15 modelos open source[1]. Concluyen que la mayoría de los modelos alcanza un nivel comparable al de asistentes jurídicos principiantes[1].

Este artículo explica a un empleado lo que muestran estos trabajos, lo que un asistente de IA puede omitir o inventar, y los gestos a adoptar antes de confiarle un documento.

Preguntas directas

¿Un asistente de IA detecta todas las cláusulas de un contrato?

Los trabajos de ContractEval no permiten afirmarlo. Los autores utilizaron el conjunto de datos Contract Understanding Atticus Dataset (CUAD)[1]. Observan que los modelos open source generan respuestas no related clause con más frecuencia, incluso cuando hay cláusulas pertinentes[1]. Lo interpretan como un posible signo de laziness en el razonamiento o de poca confianza del modelo para extraer el contenido pertinente[1].

Los modelos propietarios obtienen mejores resultados que los modelos open source en exactitud y en eficacia de las respuestas, aunque algunos modelos open source siguen siendo competitivos en ciertos aspectos[1].

¿Un modo de razonamiento hace el análisis más fiable?

No necesariamente. Según ContractEval, el modo de razonamiento (thinking) mejora la eficacia de las respuestas pero reduce su exactitud, probablemente porque complica en exceso tareas más simples[1].

¿Puede una IA inventar textos o resoluciones judiciales?

Sí. OWASP da el ejemplo de ChatGPT, que fabricó casos jurídicos falsos, con consecuencias importantes ante un tribunal[2]. OWASP llama a esto alucinación: el modelo genera un contenido que parece exacto pero es inventado[2]. Un informe técnico de Alex Dantart analiza este problema de las alucinaciones de los modelos de lenguaje aplicados al derecho, sus causas y sus manifestaciones[4].

¿Por qué una respuesta falsa parece segura de sí misma?

OWASP describe la desinformación de un modelo como información falsa o engañosa que parece creíble[2]. El NCSC (Reino Unido) escribía en 2023 que los modelos tienen el defecto de parecer convincentes, tengan razón o no[3]. Añadía que sus respuestas pueden ser solo en parte correctas, sobre todo cuando el tema es especializado[3].

¿Se puede pegar un contrato en un asistente público?

El NCSC recomienda no incluir información sensible en las consultas dirigidas a modelos públicos, y no enviarles consultas que causarían problemas si se hicieran públicas[3]. Describe también la práctica de copiar grandes cantidades de texto, incluso documentos enteros, en la pregunta para dar contexto, y no la recomienda con información sensible en modelos públicos[3].

¿Qué ocurre con lo que escribo en el asistente?

Según el NCSC, la consulta es visible para la organización que proporciona el modelo, se almacena y casi con certeza se utilizará algún día para desarrollar el servicio o el modelo[3]. En el momento en que escribía, el NCSC precisaba que un modelo no añadía automáticamente la información de las consultas a su modelo para otros usuarios[3]. Señala también que las consultas almacenadas en línea pueden ser pirateadas, divulgadas o, más probablemente, hacerse públicas por accidente[3].

¿Existe un marco para evaluar estos riesgos?

NIST publicó el 26 de enero de 2023 su AI Risk Management Framework, de uso voluntario[5]. El 26 de julio de 2024 publicó NIST-AI-600-1, un perfil dedicado a la IA generativa, que puede ayudar a las organizaciones a identificar los riesgos propios de estas herramientas[5].

Cómo funciona

Según el NCSC, un modelo de lenguaje ha sido entrenado con una gran cantidad de textos y extrae de ellos un modelo de probabilidades basado en las relaciones entre las palabras[3]. OWASP explica que las alucinaciones se producen porque el modelo rellena las lagunas de sus datos de entrenamiento con regularidades estadísticas, sin entender el contenido[2]. Puede entonces producir respuestas que parecen correctas pero carecen de fundamento[2].

Una contramedida habitual es la Retrieval-Augmented Generation (RAG). OWASP la recomienda: consiste en recuperar información pertinente y verificada de bases externas de confianza mientras se genera la respuesta, lo que ayuda a limitar las alucinaciones[2]. Una revisión de la literatura sobre la RAG la presenta como una combinación de modelos de lenguaje y sistemas de recuperación de información, destinada a reforzar el anclaje factual y a atenuar las alucinaciones[6]. La misma revisión cita entre las dificultades persistentes la calidad de la recuperación de información y las cuestiones de confidencialidad[6]. El informe de Alex Dantart examina también la eficacia de la RAG y expone sus límites[4].

Qué hace usted

  • Antes de pegar un texto, compruebe lo que contiene: el NCSC recomienda no incluir información sensible en las consultas a un modelo público[3].
  • Lea las condiciones de uso y la política de privacidad de la herramienta antes de hacerle preguntas sensibles: el NCSC indica que deben entenderse bien[3].
  • Si la herramienta la proporciona un proveedor de servicios en la nube, el NCSC invita a las organizaciones a comprender cómo se gestionan sus datos: ¿tienen acceso los investigadores o socios del proveedor, y en qué condiciones puede un empleado del proveedor ver las consultas[3]?
  • Contraste las respuestas con fuentes externas de confianza. OWASP recomienda fomentar esa verificación y establecer una supervisión humana y un verificación de los hechos, sobre todo para la información crítica o sensible[2].
  • No tome una respuesta no related clause como prueba de que ninguna cláusula se aplica: ContractEval registró respuestas así aunque había cláusulas pertinentes[1].
  • Conserve el control sobre el juicio. El informe de Alex Dantart insiste en la supervisión humana, que considera irremplazable, y propone una IA «consultiva», herramienta que amplifica el juicio profesional en lugar de sustituirlo[4].

Las trampas

  • La confianza excesiva. OWASP llama así a fiarse demasiado de un contenido generado sin verificar su exactitud, lo que agrava el efecto de una información falsa cuando entra en una decisión[2].
  • Un nivel de principiante. Los autores de ContractEval comparan la mayoría de los modelos con asistentes jurídicos principiantes y consideran que los modelos open source necesitan un ajuste específico (fine-tuning) para ser correctos y eficaces en situaciones jurídicas de gran trascendencia[1].
  • Un modo de razonamiento tomado por garantía de calidad: reduce la exactitud en las pruebas de ContractEval[1].
  • Una respuesta que suena acertada. El NCSC señala que las respuestas convincentes pueden ser solo en parte correctas[3].

Fuentes

  1. arXiv, «ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts», 5 de agosto de 2025. https://arxiv.org/abs/2508.03080 (consultado el 14 de noviembre de 2026)
  2. OWASP, «LLM09:2025 Misinformation», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultado el 14 de noviembre de 2026)
  3. NCSC (Royaume-Uni), «ChatGPT and large language models: what's the risk?», 14 de marzo de 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (consultado el 14 de noviembre de 2026)
  4. arXiv, «Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable», 11 de septiembre de 2025. https://arxiv.org/abs/2509.09467 (consultado el 14 de noviembre de 2026)
  5. NIST, «AI Risk Management Framework», 12 de julio de 2021. https://www.nist.gov/itl/ai-risk-management-framework (consultado el 14 de noviembre de 2026)
  6. arXiv, «A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions», 25 de julio de 2025. https://arxiv.org/abs/2507.18910 (consultado el 14 de noviembre de 2026)