Cyberpediapar Brain

Faire relire un contrat par une IA : ce qu'elle repère, ce qu'elle manque

Un assistant IA peut repérer des clauses à risque dans un contrat, mais il en omet et il invente. Les limites mesurées et les gestes à adopter.

Sur cette page
  1. 1En 30 secondes
  2. 2De quoi parle-t-on
  3. 3Questions directes
  4. 4Comment ça marche
  5. 5Ce que vous faites
  6. 6Les pièges
  7. 7Sources
  8. 8Citer cet article

En 30 secondes

Où ça arrive
Quand on demande à un assistant IA de repérer dans un contrat les clauses à risque[1].
Ce qui peut mal tourner
Des modèles répondent no related clause alors qu'une clause pertinente est présente[1], et un modèle peut produire des affirmations juridiques sans fondement[2].
Le réflexe
Ne pas mettre d'information sensible dans une requête à un modèle public[3], et faire vérifier les résultats par une personne quand l'enjeu est important[2].

De quoi parle-t-on

Des chercheurs ont mesuré la capacité de modèles de langage à identifier, clause par clause, les risques juridiques de contrats commerciaux. Leur banc d'essai, ContractEval, a testé 4 modèles propriétaires et 15 modèles open source[1]. Ils concluent que la plupart des modèles atteignent un niveau comparable à celui d'assistants juridiques débutants[1].

Cette fiche explique à un salarié ce que ces travaux montrent, ce qu'un assistant IA peut omettre ou inventer, et les gestes à adopter avant de lui confier un document.

Questions directes

Un assistant IA repère-t-il toutes les clauses d'un contrat ?

Les travaux de ContractEval ne permettent pas de l'affirmer. Les auteurs ont utilisé le jeu de données Contract Understanding Atticus Dataset (CUAD)[1]. Ils observent que les modèles open source génèrent des réponses no related clause plus souvent, même quand des clauses pertinentes sont présentes[1]. Ils y voient un signe possible de laziness dans le raisonnement ou d'une faible confiance du modèle pour extraire le contenu pertinent[1].

Les modèles propriétaires obtiennent de meilleurs résultats que les modèles open source en exactitude et en efficacité des réponses, bien que certains modèles open source restent compétitifs sur certains points[1].

Un mode de raisonnement rend-il l'analyse plus fiable ?

Pas nécessairement. Selon ContractEval, le mode de raisonnement (thinking) améliore l'efficacité des réponses mais réduit leur exactitude, probablement parce qu'il complique à l'excès des tâches plus simples[1].

Une IA peut-elle inventer des textes ou des décisions de justice ?

Oui. L'OWASP donne l'exemple de ChatGPT, qui a fabriqué de fausses affaires juridiques, avec des conséquences importantes devant un tribunal[2]. L'OWASP appelle cela une hallucination : le modèle génère un contenu qui semble exact mais qui est inventé[2]. Un rapport technique d'Alex Dantart analyse ce problème des hallucinations des modèles de langage appliqués au droit, ses causes et ses manifestations[4].

Pourquoi une réponse fausse paraît-elle sûre d'elle ?

L'OWASP décrit la désinformation d'un modèle comme des informations fausses ou trompeuses qui paraissent crédibles[2]. Le NCSC (Royaume-Uni) écrivait en 2023 que les modèles ont le défaut de paraître convaincants, qu'ils aient raison ou non[3]. Il ajoutait que leurs réponses peuvent n'être qu'en partie correctes, surtout quand le sujet est pointu[3].

Peut-on coller un contrat dans un assistant public ?

Le NCSC recommande de ne pas inclure d'informations sensibles dans les requêtes adressées à des modèles publics, et de ne pas leur soumettre de requêtes qui poseraient problème si elles devenaient publiques[3]. Il décrit aussi la pratique qui consiste à copier de grandes quantités de texte, voire des documents entiers, dans la question pour donner du contexte, et ne la recommande pas avec des informations sensibles sur des modèles publics[3].

Que devient ce que j'écris dans l'assistant ?

Selon le NCSC, la requête est visible de l'organisation qui fournit le modèle, elle est stockée et sera presque certainement utilisée un jour pour développer le service ou le modèle[3]. Au moment où il écrivait, le NCSC précisait qu'un modèle n'ajoutait pas automatiquement les informations des requêtes à son modèle pour les autres utilisateurs[3]. Il note aussi que des requêtes stockées en ligne peuvent être piratées, divulguées ou, plus probablement, rendues publiques par accident[3].

Existe-t-il un cadre pour évaluer ces risques ?

Le NIST a publié le 26 janvier 2023 son AI Risk Management Framework, d'usage volontaire[5]. Le 26 juillet 2024, il a publié NIST-AI-600-1, un profil consacré à l'IA générative, qui peut aider les organisations à identifier les risques propres à ces outils[5].

Comment ça marche

Selon le NCSC, un modèle de langage a été entraîné sur une grande quantité de textes et en tire un modèle de probabilités fondé sur les relations entre les mots[3]. L'OWASP explique que les hallucinations surviennent parce que le modèle comble les lacunes de ses données d'entraînement avec des régularités statistiques, sans comprendre le contenu[2]. Il peut alors produire des réponses qui semblent justes mais qui sont sans fondement[2].

Une parade courante est la Retrieval-Augmented Generation (RAG). L'OWASP la recommande : elle consiste à récupérer des informations pertinentes et vérifiées dans des bases externes de confiance pendant la génération de la réponse, ce qui aide à limiter les hallucinations[2]. Une revue de la littérature sur la RAG la présente comme une combinaison de modèles de langage et de systèmes de recherche d'information, destinée à renforcer l'ancrage factuel et à atténuer les hallucinations[6]. La même revue cite parmi les difficultés persistantes la qualité de la recherche d'information et les questions de confidentialité[6]. Le rapport d'Alex Dantart examine lui aussi l'efficacité de la RAG et en expose les limites[4].

Ce que vous faites

  • Avant de coller un texte, vérifiez ce qu'il contient : le NCSC recommande de ne pas inclure d'informations sensibles dans les requêtes à un modèle public[3].
  • Lisez les conditions d'utilisation et la politique de confidentialité de l'outil avant de lui poser des questions sensibles : le NCSC indique qu'elles doivent être bien comprises[3].
  • Pour un outil fourni par un prestataire cloud, le NCSC invite les organisations à comprendre comment leurs données sont gérées : les chercheurs ou partenaires du fournisseur y ont-ils accès, et dans quelles conditions un employé du fournisseur peut-il voir les requêtes[3] ?
  • Croisez les réponses avec des sources externes de confiance. L'OWASP recommande d'encourager cette vérification et de mettre en place une supervision humaine et un contrôle des faits, surtout pour les informations critiques ou sensibles[2].
  • Ne prenez pas une réponse no related clause pour la preuve qu'aucune clause ne s'applique : ContractEval a relevé de telles réponses alors que des clauses pertinentes étaient présentes[1].
  • Gardez la main sur le jugement. Le rapport d'Alex Dantart insiste sur la supervision humaine, qu'il juge irremplaçable, et propose une IA « consultative », outil qui amplifie le jugement professionnel au lieu de le remplacer[4].

Les pièges

  • La confiance excessive. L'OWASP appelle ainsi le fait de faire trop confiance à un contenu généré sans en vérifier l'exactitude, ce qui aggrave l'effet d'une information fausse quand elle entre dans une décision[2].
  • Un niveau de débutant. Les auteurs de ContractEval comparent la plupart des modèles à des assistants juridiques débutants et estiment que les modèles open source ont besoin d'un ajustement ciblé (fine-tuning) pour être corrects et efficaces dans des situations juridiques à fort enjeu[1].
  • Un mode de raisonnement pris pour un gage de qualité : il réduit l'exactitude dans les tests de ContractEval[1].
  • Une réponse qui sonne juste. Le NCSC note que les réponses convaincantes peuvent n'être qu'en partie correctes[3].

Sources

  1. arXiv, « ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts », 5 août 2025. https://arxiv.org/abs/2508.03080 (consulté le 14 novembre 2026)
  2. OWASP, « LLM09:2025 Misinformation », 10 avril 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consulté le 14 novembre 2026)
  3. NCSC (Royaume-Uni), « ChatGPT and large language models: what's the risk? », 14 mars 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (consulté le 14 novembre 2026)
  4. arXiv, « Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable », 11 septembre 2025. https://arxiv.org/abs/2509.09467 (consulté le 14 novembre 2026)
  5. NIST, « AI Risk Management Framework », 12 juillet 2021. https://www.nist.gov/itl/ai-risk-management-framework (consulté le 14 novembre 2026)
  6. arXiv, « A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions », 25 juillet 2025. https://arxiv.org/abs/2507.18910 (consulté le 14 novembre 2026)