Pedir a uma IA que reveja um contrato: o que identifica, o que lhe escapa
Um assistente de IA pode identificar cláusulas de risco num contrato, mas omite algumas e inventa. Limites medidos e gestos a adotar.
Nesta página
Em 30 segundos
Do que se trata
Investigadores mediram a capacidade de modelos de linguagem para identificar, cláusula a cláusula, os riscos jurídicos de contratos comerciais. O seu banco de ensaio, o ContractEval, testou 4 modelos proprietários e 15 modelos open source[1]. Concluem que a maioria dos modelos atinge um nível comparável ao de assistentes jurídicos principiantes[1].
Esta ficha explica a um colaborador o que estes trabalhos mostram, o que um assistente de IA pode omitir ou inventar, e os gestos a adotar antes de lhe confiar um documento.
Perguntas diretas
Um assistente de IA identifica todas as cláusulas de um contrato?
Os trabalhos do ContractEval não permitem afirmá-lo. Os autores utilizaram o conjunto de dados Contract Understanding Atticus Dataset (CUAD)[1]. Observam que os modelos open source geram respostas no related clause com mais frequência, mesmo quando existem cláusulas pertinentes[1]. Veem nisso um sinal possível de laziness no raciocínio ou de uma fraca confiança do modelo para extrair o conteúdo pertinente[1].
Os modelos proprietários obtêm melhores resultados do que os modelos open source em exatidão e em eficácia das respostas, embora alguns modelos open source continuem competitivos em certos pontos[1].
Um modo de raciocínio torna a análise mais fiável?
Não necessariamente. Segundo o ContractEval, o modo de raciocínio (thinking) melhora a eficácia das respostas, mas reduz a sua exatidão, provavelmente porque complica em excesso tarefas mais simples[1].
Uma IA pode inventar textos ou decisões judiciais?
Sim. A OWASP dá o exemplo do ChatGPT, que fabricou falsos processos judiciais, com consequências importantes perante um tribunal[2]. A OWASP chama a isto uma alucinação: o modelo gera um conteúdo que parece exato, mas que é inventado[2]. Um relatório técnico de Alex Dantart analisa este problema das alucinações dos modelos de linguagem aplicados ao direito, as suas causas e as suas manifestações[4].
Porque é que uma resposta falsa parece tão confiante?
A OWASP descreve a desinformação de um modelo como informações falsas ou enganadoras que parecem credíveis[2]. O NCSC (Reino Unido) escrevia em 2023 que os modelos têm o defeito de parecer convincentes, tenham ou não razão[3]. Acrescentava que as respostas podem estar apenas parcialmente corretas, sobretudo quando o assunto é especializado[3].
Pode-se colar um contrato num assistente público?
O NCSC recomenda não incluir informações sensíveis nos pedidos dirigidos a modelos públicos, e não lhes submeter pedidos que criariam problemas se se tornassem públicos[3]. Descreve também a prática que consiste em copiar grandes quantidades de texto, ou mesmo documentos inteiros, para a pergunta a fim de dar contexto, e não a recomenda com informações sensíveis em modelos públicos[3].
O que acontece ao que escrevo no assistente?
Segundo o NCSC, o pedido é visível para a organização que fornece o modelo, é armazenado e será quase certamente utilizado um dia para desenvolver o serviço ou o modelo[3]. À data em que escrevia, o NCSC esclarecia que um modelo não acrescentava automaticamente as informações dos pedidos ao seu modelo para os outros utilizadores[3]. Nota também que os pedidos armazenados em linha podem ser pirateados, divulgados ou, mais provavelmente, tornados públicos por acidente[3].
Existe um quadro para avaliar estes riscos?
O NIST publicou a 26 de janeiro de 2023 o seu AI Risk Management Framework, de utilização voluntária[5]. A 26 de julho de 2024, publicou o NIST-AI-600-1, um perfil dedicado à IA generativa, que pode ajudar as organizações a identificar os riscos próprios destas ferramentas[5].
Como funciona
Segundo o NCSC, um modelo de linguagem foi treinado com uma grande quantidade de textos e extrai deles um modelo de probabilidades baseado nas relações entre as palavras[3]. A OWASP explica que as alucinações surgem porque o modelo preenche as lacunas dos seus dados de treino com regularidades estatísticas, sem compreender o conteúdo[2]. Pode então produzir respostas que parecem justas, mas que não têm fundamento[2].
Uma defesa corrente é a Retrieval-Augmented Generation (RAG). A OWASP recomenda-a: consiste em recuperar informações pertinentes e verificadas em bases externas de confiança durante a geração da resposta, o que ajuda a limitar as alucinações[2]. Uma revisão da literatura sobre a RAG apresenta-a como uma combinação de modelos de linguagem e de sistemas de pesquisa de informação, destinada a reforçar a ancoragem factual e a atenuar as alucinações[6]. A mesma revisão cita entre as dificuldades persistentes a qualidade da pesquisa de informação e as questões de confidencialidade[6]. O relatório de Alex Dantart examina também a eficácia da RAG e expõe os seus limites[4].
O que faz
- Antes de colar um texto, verifique o que ele contém: o NCSC recomenda não incluir informações sensíveis nos pedidos a um modelo público[3].
- Leia as condições de utilização e a política de privacidade da ferramenta antes de lhe colocar questões sensíveis: o NCSC indica que devem ser bem compreendidas[3].
- Numa ferramenta fornecida por um prestador de serviços cloud, o NCSC convida as organizações a compreender como os seus dados são geridos: será que os investigadores ou parceiros do fornecedor têm acesso a eles e em que condições pode um colaborador do fornecedor ver os pedidos[3]?
- Cruze as respostas com fontes externas de confiança. A OWASP recomenda encorajar essa verificação e instituir uma supervisão humana e um controlo dos factos, sobretudo para as informações críticas ou sensíveis[2].
- Não tome uma resposta no related clause como prova de que nenhuma cláusula se aplica: o ContractEval registou tais respostas quando existiam cláusulas pertinentes[1].
- Mantenha o controlo do juízo. O relatório de Alex Dantart insiste na supervisão humana, que considera insubstituível, e propõe uma IA «consultiva», ferramenta que amplifica o juízo profissional em vez de o substituir[4].
As armadilhas
- A confiança excessiva. É assim que a OWASP designa o facto de confiar demasiado num conteúdo gerado sem verificar a sua exatidão, o que agrava o efeito de uma informação falsa quando entra numa decisão[2].
- Um nível de principiante. Os autores do ContractEval comparam a maioria dos modelos a assistentes jurídicos principiantes e consideram que os modelos open source precisam de um ajuste dirigido (fine-tuning) para serem corretos e eficazes em situações jurídicas de elevado risco[1].
- Um modo de raciocínio tomado por garantia de qualidade: nos testes do ContractEval, reduz a exatidão[1].
- Uma resposta que soa certa. O NCSC nota que as respostas convincentes podem estar apenas parcialmente corretas[3].
Fontes
- arXiv, «ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts», 5 de agosto de 2025. https://arxiv.org/abs/2508.03080 (consultado em 14 de novembro de 2026)
- OWASP, «LLM09:2025 Misinformation», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultado em 14 de novembro de 2026)
- NCSC (Royaume-Uni), «ChatGPT and large language models: what's the risk?», 14 de março de 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (consultado em 14 de novembro de 2026)
- arXiv, «Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable», 11 de setembro de 2025. https://arxiv.org/abs/2509.09467 (consultado em 14 de novembro de 2026)
- NIST, «AI Risk Management Framework», 12 de julho de 2021. https://www.nist.gov/itl/ai-risk-management-framework (consultado em 14 de novembro de 2026)
- arXiv, «A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions», 25 de julho de 2025. https://arxiv.org/abs/2507.18910 (consultado em 14 de novembro de 2026)
Citar este artigo
Brain, «Pedir a uma IA que reveja um contrato: o que identifica, o que lhe escapa», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp517_pt_2026,
author = {Brain},
title = {Pedir a uma IA que reveja um contrato: o que identifica, o que lhe escapa},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pt/articles/ia-analise-contratos-limites/},
note = {CC BY 4.0}
}