Cyberpediapor Brain

Pedir a uma IA que reveja um contrato: o que identifica, o que lhe escapa

Um assistente de IA pode identificar cláusulas de risco num contrato, mas omite algumas e inventa. Limites medidos e gestos a adotar.

Nesta página
  1. 1Em 30 segundos
  2. 2Do que se trata
  3. 3Perguntas diretas
  4. 4Como funciona
  5. 5O que faz
  6. 6As armadilhas
  7. 7Fontes
  8. 8Citar este artigo

Em 30 segundos

Onde acontece
Quando se pede a um assistente de IA que identifique num contrato as cláusulas de risco[1].
O que pode correr mal
Alguns modelos respondem no related clause quando existe uma cláusula pertinente[1], e um modelo pode produzir afirmações jurídicas sem fundamento[2].
O reflexo
Não colocar informação sensível num pedido a um modelo público[3], e fazer verificar os resultados por uma pessoa quando o que está em causa é importante[2].

Do que se trata

Investigadores mediram a capacidade de modelos de linguagem para identificar, cláusula a cláusula, os riscos jurídicos de contratos comerciais. O seu banco de ensaio, o ContractEval, testou 4 modelos proprietários e 15 modelos open source[1]. Concluem que a maioria dos modelos atinge um nível comparável ao de assistentes jurídicos principiantes[1].

Esta ficha explica a um colaborador o que estes trabalhos mostram, o que um assistente de IA pode omitir ou inventar, e os gestos a adotar antes de lhe confiar um documento.

Perguntas diretas

Um assistente de IA identifica todas as cláusulas de um contrato?

Os trabalhos do ContractEval não permitem afirmá-lo. Os autores utilizaram o conjunto de dados Contract Understanding Atticus Dataset (CUAD)[1]. Observam que os modelos open source geram respostas no related clause com mais frequência, mesmo quando existem cláusulas pertinentes[1]. Veem nisso um sinal possível de laziness no raciocínio ou de uma fraca confiança do modelo para extrair o conteúdo pertinente[1].

Os modelos proprietários obtêm melhores resultados do que os modelos open source em exatidão e em eficácia das respostas, embora alguns modelos open source continuem competitivos em certos pontos[1].

Um modo de raciocínio torna a análise mais fiável?

Não necessariamente. Segundo o ContractEval, o modo de raciocínio (thinking) melhora a eficácia das respostas, mas reduz a sua exatidão, provavelmente porque complica em excesso tarefas mais simples[1].

Uma IA pode inventar textos ou decisões judiciais?

Sim. A OWASP dá o exemplo do ChatGPT, que fabricou falsos processos judiciais, com consequências importantes perante um tribunal[2]. A OWASP chama a isto uma alucinação: o modelo gera um conteúdo que parece exato, mas que é inventado[2]. Um relatório técnico de Alex Dantart analisa este problema das alucinações dos modelos de linguagem aplicados ao direito, as suas causas e as suas manifestações[4].

Porque é que uma resposta falsa parece tão confiante?

A OWASP descreve a desinformação de um modelo como informações falsas ou enganadoras que parecem credíveis[2]. O NCSC (Reino Unido) escrevia em 2023 que os modelos têm o defeito de parecer convincentes, tenham ou não razão[3]. Acrescentava que as respostas podem estar apenas parcialmente corretas, sobretudo quando o assunto é especializado[3].

Pode-se colar um contrato num assistente público?

O NCSC recomenda não incluir informações sensíveis nos pedidos dirigidos a modelos públicos, e não lhes submeter pedidos que criariam problemas se se tornassem públicos[3]. Descreve também a prática que consiste em copiar grandes quantidades de texto, ou mesmo documentos inteiros, para a pergunta a fim de dar contexto, e não a recomenda com informações sensíveis em modelos públicos[3].

O que acontece ao que escrevo no assistente?

Segundo o NCSC, o pedido é visível para a organização que fornece o modelo, é armazenado e será quase certamente utilizado um dia para desenvolver o serviço ou o modelo[3]. À data em que escrevia, o NCSC esclarecia que um modelo não acrescentava automaticamente as informações dos pedidos ao seu modelo para os outros utilizadores[3]. Nota também que os pedidos armazenados em linha podem ser pirateados, divulgados ou, mais provavelmente, tornados públicos por acidente[3].

Existe um quadro para avaliar estes riscos?

O NIST publicou a 26 de janeiro de 2023 o seu AI Risk Management Framework, de utilização voluntária[5]. A 26 de julho de 2024, publicou o NIST-AI-600-1, um perfil dedicado à IA generativa, que pode ajudar as organizações a identificar os riscos próprios destas ferramentas[5].

Como funciona

Segundo o NCSC, um modelo de linguagem foi treinado com uma grande quantidade de textos e extrai deles um modelo de probabilidades baseado nas relações entre as palavras[3]. A OWASP explica que as alucinações surgem porque o modelo preenche as lacunas dos seus dados de treino com regularidades estatísticas, sem compreender o conteúdo[2]. Pode então produzir respostas que parecem justas, mas que não têm fundamento[2].

Uma defesa corrente é a Retrieval-Augmented Generation (RAG). A OWASP recomenda-a: consiste em recuperar informações pertinentes e verificadas em bases externas de confiança durante a geração da resposta, o que ajuda a limitar as alucinações[2]. Uma revisão da literatura sobre a RAG apresenta-a como uma combinação de modelos de linguagem e de sistemas de pesquisa de informação, destinada a reforçar a ancoragem factual e a atenuar as alucinações[6]. A mesma revisão cita entre as dificuldades persistentes a qualidade da pesquisa de informação e as questões de confidencialidade[6]. O relatório de Alex Dantart examina também a eficácia da RAG e expõe os seus limites[4].

O que faz

  • Antes de colar um texto, verifique o que ele contém: o NCSC recomenda não incluir informações sensíveis nos pedidos a um modelo público[3].
  • Leia as condições de utilização e a política de privacidade da ferramenta antes de lhe colocar questões sensíveis: o NCSC indica que devem ser bem compreendidas[3].
  • Numa ferramenta fornecida por um prestador de serviços cloud, o NCSC convida as organizações a compreender como os seus dados são geridos: será que os investigadores ou parceiros do fornecedor têm acesso a eles e em que condições pode um colaborador do fornecedor ver os pedidos[3]?
  • Cruze as respostas com fontes externas de confiança. A OWASP recomenda encorajar essa verificação e instituir uma supervisão humana e um controlo dos factos, sobretudo para as informações críticas ou sensíveis[2].
  • Não tome uma resposta no related clause como prova de que nenhuma cláusula se aplica: o ContractEval registou tais respostas quando existiam cláusulas pertinentes[1].
  • Mantenha o controlo do juízo. O relatório de Alex Dantart insiste na supervisão humana, que considera insubstituível, e propõe uma IA «consultiva», ferramenta que amplifica o juízo profissional em vez de o substituir[4].

As armadilhas

  • A confiança excessiva. É assim que a OWASP designa o facto de confiar demasiado num conteúdo gerado sem verificar a sua exatidão, o que agrava o efeito de uma informação falsa quando entra numa decisão[2].
  • Um nível de principiante. Os autores do ContractEval comparam a maioria dos modelos a assistentes jurídicos principiantes e consideram que os modelos open source precisam de um ajuste dirigido (fine-tuning) para serem corretos e eficazes em situações jurídicas de elevado risco[1].
  • Um modo de raciocínio tomado por garantia de qualidade: nos testes do ContractEval, reduz a exatidão[1].
  • Uma resposta que soa certa. O NCSC nota que as respostas convincentes podem estar apenas parcialmente corretas[3].

Fontes

  1. arXiv, «ContractEval: Benchmarking LLMs for Clause-Level Legal Risk Identification in Commercial Contracts», 5 de agosto de 2025. https://arxiv.org/abs/2508.03080 (consultado em 14 de novembro de 2026)
  2. OWASP, «LLM09:2025 Misinformation», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultado em 14 de novembro de 2026)
  3. NCSC (Royaume-Uni), «ChatGPT and large language models: what's the risk?», 14 de março de 2023. https://www.ncsc.gov.uk/blog-post/chatgpt-and-large-language-models-whats-the-risk (consultado em 14 de novembro de 2026)
  4. arXiv, «Inteligencia Artificial jurídica y el desafío de la veracidad: análisis de alucinaciones, optimización de RAG y principios para una integración responsable», 11 de setembro de 2025. https://arxiv.org/abs/2509.09467 (consultado em 14 de novembro de 2026)
  5. NIST, «AI Risk Management Framework», 12 de julho de 2021. https://www.nist.gov/itl/ai-risk-management-framework (consultado em 14 de novembro de 2026)
  6. arXiv, «A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions», 25 de julho de 2025. https://arxiv.org/abs/2507.18910 (consultado em 14 de novembro de 2026)