Verificar uma resposta de IA: autocrítica e citações exatas
Pedir a uma IA que reveja a resposta e cite passagens reduz os erros, sem os eliminar: verifique a citação por si.
Nesta página
Em 30 segundos
- Onde acontece
- Sempre que um assistente de IA produz um texto, um resumo ou uma resposta que pretende utilizar.
- O que arrisca
- Segundo o NIST, os utilizadores podem acreditar num conteúdo falso, muitas vezes por causa do tom confiante da resposta, e depois agir com base nele ou retransmiti-lo[1].
- O reflexo
- Cruzar a resposta com uma fonte fiável antes de a usar, sobretudo para uma informação crítica ou sensível[2].
Do que se trata
Um assistente de IA pode redigir uma resposta fluida, confiante e falsa. O NIST chama a este fenómeno confabulação e especifica que também se fala, de forma coloquial, em «alucinações» ou «fabricações»[1]. Segundo o NIST, os modelos generativos produzem resultados que se aproximam da distribuição estatística dos seus dados de treino, o que pode dar tanto um resultado exato como um resultado falso[1].
Descrevem-se dois gestos para reduzir estes erros. O primeiro consiste em pedir ao assistente que releia e critique a sua própria resposta. O segundo consiste em pedir-lhe que se apoie em passagens precisas, citadas em apoio de cada afirmação. Estes gestos ajudam, mas nenhum dispensa de verificar por si.
Perguntas diretas
Porque é que uma IA pode enganar-se com confiança?
Segundo o NIST, as confabulações são um resultado natural da forma como os modelos generativos são concebidos: produzem resultados que se aproximam da distribuição estatística dos seus dados de treino, e os grandes modelos de linguagem preveem a palavra seguinte[1]. Esta dinâmica está particularmente presente nos pedidos abertos que exigem uma resposta longa, e nos domínios que requerem perícia contextual[1]. A OWASP descreve o mesmo mecanismo: o modelo preenche as lacunas dos seus dados de treino com regularidades estatísticas, sem compreender realmente o conteúdo, e pode por isso dar respostas plausíveis mas sem fundamento[2].
Pedir ao assistente que releia a sua resposta é útil?
Trabalhos de investigação indicam que sim. O método Self-Refine faz o modelo produzir uma primeira resposta, depois dar feedback sobre essa resposta e servir-se dele para a melhorar, de forma repetida. Um único modelo desempenha os três papéis, sem dados de treino adicionais[3]. Em 7 tarefas testadas com GPT-3.5, ChatGPT e GPT-4, os autores relatam que os resultados assim obtidos são preferidos por avaliadores humanos e por métricas automáticas, com um ganho de cerca de 20 % em valor absoluto, em média[3].
O método Chain-of-Verification (CoVe) vai mais longe na revisão: o modelo redige um rascunho, prevê perguntas de verificação, responde-lhes de forma independente para que as respostas não sejam influenciadas pelo rascunho, e produz depois uma resposta final verificada[4]. Os autores mostram que o CoVe diminui as alucinações em várias tarefas[4].
Pedir citações exatas é útil?
A Microsoft indica que pedir citações pode reduzir a frequência das respostas incorretas, ao passo que instruções gerais do tipo escreve apenas factos verdadeiros por vezes não bastam[5]. Se se pedir ao modelo que cite o material de origem quando afirma alguma coisa, as suas afirmações têm muito mais probabilidade de estar ancoradas nesse material[5]. A Microsoft acrescenta que, quanto mais próxima estiver a citação do texto que apoia, melhor: as citações colocadas no texto seriam melhores salvaguardas do que as agrupadas no fim[5].
O exemplo da Microsoft pede ao modelo que verifique se uma afirmação é apoiada por uma citação precisa tirada de excertos fornecidos. O modelo responde que não é o caso, porque os excertos falam de um sismo e não de uma erupção[5].
Estes gestos bastam?
Não. A Microsoft especifica que, mesmo com uma boa conceção das instruções, é sempre preciso validar as respostas do modelo[5]. Uma instrução que funcionou bem num caso não se generaliza necessariamente a outros usos[5]. O NIST acrescenta que os resultados de uma IA podem incluir raciocínios ou citações confabulados que pretendem justificar a resposta, o que pode levar a confiar demasiado nela[1]. Os autores do CoVe qualificam eles próprios a alucinação como um problema por resolver[4].
Como funciona
Na autocrítica, o modelo dá feedback sobre o seu próprio texto e serve-se dele para o melhorar[3]. Na variante por perguntas de verificação, o modelo coloca a si próprio perguntas factuais sobre o seu rascunho e responde-lhes à parte[4].
No pedido de citações, o modelo tem de ligar cada afirmação a uma passagem dos documentos fornecidos. A Microsoft observa que isso o obriga a cometer dois erros por cada resposta falsa: a resposta inventada, depois a citação errada[5].
O pedido de citações assenta na ancoragem (grounding, em inglês). Segundo a Google, é a capacidade de ligar o resultado de um modelo a fontes de informação verificáveis; dar ao modelo acesso a dados precisos liga a sua produção a esses dados e reduz os riscos de invenção[7]. A Google indica também que a ancoragem fornece ligações para as fontes, o que permite um controlo posterior[7]. A Microsoft recomenda vivamente que se forneçam dados de ancoragem quando o uso depende de informações fiáveis e atualizadas e não é puramente criativo[5].
O que faz
- Dê ao assistente o documento sobre o qual quer uma resposta, em vez de contar com a memória dele: a Microsoft recomenda vivamente que se forneçam dados de ancoragem quando o uso não é de pura criação[5].
- Dê-lhe uma saída. A Microsoft sugere incluir uma instrução do tipo responde not found se a resposta não estiver no texto, o que pode ajudá-lo a evitar uma resposta falsa[5].
- A Microsoft sugere pedir citações colocadas mesmo ao lado de cada afirmação[5].
- Peça-lhe que releia e critique a sua resposta, ou que coloque a si próprio perguntas de verificação antes de responder: são as abordagens estudadas nos trabalhos Self-Refine e CoVe[3][4].
- Abra depois o documento de origem, encontre a passagem citada e verifique se diz mesmo o que a resposta afirma. A OWASP pede que se incentivem os utilizadores a cruzar os resultados com fontes externas fiáveis[2].
- Para uma decisão importante, não confie apenas na resposta. A OWASP recomenda uma supervisão humana e uma verificação dos factos, em particular para as informações críticas ou sensíveis[2]. O NIST indica que os riscos de conteúdo confabulado podem ser particularmente importantes de vigiar nas aplicações que servem para tomar decisões de grandes consequências[1].
As armadilhas
- A citação pode ser falsa. O NIST observa que as citações confabuladas podem levar a crer que há uma justificação sólida[1].
- O tom tranquiliza sem razão. Uma resposta confiante não é uma resposta verificada[1].
- A confiança excessiva. A OWASP chama excesso de confiança a confiar demasiado no conteúdo gerado sem verificar a sua exatidão, e observa que os utilizadores podem então integrar dados incorretos em decisões críticas[2]. O NIST fala de enviesamento de automação, uma deferência excessiva para com os sistemas automatizados, que pode agravar o risco de confabulação[1].
- Uma técnica não é válida para todos os modelos. A Microsoft testou os seus exemplos num modelo GPT-4 de base, em inglês, e avisa que algumas técnicas podem dar outros resultados com modelos mais recentes[5]. A Microsoft não recomenda estas técnicas para os modelos de raciocínio como o gpt-5 e a série o[5].
- As ferramentas de controlo automático têm limites. A deteção de ancoragem da Microsoft ajuda a verificar que as respostas assentam nos documentos fornecidos[6]. A Microsoft especifica que está otimizada para inglês[6] e que será retirada em 30 de abril de 2027[6].
Fontes
- NIST, «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile». https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (consultado em 14 de novembro de 2026)
- OWASP, «LLM09:2025 Misinformation», 10 de abril de 2024. https://genai.owasp.org/llmrisk/llm092025-misinformation/ (consultado em 14 de novembro de 2026)
- arXiv, «Self-Refine: Iterative Refinement with Self-Feedback», 30 de março de 2023. https://arxiv.org/abs/2303.17651 (consultado em 14 de novembro de 2026)
- arXiv, «Chain-of-Verification Reduces Hallucination in Large Language Models», 20 de setembro de 2023. https://arxiv.org/abs/2309.11495 (consultado em 14 de novembro de 2026)
- Microsoft, «Prompt engineering techniques». https://learn.microsoft.com/en-us/azure/foundry/openai/concepts/prompt-engineering (consultado em 14 de novembro de 2026)
- Microsoft, «Groundedness detection». https://learn.microsoft.com/en-us/azure/ai-services/content-safety/concepts/groundedness (consultado em 14 de novembro de 2026)
- Google, «Grounding overview». https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/grounding/overview (consultado em 14 de novembro de 2026)
Citar este artigo
Brain, «Verificar uma resposta de IA: autocrítica e citações exatas», Cyberpedia, 2026. https:/
BibTeX
@misc{brain_cp514_pt_2026,
author = {Brain},
title = {Verificar uma resposta de IA: autocrítica e citações exatas},
year = {2026},
howpublished = {Cyberpedia},
url = {https://startbrain.io/cyberpedia/pt/articles/verificar-resposta-ia-autocritica-citacoes/},
note = {CC BY 4.0}
}