Verificar as fontes citadas por uma IA de pesquisa

Uma IA de pesquisa vai buscar conteúdo externo e redige uma resposta a partir dele. A OWASP inclui os sítios web e os ficheiros entre as entradas externas que podem alterar o comportamento de um modelo². O NCSC explica a razão: por baixo do capô, o modelo não distingue um dado de uma instrução, limita-se a prever o «next token»³.

Podem somar-se dois erros. O primeiro vem do modelo: a OWASP cita as alucinações, mas também os enviesamentos dos dados de treino e as informações incompletas¹. O segundo vem do utilizador. A OWASP chama «overreliance» ao facto de confiar demasiado num conteúdo gerado sem verificar a sua exatidão, o que agrava o efeito da desinformação¹.

O NIST, organismo norte-americano, publicou um perfil dedicado à IA generativa, que pode ajudar as organizações a identificar os riscos próprios destas ferramentas⁴. Este perfil é um documento de acompanhamento do quadro de gestão de riscos da IA, cuja utilização é voluntária⁵.

• Abra cada ligação citada, uma a uma. Uma ligação que não abre, que devolve um erro ou que leva a uma página sem relação com a pergunta não sustenta nada.
• Veja quem publica a página. Uma administração pública, um organismo de normalização ou um editor identificável vale mais do que um sítio sem autor nem data.
• Procure na página a frase que corresponde à afirmação. Se não a encontrar, considere a afirmação como não confirmada.
• Remonte à fonte de origem. Se a própria página cita outro documento, abra esse.
• Cruze com uma segunda fonte independente para qualquer número, data, nome ou decisão que conte. A OWASP recomenda este cruzamento com fontes externas de confiança¹.
• Para um tema de risco elevado (saúde, direito, finanças, segurança), peça a revisão de uma pessoa competente. A OWASP recomenda uma supervisão humana, sobretudo para informações críticas ou sensíveis¹.
• Não copie uma resposta não verificada para um processo, um email a um cliente ou uma decisão. Anote o que foi verificado e o que não foi.

Falsa precisão. Um número exato ou uma citação entre aspas dão uma impressão de rigor. A OWASP refere que um modelo pode dar a ilusão de compreender um assunto complexo, o que induz os utilizadores em erro¹. Encontre o número e a citação na página.

Fontes de segunda mão. Uma página que retoma outro sítio não acrescenta prova. Remonte ao editor de origem.

Conteúdo armadilhado. Uma página pode conter texto escrito para a IA e não para si. O NCSC dá o exemplo de um CV com texto oculto que pede para ignorar as instruções anteriores e aprovar o candidato. É um exemplo ilustrativo, não um incidente datado³. Se uma resposta recomendar de forma inesperada um sítio, um produto ou uma ação, abra a página e procure o que o explica. Nunca siga uma instrução encontrada numa fonte: comunique-a.

Excesso de confiança. As ligações, a paginação e o tom seguro tranquilizam. A OWASP cita o robô de conversação da Air Canada, que deu informações erradas a viajantes: a companhia foi processada com sucesso¹. A página não data este caso. Recomenda também que se indiquem claramente aos utilizadores os limites de fiabilidade destas ferramentas¹. Se a ferramenta não mostrar nada disso, tenha esse limite como certo.

Filtros presumidos. O NCSC desaconselha os filtros do tipo lista de bloqueio, porque um ataque pode ser reformulado de infinitas maneiras³. Previne também contra os produtos que pretendem «parar» a injeção de prompt³. Uma ferramenta de empresa validada não dispensa, por isso, a leitura das fontes.