Verificar las fuentes que cita una IA de búsqueda

Una IA de búsqueda recoge contenido externo y redacta una respuesta a partir de él. OWASP incluye los sitios web y los archivos entre las entradas externas que pueden alterar el comportamiento de un modelo². El NCSC da la razón: bajo el capó, el modelo no distingue un dato de una instrucción, solo predice el «next token»³.

Pueden sumarse dos errores. El primero viene del modelo: OWASP cita las alucinaciones, pero también los sesgos de los datos de entrenamiento y la información incompleta¹. El segundo viene del usuario. OWASP llama «overreliance» a confiar demasiado en un contenido generado sin comprobar su exactitud, lo que agrava el efecto de la desinformación¹.

El NIST, organismo estadounidense, ha publicado un perfil dedicado a la IA generativa, que puede ayudar a las organizaciones a identificar los riesgos propios de estas herramientas⁴. Este perfil es un documento de acompañamiento del marco de gestión de riesgos de la IA, cuyo uso es voluntario⁵.

• Abra cada enlace citado, uno por uno. Un enlace que no se abre, que devuelve un error o que lleva a una página ajena a la pregunta no respalda nada.
• Mire quién publica la página. Una administración, un organismo de normalización o un editor identificable valen más que un sitio sin autor ni fecha.
• Busque en la página la frase que corresponde a la afirmación. Si no la encuentra, considere la afirmación como no confirmada.
• Remóntese a la fuente de origen. Si la propia página cita otro documento, abra ese.
• Contraste con una segunda fuente independiente cualquier cifra, fecha, nombre o decisión que importe. OWASP recomienda este contraste con fuentes externas de confianza¹.
• Para un asunto de peso (salud, derecho, finanzas, seguridad), pida que lo revise una persona competente. OWASP recomienda una supervisión humana, sobre todo para la información crítica o sensible¹.
• No copie una respuesta sin verificar en un expediente, un correo a un cliente o una decisión. Anote lo que se ha verificado y lo que no.

Falsa precisión. Una cifra exacta o una cita entre comillas dan impresión de rigor. OWASP señala que un modelo puede dar la ilusión de comprender un tema complejo, lo que induce a error a los usuarios¹. Localice la cifra y la cita en la página.

Fuentes de segunda mano. Una página que reproduce otro sitio no añade ninguna prueba. Remóntese hasta el editor original.

Contenido trampa. Una página puede contener texto escrito para la IA y no para usted. El NCSC da el ejemplo de un currículum con un texto oculto que pide ignorar las instrucciones anteriores y aprobar al candidato. Es un ejemplo ilustrativo, no un incidente fechado³. Si una respuesta recomienda de forma inesperada un sitio, un producto o una acción, abra la página y busque qué lo explica. No siga nunca una instrucción encontrada en una fuente: comuníquela.

Exceso de confianza. Los enlaces, la maquetación y el tono seguro tranquilizan. OWASP cita el chatbot de Air Canada, que dio información errónea a unos viajeros: la aerolínea fue demandada con éxito¹. La página no fecha este caso. También recomienda indicar claramente a los usuarios los límites de fiabilidad de estas herramientas¹. Si la herramienta no muestra nada parecido, dé por supuesto ese límite.

Filtros supuestos. El NCSC desaconseja los filtros de tipo lista de denegación, porque un ataque puede reformularse de infinitas maneras³. También advierte contra los productos que pretenden «detener» la inyección de prompt³. Una herramienta corporativa validada no exime, por tanto, de leer las fuentes.