Vérifier les sources citées par une IA de recherche

Une IA de recherche va chercher du contenu extérieur et rédige une réponse à partir de lui. L'OWASP range les sites web et les fichiers parmi les entrées externes qui peuvent altérer le comportement d'un modèle². Le NCSC en donne la raison : sous le capot, le modèle ne distingue pas une donnée d'une instruction, il prédit seulement le « next token »³.

Deux erreurs peuvent s'ajouter. La première vient du modèle : l'OWASP cite les hallucinations, mais aussi les biais des données d'entraînement et les informations incomplètes¹. La seconde vient de l'utilisateur. L'OWASP appelle « overreliance » le fait de faire trop confiance à un contenu généré sans en vérifier l'exactitude, ce qui aggrave l'effet de la désinformation¹.

Le NIST, organisme américain, a publié un profil consacré à l'IA générative, qui peut aider les organisations à identifier les risques propres à ces outils⁴. Ce profil est un document d'accompagnement du cadre de gestion des risques de l'IA, dont l'usage est volontaire⁵.

• Ouvrez chaque lien cité, un par un. Un lien qui ne s'ouvre pas, qui renvoie une erreur ou qui mène à une page sans rapport avec la question ne soutient rien.
• Regardez qui édite la page. Une administration, un organisme de normalisation ou un éditeur identifiable vaut mieux qu'un site sans auteur ni date.
• Cherchez dans la page la phrase qui correspond à l'affirmation. Si vous ne la trouvez pas, considérez l'affirmation comme non confirmée.
• Remontez à la source d'origine. Si la page cite elle-même un autre document, ouvrez celui-là.
• Recoupez avec une seconde source indépendante pour tout chiffre, date, nom ou décision qui compte. L'OWASP recommande ce recoupement avec des sources externes de confiance¹.
• Pour un sujet à enjeu (santé, droit, finance, sécurité), faites relire par une personne compétente. L'OWASP recommande une supervision humaine, surtout pour les informations critiques ou sensibles¹.
• Ne copiez pas une réponse non vérifiée dans un dossier, un courriel client ou une décision. Notez ce qui a été vérifié et ce qui ne l'a pas été.

Fausse précision. Un chiffre exact ou une citation entre guillemets donnent une impression de rigueur. L'OWASP relève qu'un modèle peut donner l'illusion de comprendre un sujet complexe, ce qui induit les utilisateurs en erreur¹. Retrouvez le chiffre et la citation dans la page.

Sources de second rang. Une page qui reprend un autre site n'ajoute pas de preuve. Remontez jusqu'à l'éditeur d'origine.

Contenu piégé. Une page peut contenir du texte écrit pour l'IA et pas pour vous. Le NCSC donne l'exemple d'un CV contenant un texte caché qui demande d'ignorer les consignes précédentes et d'approuver le candidat. Il s'agit d'un exemple d'illustration, pas d'un incident daté³. Si une réponse recommande de façon inattendue un site, un produit ou une action, ouvrez la page et cherchez ce qui l'explique. Ne suivez jamais une consigne trouvée dans une source : signalez-la.

Excès de confiance. Les liens, la mise en page et le ton assuré rassurent. L'OWASP cite le robot conversationnel d'Air Canada, qui a donné des informations erronées à des voyageurs : la compagnie a été poursuivie avec succès¹. La page ne date pas ce cas. Elle recommande aussi d'indiquer clairement aux utilisateurs les limites de fiabilité de ces outils¹. Si l'outil n'affiche rien de tel, tenez cette limite pour acquise.

Filtres supposés. Le NCSC déconseille les filtres de type liste de refus, parce qu'une attaque peut se reformuler d'une infinité de façons³. Il met aussi en garde contre les produits qui prétendent « stopper » l'injection de prompt³. Un outil d'entreprise validé ne dispense donc pas de lire les sources.