Donner des exemples et découper une tâche à l'IA

Les modèles de langage produisent la suite de mots la plus probable à partir du texte reçu¹. Des exemples bien choisis orientent cette suite vers le format voulu.

Pour les problèmes à plusieurs temps, la recherche a décrit plusieurs méthodes. L'article de 2022 sur la « chaîne de pensée » montre que fournir quelques démonstrations contenant des étapes de raisonnement intermédiaires améliore les résultats sur des tâches d'arithmétique, de bon sens et de raisonnement symbolique³. Un autre article de 2022 montre qu'ajouter la phrase « Let's think step by step » suffit, sans aucun exemple, à améliorer les résultats⁴. Une troisième méthode, dite « du plus simple au plus complexe », découpe un problème en sous-problèmes résolus dans l'ordre, chaque réponse aidant à résoudre la suivante⁵.

Ces résultats viennent de tests sur des problèmes de référence, pas de situations de bureau. Ils montrent que la méthode peut aider, sans garantir une bonne réponse.

• Rédigez deux ou trois exemples courts et variés, qui montrent chacun une entrée et la sortie exacte attendue.
• Remplacez toute donnée réelle par une donnée inventée : un nom fictif, un montant arrondi sans lien avec un dossier, un texte réécrit.
• Placez l'instruction de façon claire. L'ordre compte : Microsoft note que l'ordre des informations peut modifier la sortie, y compris celui des exemples¹.
• Découpez la tâche : demandez une première étape, relisez-la, corrigez-la, puis passez à la suivante en vous appuyant sur l'étape validée.
• Prévoyez une porte de sortie : autorisez l'IA à répondre qu'elle ne sait pas, ou qu'il manque une information¹.
• Vérifiez les faits importants (chiffres, dates, noms) dans une source fiable avant de les utiliser.

Un exemple de demande en deux temps, donné ici à titre d'illustration :

Illustration, texte fictif.
Étape 1 : [liste les affirmations vérifiables du texte ci-dessous.]
Étape 2 : [après ma relecture, propose pour chaque affirmation une façon de la vérifier.]
Si une information manque, réponds « non trouvé ».

• Exemples biaisés. Le modèle imite ce qu'on lui montre. Microsoft signale la sensibilité à l'ordre, avec un biais de récence : ce qui se trouve en fin de demande peut peser davantage¹. Variez les exemples et relisez la réponse en vous demandant si elle ne copie pas leur forme.
• Étapes inventées. Une étape qui semble plausible peut être fausse. Relire seulement la conclusion ne suffit pas.
• Confiance excessive. Les gains mesurés par la recherche portent sur des jeux de tests précis³⁴. Ils ne disent rien de votre dossier.
• Fuite dans les consignes. Les consignes et exemples font partie de la demande. L'OWASP range parmi les risques la divulgation d'informations sensibles et la révélation d'informations sur les consignes système⁸. Microsoft rappelle qu'un message système influence le modèle sans garantir qu'il respecte les règles⁶. Ne comptez pas sur la consigne « ne révèle rien » pour protéger un secret placé dans un exemple.
• Texte tiers dans la demande. Si vous collez un document venu de l'extérieur (CV, courriel, page web), il peut contenir des instructions cachées. Le NCSC britannique donne l'exemple (hypothétique) d'un CV contenant un texte caché demandant d'ignorer les consignes précédentes et d'approuver le dossier⁷. Il ajoute que les modèles actuels n'imposent pas de frontière de sécurité entre instructions et données⁷. Relisez donc les sorties avec prudence quand le texte source n'est pas le vôtre.

Mai 2020 : GPT-3 testé avec des exemples

Les auteurs de GPT-3, un modèle de 175 milliards de paramètres, le testent sans mise à jour du modèle, avec des tâches et des exemples donnés uniquement par le texte. Ils rapportent de bons résultats sur de nombreux jeux de données, et aussi des jeux où l'apprentissage par quelques exemples reste en difficulté².

Mai 2022 : une phrase suffit sur un test d'arithmétique

Des chercheurs montrent qu'ajouter « Let's think step by step » fait passer la précision de 17,7 % à 78,7 % sur le test MultiArith, et de 10,4 % à 40,7 % sur GSM8K, avec le modèle text-davinci-002⁴. Même avec ce gain, la réponse reste fausse plus d'une fois sur cinq sur MultiArith et plus d'une fois sur deux sur GSM8K, d'après ces chiffres⁴.

Mai 2022 : le découpage du plus simple au plus complexe

Les auteurs de la méthode du plus simple au plus complexe rapportent qu'avec le modèle code-davinci-002 et 14 exemples, ils atteignent au moins 99 % de précision sur le test SCAN, contre 16 % avec la chaîne de pensée⁵. Ils précisent que la chaîne de pensée tend à mal réussir sur des problèmes plus difficiles que les exemples montrés⁵.