Dar ejemplos y dividir una tarea en pasos con la IA

Los modelos de lenguaje producen la continuación de palabras más probable a partir del texto recibido¹. Unos ejemplos bien elegidos orientan esa continuación hacia el formato deseado.

Para los problemas que requieren varias fases, la investigación ha descrito varios métodos. El artículo de 2022 sobre la «cadena de pensamiento» muestra que proporcionar algunas demostraciones con pasos intermedios de razonamiento mejora los resultados en tareas de aritmética, de sentido común y de razonamiento simbólico³. Otro artículo de 2022 muestra que añadir la frase «Let's think step by step» basta, sin ningún ejemplo, para mejorar los resultados⁴. Un tercer método, llamado «de lo más simple a lo más complejo», divide un problema en subproblemas que se resuelven por orden, de modo que cada respuesta ayuda a resolver la siguiente⁵.

Estos resultados proceden de pruebas con problemas de referencia, no de situaciones de oficina. Muestran que el método puede ayudar, sin garantizar una buena respuesta.

• Redacte dos o tres ejemplos cortos y variados, cada uno con una entrada y la salida exacta que se espera.
• Sustituya cualquier dato real por uno inventado: un nombre ficticio, un importe redondeado sin relación con ningún expediente, un texto reescrito.
• Coloque la instrucción de forma clara. El orden cuenta: Microsoft señala que el orden de la información puede modificar la salida, incluido el de los ejemplos¹.
• Divida la tarea: pida un primer paso, revíselo, corríjalo y pase al siguiente apoyándose en el paso validado.
• Prevea una vía de salida: autorice a la IA a responder que no lo sabe o que falta una información¹.
• Verifique los datos importantes (cifras, fechas, nombres) en una fuente fiable antes de utilizarlos.

Un ejemplo de solicitud en dos tiempos, que se ofrece a modo de ilustración:

Ilustración, texto ficticio.
Paso 1: [enumera las afirmaciones verificables del texto siguiente.]
Paso 2: [tras mi revisión, propone para cada afirmación una forma de verificarla.]
Si falta una información, responde «no encontrado».

• Ejemplos sesgados. El modelo imita lo que se le muestra. Microsoft señala la sensibilidad al orden, con un sesgo de recencia: lo que está al final de la solicitud puede pesar más¹. Varíe los ejemplos y revise la respuesta preguntándose si no copia su forma.
• Pasos inventados. Un paso que parece plausible puede ser falso. No basta con revisar solo la conclusión.
• Exceso de confianza. Las mejoras medidas por la investigación se refieren a conjuntos de prueba concretos³⁴. No dicen nada sobre su expediente.
• Fuga en las instrucciones. Las instrucciones y los ejemplos forman parte de la solicitud. OWASP incluye entre los riesgos la divulgación de información sensible y la revelación de información sobre las instrucciones del sistema⁸. Microsoft recuerda que un mensaje del sistema influye en el modelo sin garantizar que respete las reglas⁶. No cuente con la instrucción «no reveles nada» para proteger un secreto incluido en un ejemplo.
• Texto de terceros en la solicitud. Si pega un documento procedente del exterior (CV, correo, página web), puede contener instrucciones ocultas. El NCSC británico da el ejemplo (hipotético) de un CV con un texto oculto que pide ignorar las instrucciones anteriores y aprobar la candidatura⁷. Añade que los modelos actuales no imponen una frontera de seguridad entre instrucciones y datos⁷. Por tanto, revise las salidas con prudencia cuando el texto de origen no sea suyo.

Mayo de 2020: GPT-3 probado con ejemplos

Los autores de GPT-3, un modelo de 175.000 millones de parámetros, lo prueban sin actualizar el modelo, con tareas y ejemplos dados únicamente mediante texto. Informan de buenos resultados en numerosos conjuntos de datos y también de conjuntos en los que el aprendizaje a partir de unos pocos ejemplos sigue teniendo dificultades².

Mayo de 2022: una frase basta en una prueba de aritmética

Unos investigadores muestran que añadir «Let's think step by step» eleva la precisión del 17,7 % al 78,7 % en la prueba MultiArith, y del 10,4 % al 40,7 % en GSM8K, con el modelo text-davinci-002⁴. Incluso con esa mejora, según estas cifras la respuesta sigue siendo errónea más de una vez de cada cinco en MultiArith y más de una vez de cada dos en GSM8K⁴.

Mayo de 2022: la división de lo más simple a lo más complejo

Los autores del método de lo más simple a lo más complejo informan de que, con el modelo code-davinci-002 y 14 ejemplos, alcanzan al menos un 99 % de precisión en la prueba SCAN, frente al 16 % con la cadena de pensamiento⁵. Precisan que la cadena de pensamiento tiende a fallar en problemas más difíciles que los ejemplos mostrados⁵.