Modelos de Lenguaje a Gran Escala como Razonadores Analógicos

Large Language Models as Analogical Reasoners

October 3, 2023

Autores: Michihiro Yasunaga, Xinyun Chen, Yujia Li, Panupong Pasupat, Jure Leskovec, Percy Liang, Ed H. Chi, Denny Zhou

cs.AI

Resumen

El enfoque de "cadena de pensamiento" (Chain-of-Thought, CoT) para modelos de lenguaje demuestra un rendimiento impresionante en tareas de razonamiento, pero generalmente requiere ejemplos etiquetados del proceso de razonamiento. En este trabajo, presentamos un nuevo enfoque de "prompting" llamado "Prompting Analógico", diseñado para guiar automáticamente el proceso de razonamiento de los modelos de lenguaje grandes. Inspirado en el razonamiento analógico, un proceso cognitivo en el que los humanos recurren a experiencias pasadas relevantes para abordar nuevos problemas, nuestro enfoque impulsa a los modelos de lenguaje a autogenerar ejemplos o conocimientos relevantes en el contexto, antes de proceder a resolver el problema dado. Este método ofrece varias ventajas: elimina la necesidad de etiquetar o recuperar ejemplos, proporcionando generalidad y conveniencia; también puede adaptar los ejemplos y conocimientos generados a cada problema, ofreciendo adaptabilidad. Los resultados experimentales muestran que nuestro enfoque supera al CoT de 0-shot y al CoT manual de few-shot en una variedad de tareas de razonamiento, incluyendo la resolución de problemas matemáticos en GSM8K y MATH, la generación de código en Codeforces y otras tareas de razonamiento en BIG-Bench.

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.