Modelos de Linguagem de Grande Escala como Raciocinadores Analógicos

Large Language Models as Analogical Reasoners

October 3, 2023

Autores: Michihiro Yasunaga, Xinyun Chen, Yujia Li, Panupong Pasupat, Jure Leskovec, Percy Liang, Ed H. Chi, Denny Zhou

cs.AI

Resumo

O prompting de cadeia de pensamento (Chain-of-thought, CoT) para modelos de linguagem demonstra desempenho impressionante em tarefas de raciocínio, mas geralmente requer exemplos rotulados do processo de raciocínio. Neste trabalho, introduzimos uma nova abordagem de prompting, o Prompting Analógico, projetado para guiar automaticamente o processo de raciocínio de grandes modelos de linguagem. Inspirado pelo raciocínio analógico, um processo cognitivo no qual os humanos se baseiam em experiências passadas relevantes para resolver novos problemas, nossa abordagem solicita que os modelos de linguagem gerem automaticamente exemplos ou conhecimentos relevantes no contexto, antes de prosseguir para resolver o problema dado. Este método apresenta várias vantagens: elimina a necessidade de rotular ou recuperar exemplos, oferecendo generalidade e conveniência; também pode adaptar os exemplos e conhecimentos gerados a cada problema, oferecendo adaptabilidade. Resultados experimentais mostram que nossa abordagem supera o CoT 0-shot e o CoT manual few-shot em uma variedade de tarefas de raciocínio, incluindo resolução de problemas matemáticos no GSM8K e MATH, geração de código no Codeforces e outras tarefas de raciocínio no BIG-Bench.

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.