Prompting de Planejamento e Resolução: Melhorando o Raciocínio em Cadeia de Pensamento Zero-Shot por Modelos de Linguagem de Grande Escala

Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models

May 6, 2023

Autores: Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) recentemente demonstraram desempenho impressionante em diversas tarefas de PLN. Para lidar com tarefas de raciocínio em múltiplas etapas, o prompting few-shot de cadeia de pensamento (CoT) inclui algumas demonstrações manuais de raciocínio passo a passo, que permitem que os LLMs gerem explicitamente etapas de raciocínio e melhorem sua precisão em tarefas de raciocínio. Para eliminar o esforço manual, o Zero-shot-CoT concatena a declaração do problema alvo com "Vamos pensar passo a passo" como um prompt de entrada para os LLMs. Apesar do sucesso do Zero-shot-CoT, ele ainda sofre de três problemas: erros de cálculo, erros de etapas ausentes e erros de má interpretação semântica. Para abordar os erros de etapas ausentes, propomos o Prompting de Planejar e Resolver (PS). Ele consiste em dois componentes: primeiro, elaborar um plano para dividir a tarefa inteira em subtarefas menores e, em seguida, executar as subtarefas de acordo com o plano. Para abordar os erros de cálculo e melhorar a qualidade das etapas de raciocínio geradas, estendemos o prompting PS com instruções mais detalhadas e derivamos o prompting PS+. Avaliamos nossa estratégia de prompting proposta em dez conjuntos de dados abrangendo três problemas de raciocínio. Os resultados experimentais com o GPT-3 mostram que nosso prompting zero-shot proposto supera consistentemente o Zero-shot-CoT em todos os conjuntos de dados por uma grande margem, é comparável ou superior ao Prompting Zero-shot-Program-of-Thought e tem desempenho comparável ao prompting CoT de 8-shot no problema de raciocínio matemático. O código pode ser encontrado em https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting.

English

Large language models (LLMs) have recently been shown to deliver impressive performance in various NLP tasks. To tackle multi-step reasoning tasks, few-shot chain-of-thought (CoT) prompting includes a few manually crafted step-by-step reasoning demonstrations which enable LLMs to explicitly generate reasoning steps and improve their reasoning task accuracy. To eliminate the manual effort, Zero-shot-CoT concatenates the target problem statement with "Let's think step by step" as an input prompt to LLMs. Despite the success of Zero-shot-CoT, it still suffers from three pitfalls: calculation errors, missing-step errors, and semantic misunderstanding errors. To address the missing-step errors, we propose Plan-and-Solve (PS) Prompting. It consists of two components: first, devising a plan to divide the entire task into smaller subtasks, and then carrying out the subtasks according to the plan. To address the calculation errors and improve the quality of generated reasoning steps, we extend PS prompting with more detailed instructions and derive PS+ prompting. We evaluate our proposed prompting strategy on ten datasets across three reasoning problems. The experimental results over GPT-3 show that our proposed zero-shot prompting consistently outperforms Zero-shot-CoT across all datasets by a large margin, is comparable to or exceeds Zero-shot-Program-of-Thought Prompting, and has comparable performance with 8-shot CoT prompting on the math reasoning problem. The code can be found at https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting.