Prompting Pianificato e Risolutivo: Migliorare il Ragionamento a Catena di Pensiero Zero-Shot nei Modelli Linguistici di Grande Scala

Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models

May 6, 2023

Autori: Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) hanno recentemente dimostrato di offrire prestazioni impressionanti in vari compiti di NLP. Per affrontare compiti di ragionamento a più passaggi, il prompting few-shot chain-of-thought (CoT) include alcune dimostrazioni manualmente create di ragionamento passo-passo, che consentono agli LLM di generare esplicitamente passaggi di ragionamento e migliorare la loro accuratezza nei compiti di ragionamento. Per eliminare lo sforzo manuale, Zero-shot-CoT concatena l'enunciato del problema target con "Pensiamo passo dopo passo" come prompt di input per gli LLM. Nonostante il successo di Zero-shot-CoT, esso soffre ancora di tre problematiche: errori di calcolo, errori di passaggi mancanti e errori di incomprensione semantica. Per affrontare gli errori di passaggi mancanti, proponiamo il prompting Plan-and-Solve (PS). Esso consiste di due componenti: prima, ideare un piano per suddividere l'intero compito in sottotask più piccoli, e poi eseguire i sottotask secondo il piano. Per affrontare gli errori di calcolo e migliorare la qualità dei passaggi di ragionamento generati, estendiamo il prompting PS con istruzioni più dettagliate e deriviamo il prompting PS+. Valutiamo la nostra strategia di prompting proposta su dieci dataset relativi a tre problemi di ragionamento. I risultati sperimentali su GPT-3 mostrano che il nostro prompting zero-shot proposto supera costantemente Zero-shot-CoT su tutti i dataset con un ampio margine, è paragonabile o supera il prompting Zero-shot-Program-of-Thought, e ha prestazioni comparabili con il prompting 8-shot CoT sul problema di ragionamento matematico. Il codice è disponibile all'indirizzo https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting.

English

Large language models (LLMs) have recently been shown to deliver impressive performance in various NLP tasks. To tackle multi-step reasoning tasks, few-shot chain-of-thought (CoT) prompting includes a few manually crafted step-by-step reasoning demonstrations which enable LLMs to explicitly generate reasoning steps and improve their reasoning task accuracy. To eliminate the manual effort, Zero-shot-CoT concatenates the target problem statement with "Let's think step by step" as an input prompt to LLMs. Despite the success of Zero-shot-CoT, it still suffers from three pitfalls: calculation errors, missing-step errors, and semantic misunderstanding errors. To address the missing-step errors, we propose Plan-and-Solve (PS) Prompting. It consists of two components: first, devising a plan to divide the entire task into smaller subtasks, and then carrying out the subtasks according to the plan. To address the calculation errors and improve the quality of generated reasoning steps, we extend PS prompting with more detailed instructions and derive PS+ prompting. We evaluate our proposed prompting strategy on ten datasets across three reasoning problems. The experimental results over GPT-3 show that our proposed zero-shot prompting consistently outperforms Zero-shot-CoT across all datasets by a large margin, is comparable to or exceeds Zero-shot-Program-of-Thought Prompting, and has comparable performance with 8-shot CoT prompting on the math reasoning problem. The code can be found at https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting.