Plan-and-Solve-Prompting: Verbesserung des Zero-Shot-Ketten-denken-Reasonings durch große Sprachmodelle

Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models

May 6, 2023

Autoren: Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben kürzlich beeindruckende Leistungen in verschiedenen NLP-Aufgaben gezeigt. Um mehrstufige Denkaufgaben zu bewältigen, beinhaltet das Few-Shot-Chain-of-Thought (CoT)-Prompting einige manuell erstellte Schritt-für-Schritt-Demonstrationen, die es LLMs ermöglichen, explizit Denkschritte zu generieren und ihre Genauigkeit bei Denkaufgaben zu verbessern. Um den manuellen Aufwand zu eliminieren, fügt Zero-Shot-CoT die Zielproblemstellung mit „Lassen Sie uns Schritt für Schritt denken“ als Eingabeaufforderung für LLMs zusammen. Trotz des Erfolgs von Zero-Shot-CoT leidet es immer noch unter drei Schwachstellen: Rechenfehlern, fehlenden Schritten und semantischen Missverständnissen. Um die fehlenden Schritte zu adressieren, schlagen wir Plan-and-Solve (PS)-Prompting vor. Es besteht aus zwei Komponenten: erstens, einen Plan zu entwickeln, um die gesamte Aufgabe in kleinere Teilaufgaben zu unterteilen, und zweitens, die Teilaufgaben gemäß dem Plan auszuführen. Um die Rechenfehler zu beheben und die Qualität der generierten Denkschritte zu verbessern, erweitern wir PS-Prompting mit detaillierteren Anweisungen und leiten PS+-Prompting ab. Wir evaluieren unsere vorgeschlagene Prompting-Strategie anhand von zehn Datensätzen über drei Denkprobleme. Die experimentellen Ergebnisse über GPT-3 zeigen, dass unser vorgeschlagenes Zero-Shot-Prompting durchweg alle Datensätze mit großem Abstand übertrifft, vergleichbar mit oder besser als Zero-Shot-Program-of-Thought-Prompting ist und eine vergleichbare Leistung mit 8-Shot-CoT-Prompting beim mathematischen Denkproblem aufweist. Der Code ist unter https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting verfügbar.

English

Large language models (LLMs) have recently been shown to deliver impressive performance in various NLP tasks. To tackle multi-step reasoning tasks, few-shot chain-of-thought (CoT) prompting includes a few manually crafted step-by-step reasoning demonstrations which enable LLMs to explicitly generate reasoning steps and improve their reasoning task accuracy. To eliminate the manual effort, Zero-shot-CoT concatenates the target problem statement with "Let's think step by step" as an input prompt to LLMs. Despite the success of Zero-shot-CoT, it still suffers from three pitfalls: calculation errors, missing-step errors, and semantic misunderstanding errors. To address the missing-step errors, we propose Plan-and-Solve (PS) Prompting. It consists of two components: first, devising a plan to divide the entire task into smaller subtasks, and then carrying out the subtasks according to the plan. To address the calculation errors and improve the quality of generated reasoning steps, we extend PS prompting with more detailed instructions and derive PS+ prompting. We evaluate our proposed prompting strategy on ten datasets across three reasoning problems. The experimental results over GPT-3 show that our proposed zero-shot prompting consistently outperforms Zero-shot-CoT across all datasets by a large margin, is comparable to or exceeds Zero-shot-Program-of-Thought Prompting, and has comparable performance with 8-shot CoT prompting on the math reasoning problem. The code can be found at https://github.com/AGI-Edgerunners/Plan-and-Solve-Prompting.