大規模言語モデルを類推推論器として

要旨

Chain-of-Thought (CoT)プロンプティングは、言語モデルが推論タスクにおいて印象的な性能を示すが、通常、推論プロセスのラベル付き例を必要とする。本研究では、大規模言語モデルの推論プロセスを自動的に導く新しいプロンプティング手法である「類推プロンプティング（Analogical Prompting）」を提案する。この手法は、人間が新しい問題に取り組む際に関連する過去の経験を引き出す認知プロセスである類推推論に着想を得ており、言語モデルに与えられた問題を解決する前に、文脈内で関連する例や知識を自己生成するよう促す。この方法にはいくつかの利点がある：例のラベル付けや検索の必要性をなくし、汎用性と利便性を提供する；また、生成される例や知識を各問題に合わせて調整できるため、適応性も提供する。実験結果は、GSM8KやMATHにおける数学問題解決、Codeforcesにおけるコード生成、BIG-Benchにおけるその他の推論タスクなど、さまざまな推論タスクにおいて、本手法が0-shot CoTや手動のfew-shot CoTを上回ることを示している。

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.

大規模言語モデルを類推推論器として

Large Language Models as Analogical Reasoners

要旨

Support