대형 언어 모델을 유추적 추론자로 활용하기

초록

사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 언어 모델이 추론 과제에서 인상적인 성능을 보여주지만, 일반적으로 추론 과정의 레이블이 지정된 예시가 필요합니다. 본 연구에서는 대형 언어 모델의 추론 과정을 자동으로 안내하기 위해 새로운 프롬프팅 접근법인 '유추 프롬프팅(Analogical Prompting)'을 소개합니다. 이 방법은 인간이 새로운 문제를 해결하기 위해 관련된 과거 경험을 활용하는 인지 과정인 유추적 추론에서 영감을 받았습니다. 우리의 접근법은 언어 모델이 주어진 문제를 해결하기 전에 관련된 예시나 지식을 스스로 생성하도록 유도합니다. 이 방법은 몇 가지 장점을 가지고 있습니다: 예시에 레이블을 지정하거나 검색할 필요가 없어 일반성과 편의성을 제공하며, 생성된 예시와 지식을 각 문제에 맞게 조정할 수 있어 적응성을 제공합니다. 실험 결과, 우리의 접근법은 GSM8K와 MATH의 수학 문제 해결, Codeforces의 코드 생성, 그리고 BIG-Bench의 기타 추론 과제 등 다양한 추론 과제에서 0-shot CoT와 수동 few-shot CoT를 능가하는 성능을 보여주었습니다.

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.

대형 언어 모델을 유추적 추론자로 활용하기

Large Language Models as Analogical Reasoners

초록

Support