Grote Taalmodellen als Analogische Redeneerders

Large Language Models as Analogical Reasoners

October 3, 2023

Auteurs: Michihiro Yasunaga, Xinyun Chen, Yujia Li, Panupong Pasupat, Jure Leskovec, Percy Liang, Ed H. Chi, Denny Zhou

cs.AI

Samenvatting

Chain-of-thought (CoT) prompting voor taalmodelen toont indrukwekkende prestaties bij redeneertaken, maar vereist doorgaans gelabelde voorbeelden van het redeneerproces. In dit werk introduceren we een nieuwe prompting-aanpak, Analogical Prompting, ontworpen om het redeneerproces van grote taalmodelen automatisch te begeleiden. Geïnspireerd door analogisch redeneren, een cognitief proces waarbij mensen putten uit relevante ervaringen uit het verleden om nieuwe problemen aan te pakken, spoort onze aanpak taalmodelen aan om zelf relevante voorbeelden of kennis in de context te genereren, voordat ze het gegeven probleem oplossen. Deze methode biedt verschillende voordelen: het elimineert de noodzaak om voorbeelden te labelen of op te halen, wat algemeenheid en gemak biedt; het kan ook de gegenereerde voorbeelden en kennis afstemmen op elk probleem, wat aanpassingsvermogen biedt. Experimentele resultaten tonen aan dat onze aanpak 0-shot CoT en handmatige few-shot CoT overtreft in een verscheidenheid aan redeneertaken, waaronder wiskundeproblemen oplossen in GSM8K en MATH, codegeneratie in Codeforces, en andere redeneertaken in BIG-Bench.

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.