Крупные языковые модели как средства аналогического рассуждения

Large Language Models as Analogical Reasoners

October 3, 2023

Авторы: Michihiro Yasunaga, Xinyun Chen, Yujia Li, Panupong Pasupat, Jure Leskovec, Percy Liang, Ed H. Chi, Denny Zhou

cs.AI

Аннотация

Метод Chain-of-Thought (CoT) для языковых моделей демонстрирует впечатляющие результаты в задачах, требующих рассуждений, но обычно требует наличия размеченных примеров процесса рассуждений. В данной работе мы представляем новый подход к промптингу — Analogical Prompting, который предназначен для автоматического управления процессом рассуждений крупных языковых моделей. Вдохновленный аналогическим рассуждением — когнитивным процессом, в котором люди используют релевантный прошлый опыт для решения новых задач, наш подход побуждает языковые модели самостоятельно генерировать релевантные примеры или знания в контексте перед тем, как приступить к решению поставленной задачи. Этот метод имеет несколько преимуществ: он устраняет необходимость в размечении или извлечении примеров, обеспечивая универсальность и удобство; он также может адаптировать генерируемые примеры и знания к каждой конкретной задаче, обеспечивая гибкость. Экспериментальные результаты показывают, что наш подход превосходит 0-shot CoT и ручной few-shot CoT в различных задачах рассуждений, включая решение математических задач в GSM8K и MATH, генерацию кода в Codeforces и другие задачи рассуждений в BIG-Bench.

English

Chain-of-thought (CoT) prompting for language models demonstrates impressive performance across reasoning tasks, but typically needs labeled exemplars of the reasoning process. In this work, we introduce a new prompting approach, Analogical Prompting, designed to automatically guide the reasoning process of large language models. Inspired by analogical reasoning, a cognitive process in which humans draw from relevant past experiences to tackle new problems, our approach prompts language models to self-generate relevant exemplars or knowledge in the context, before proceeding to solve the given problem. This method presents several advantages: it obviates the need for labeling or retrieving exemplars, offering generality and convenience; it can also tailor the generated exemplars and knowledge to each problem, offering adaptability. Experimental results show that our approach outperforms 0-shot CoT and manual few-shot CoT in a variety of reasoning tasks, including math problem solving in GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in BIG-Bench.