Les grands modèles de langage comme raisonneurs analogiques
Large Language Models as Analogical Reasoners
October 3, 2023
Auteurs: Michihiro Yasunaga, Xinyun Chen, Yujia Li, Panupong Pasupat, Jure Leskovec, Percy Liang, Ed H. Chi, Denny Zhou
cs.AI
Résumé
L'incitation par chaîne de pensée (Chain-of-thought, CoT) pour les modèles de langage démontre des performances impressionnantes dans les tâches de raisonnement, mais nécessite généralement des exemples étiquetés du processus de raisonnement. Dans ce travail, nous introduisons une nouvelle approche d'incitation, l'Incitation Analogique, conçue pour guider automatiquement le processus de raisonnement des grands modèles de langage. Inspirée par le raisonnement analogique, un processus cognitif dans lequel les humains s'appuient sur des expériences passées pertinentes pour résoudre de nouveaux problèmes, notre approche incite les modèles de langage à générer eux-mêmes des exemples ou des connaissances pertinents dans le contexte, avant de procéder à la résolution du problème donné. Cette méthode présente plusieurs avantages : elle élimine le besoin d'étiqueter ou de récupérer des exemples, offrant ainsi généralité et commodité ; elle peut également adapter les exemples et les connaissances générés à chaque problème, offrant ainsi une grande adaptabilité. Les résultats expérimentaux montrent que notre approche surpasse la CoT à zéro-shot (0-shot CoT) et la CoT manuelle à quelques exemples (manual few-shot CoT) dans une variété de tâches de raisonnement, y compris la résolution de problèmes mathématiques dans GSM8K et MATH, la génération de code dans Codeforces, et d'autres tâches de raisonnement dans BIG-Bench.
English
Chain-of-thought (CoT) prompting for language models demonstrates impressive
performance across reasoning tasks, but typically needs labeled exemplars of
the reasoning process. In this work, we introduce a new prompting approach,
Analogical Prompting, designed to automatically guide the reasoning process of
large language models. Inspired by analogical reasoning, a cognitive process in
which humans draw from relevant past experiences to tackle new problems, our
approach prompts language models to self-generate relevant exemplars or
knowledge in the context, before proceeding to solve the given problem. This
method presents several advantages: it obviates the need for labeling or
retrieving exemplars, offering generality and convenience; it can also tailor
the generated exemplars and knowledge to each problem, offering adaptability.
Experimental results show that our approach outperforms 0-shot CoT and manual
few-shot CoT in a variety of reasoning tasks, including math problem solving in
GSM8K and MATH, code generation in Codeforces, and other reasoning tasks in
BIG-Bench.