Prompting Contextuel des Compétences : Libérer la Compositionnalité dans les Grands Modèles de Langage

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Auteurs: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Résumé

Nous examinons le problème de l'élicitation des capacités de généralisation compositionnelle dans les grands modèles de langage (LLMs) grâce à une nouvelle stratégie de prompting. La généralisation compositionnelle permet aux LLMs de résoudre des problèmes plus complexes que ceux qu'ils ont rencontrés (c'est-à-dire une généralisation du facile au difficile), une capacité de raisonnement essentielle pour une intelligence de type humain. Cependant, même les LLMs les plus avancés actuels peinent encore avec cette forme de raisonnement. Pour combler cette lacune, nous proposons le prompting "skills-in-context" (SKiC), qui guide les LLMs sur la manière de composer des compétences de base pour résoudre des problèmes plus complexes. Nous constatons qu'il est crucial de démontrer à la fois les compétences et les exemples compositionnels dans le même contexte de prompting. Avec seulement deux exemples, notre prompting SKiC initie des synergies fortes entre les compétences et leurs capacités de composition. Notamment, il permet aux LLMs de résoudre des problèmes inédits nécessitant des compositions innovantes de compétences, atteignant une généralisation quasi parfaite sur un large éventail de tâches de compositionnalité difficiles. Fait intriguant, le prompting SKiC débloque le potentiel latent des LLMs, leur permettant de tirer parti de compétences internes préexistantes acquises lors des étapes de pré-entraînement, même lorsque ces compétences ne sont pas explicitement présentées dans le contexte de prompting. Cela se traduit par la capacité des LLMs à résoudre des problèmes complexes inédits en activant et en composant des compétences internes. Grâce à ces caractéristiques marquantes, le prompting SKiC parvient à atteindre des performances de pointe sur des benchmarks de raisonnement mathématique difficiles (par exemple, MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).