Skills-in-Context Prompting: Entfesselung der Kompositionalität in großen Sprachmodellen

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Autoren: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Zusammenfassung

Wir betrachten das Problem, die Fähigkeit zur kompositionellen Generalisierung in großen Sprachmodellen (LLMs) durch eine neuartige Art von Prompting-Strategie zu fördern. Kompositionelle Generalisierung befähigt LLMs, Probleme zu lösen, die schwieriger sind als die, die sie gesehen haben (d.h. einfache-zu-schwierige Generalisierung), was eine entscheidende Denkfähigkeit für menschenähnliche Intelligenz darstellt. Allerdings kämpfen selbst die derzeit besten LLMs noch mit dieser Form des Denkens. Um diese Lücke zu schließen, schlagen wir das Skills-in-Context (SKiC) Prompting vor, das LLMs anleitet, wie grundlegende Fähigkeiten kombiniert werden können, um komplexere Probleme zu lösen. Wir stellen fest, dass es entscheidend ist, sowohl die Fähigkeiten als auch die kompositionellen Beispiele innerhalb desselben Prompting-Kontexts zu demonstrieren. Mit nur zwei Beispielen initiiert unser SKiC Prompting starke Synergien zwischen Fähigkeiten und deren Kompositionsfähigkeiten. Bemerkenswerterweise befähigt es LLMs, ungesehene Probleme zu lösen, die innovative Fähigkeitskombinationen erfordern, und erreicht nahezu perfekte Generalisierung bei einer breiten Palette von anspruchsvollen Kompositionalitätsaufgaben. Interessanterweise erschließt SKiC Prompting das latente Potenzial von LLMs, indem es ihnen ermöglicht, bereits vorhandene interne Fähigkeiten, die während früherer Vor-Trainingsphasen erworben wurden, zu nutzen, selbst wenn diese Fähigkeiten nicht explizit im Prompting-Kontext präsentiert werden. Dies führt dazu, dass LLMs in der Lage sind, ungesehene komplexe Probleme zu lösen, indem sie interne Kompetenzen aktivieren und kombinieren. Mit solchen herausragenden Merkmalen erreicht SKiC Prompting Spitzenleistungen auf anspruchsvollen mathematischen Denkbenchmarks (z.B. MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).