Prompting in Contesto di Abilità: Sbloccare la Composizionalità nei Modelli Linguistici di Grande Dimensione

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Autori: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Abstract

Consideriamo il problema di stimolare le capacità di generalizzazione compositiva nei grandi modelli linguistici (LLM) attraverso una nuova strategia di prompting. La generalizzazione compositiva consente ai LLM di risolvere problemi più complessi di quelli incontrati in precedenza (cioè, generalizzazione da semplice a complesso), una capacità di ragionamento fondamentale per un'intelligenza simile a quella umana. Tuttavia, anche i LLM più avanzati attualmente disponibili faticano in questa forma di ragionamento. Per colmare questa lacuna, proponiamo il prompting skills-in-context (SKiC), che istruisce i LLM su come comporre abilità di base per risolvere problemi più complessi. Abbiamo scoperto che è cruciale dimostrare sia le abilità che gli esempi compositivi all'interno dello stesso contesto di prompting. Con appena due esempi, il nostro prompting SKiC innesca forti sinergie tra le abilità e le loro capacità di composizione. In particolare, consente ai LLM di risolvere problemi inediti che richiedono composizioni innovative di abilità, raggiungendo una generalizzazione quasi perfetta su un'ampia gamma di compiti di composizionalità impegnativi. È interessante notare che il prompting SKiC sblocca il potenziale latente dei LLM, permettendo loro di sfruttare abilità interne preesistenti acquisite durante le fasi di pre-training precedenti, anche quando queste abilità non sono esplicitamente presentate nel contesto di prompting. Ciò si traduce nella capacità dei LLM di risolvere problemi complessi inediti attivando e componendo competenze interne. Grazie a queste caratteristiche rilevanti, il prompting SKiC è in grado di raggiungere prestazioni all'avanguardia su benchmark impegnativi di ragionamento matematico (ad esempio, MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).