Skills-in-Context Prompting: Het Ontsluiten van Compositionaliteit in Grote Taalmodellen

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Auteurs: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Samenvatting

We beschouwen het probleem van het uitlokken van compositionele generalisatievermogens in grote taalmodellen (LLMs) met een nieuw type promptingstrategie. Compositionele generalisatie stelt LLMs in staat om problemen op te lossen die moeilijker zijn dan de problemen die ze hebben gezien (d.w.z. easy-to-hard generalisatie), wat een cruciaal redeneervermogen is van mensachtige intelligentie. Echter, zelfs de huidige state-of-the-art LLMs worstelen nog steeds met deze vorm van redeneren. Om deze kloof te overbruggen, stellen we skills-in-context (SKiC) prompting voor, dat LLMs instrueert hoe ze basisvaardigheden kunnen combineren om complexere problemen op te lossen. We vinden dat het cruciaal is om zowel de vaardigheden als de compositionele voorbeelden binnen dezelfde promptingcontext te demonstreren. Met slechts twee voorbeelden initieert onze SKiC prompting sterke synergieën tussen vaardigheden en hun compositievermogens. Opmerkelijk is dat het LLMs in staat stelt om onbekende problemen op te lossen die innovatieve vaardigheidscombinaties vereisen, wat resulteert in bijna perfecte generalisatie op een breed scala aan uitdagende compositionele taken. Interessant genoeg ontgrendelt SKiC prompting het latente potentieel van LLMs, waardoor ze gebruik kunnen maken van reeds bestaande interne vaardigheden die zijn opgedaan tijdens eerdere pre-trainingsfasen, zelfs wanneer deze vaardigheden niet expliciet worden gepresenteerd in de promptingcontext. Dit resulteert in het vermogen van LLMs om onbekende complexe problemen op te lossen door interne competenties te activeren en te combineren. Met dergelijke opvallende kenmerken is SKiC prompting in staat om state-of-the-art prestaties te behalen op uitdagende wiskundige redeneerbenchmarks (bijv. MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).