Prompting de Habilidades em Contexto: Desbloqueando a Composicionalidade em Modelos de Linguagem de Grande Escala

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Autores: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Resumo

Consideramos o problema de eliciar capacidades de generalização composicional em grandes modelos de linguagem (LLMs, do inglês *Large Language Models*) com uma nova estratégia de *prompting*. A generalização composicional capacita os LLMs a resolver problemas mais complexos do que aqueles que já foram vistos (ou seja, generalização de fácil para difícil), uma habilidade de raciocínio crítica para uma inteligência semelhante à humana. No entanto, mesmo os LLMs mais avançados atualmente ainda enfrentam dificuldades com essa forma de raciocínio. Para preencher essa lacuna, propomos o *prompting* de habilidades em contexto (SKiC, do inglês *Skills-in-Context*), que instrui os LLMs sobre como compor habilidades básicas para resolver problemas mais complexos. Descobrimos que é crucial demonstrar tanto as habilidades quanto os exemplos composicionais dentro do mesmo contexto de *prompting*. Com apenas dois exemplos, nosso SKiC *prompting* inicia fortes sinergias entre as habilidades e suas capacidades de composição. Notavelmente, ele capacita os LLMs a resolver problemas não vistos que exigem composições inovadoras de habilidades, alcançando generalização quase perfeita em uma ampla gama de tarefas desafiadoras de composicionalidade. Intrigantemente, o SKiC *prompting* desbloqueia o potencial latente dos LLMs, permitindo que eles aproveitem habilidades internas pré-existentes adquiridas durante estágios anteriores de pré-treinamento, mesmo quando essas habilidades não são explicitamente apresentadas no contexto de *prompting*. Isso resulta na capacidade dos LLMs de resolver problemas complexos não vistos, ativando e compondo competências internas. Com essas características proeminentes, o SKiC *prompting* é capaz de alcançar desempenho de ponta em benchmarks desafiadores de raciocínio matemático (por exemplo, MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).