Prompting en Contexto de Habilidades: Desbloqueando la Composición en Modelos de Lenguaje a Gran Escala

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Autores: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Resumen

Consideramos el problema de elicitar capacidades de generalización composicional en modelos de lenguaje de gran escala (LLMs) mediante una estrategia novedosa de prompting. La generalización composicional permite a los LLMs resolver problemas más difíciles que aquellos que han visto (es decir, generalización de fácil a difícil), una capacidad de razonamiento crítica para la inteligencia similar a la humana. Sin embargo, incluso los LLMs más avanzados actualmente aún tienen dificultades con esta forma de razonamiento. Para cerrar esta brecha, proponemos el prompting de habilidades en contexto (SKiC), que instruye a los LLMs sobre cómo componer habilidades básicas para resolver problemas más complejos. Encontramos que es crucial demostrar tanto las habilidades como los ejemplos composicionales dentro del mismo contexto de prompting. Con tan solo dos ejemplos, nuestro prompting SKiC inicia fuertes sinergias entre las habilidades y sus capacidades de composición. Notablemente, permite a los LLMs resolver problemas no vistos que requieren composiciones innovadoras de habilidades, logrando una generalización casi perfecta en una amplia gama de tareas desafiantes de composicionalidad. Curiosamente, el prompting SKiC desbloquea el potencial latente de los LLMs, permitiéndoles aprovechar habilidades internas preexistentes adquiridas durante etapas previas de preentrenamiento, incluso cuando estas habilidades no se presentan explícitamente en el contexto de prompting. Esto resulta en la capacidad de los LLMs para resolver problemas complejos no vistos mediante la activación y composición de competencias internas. Con estas características destacadas, el prompting SKiC logra un rendimiento de vanguardia en benchmarks desafiantes de razonamiento matemático (por ejemplo, MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).