Контекстно-зависимое формирование запросов: Раскрытие композициональности в крупных языковых моделях

Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models

August 1, 2023

Авторы: Jiaao Chen, Xiaoman Pan, Dian Yu, Kaiqiang Song, Xiaoyang Wang, Dong Yu, Jianshu Chen

cs.AI

Аннотация

Мы рассматриваем задачу развития способностей к композиционному обобщению в больших языковых моделях (LLM) с использованием новой стратегии подсказок. Композиционное обобщение позволяет LLM решать задачи, которые сложнее тех, с которыми они сталкивались ранее (т.е. обобщение от простого к сложному), что является важным аспектом рассуждений, характерных для человеческого интеллекта. Однако даже современные LLM испытывают трудности с таким типом рассуждений. Чтобы устранить этот разрыв, мы предлагаем стратегию подсказок "навыки в контексте" (SKiC), которая обучает LLM комбинировать базовые навыки для решения более сложных задач. Мы обнаружили, что важно демонстрировать как навыки, так и примеры их композиции в рамках одного контекста подсказок. Всего с двумя примерами наша стратегия SKiC создает синергию между навыками и их композиционными возможностями. В частности, она позволяет LLM решать ранее не встречавшиеся задачи, требующие инновационных комбинаций навыков, достигая почти идеального обобщения на широком спектре сложных задач композиционности. Интересно, что SKiC раскрывает скрытый потенциал LLM, позволяя им использовать внутренние навыки, приобретенные на этапах предварительного обучения, даже если эти навыки не представлены явно в контексте подсказок. Это приводит к способности LLM решать незнакомые сложные задачи путем активации и комбинирования внутренних компетенций. Благодаря таким выдающимся характеристикам, SKiC достигает наилучших результатов на сложных тестах математических рассуждений (например, MATH).

English

We consider the problem of eliciting compositional generalization capabilities in large language models (LLMs) with a novel type of prompting strategy. Compositional generalization empowers the LLMs to solve problems that are harder than the ones they have seen (i.e., easy-to-hard generalization), which is a critical reasoning capability of human-like intelligence. However, even the current state-of-the-art LLMs still struggle with this form of reasoning. To bridge this gap, we propose skills-in-context (SKiC) prompting, which instructs LLMs how to compose basic skills to resolve more complex problems. We find that it is crucial to demonstrate both the skills and the compositional examples within the same prompting context. With as few as two examplars, our SKiC prompting initiates strong synergies between skills and their composition capabilities. Notably, it empowers LLMs to solve unseen problems that require innovative skill compositions, achieving near-perfect generalization on a broad range of challenging compositionality tasks. Intriguingly, SKiC prompting unlocks the latent potential of LLMs, enabling them to leverage pre-existing internal skills acquired during earlier pre-training stages, even when these skills are not explicitly presented in the prompting context. This results in the capability of LLMs to solve unseen complex problems by activating and composing internal competencies. With such prominent features, SKiC prompting is able to achieve state-of-the-art performance on challenging mathematical reasoning benchmarks (e.g., MATH).