Рекуррентные языковые модели

Аннотация

Мы исследуем возможность обработки сколь угодно длинных промптов большими языковыми моделями (LLM) через призму масштабирования на этапе вывода. Предлагается стратегия вывода под названием Рекурсивные языковые модели (RLM), которая рассматривает длинные промпты как часть внешней среды и позволяет LLM программно анализировать, декомпозировать и рекурсивно вызывать себя для фрагментов промпта. Мы обнаружили, что RLM успешно обрабатывают входные данные, превышающие контекстные окна модели на два порядка величины, и даже для более коротких промптов значительно превосходят по качеству базовые LLM и распространенные каркасы для работы с длинным контекстом в четырех различных задачах, при этом имея сопоставимые (или более низкие) затраты на один запрос.

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.