Modelos de Lenguaje Recursivos

Resumen

Estudiamos la posibilidad de permitir que los modelos de lenguaje grandes (LLM) procesen prompts de longitud arbitraria mediante el enfoque de escalado en tiempo de inferencia. Proponemos los Modelos de Lenguaje Recursivos (RLM), una estrategia de inferencia general que trata los prompts largos como parte de un entorno externo y permite al LLM examinar, descomponer y llamarse recursivamente a sí mismo de manera programática sobre fragmentos del prompt. Encontramos que los RLM manejan exitosamente entradas hasta dos órdenes de magnitud más largas que las ventanas de contexto del modelo y, incluso para prompts más cortos, superan drásticamente la calidad de los LLM base y los andamiajes comunes de contexto largo en cuatro tareas diversas de contexto largo, manteniendo un costo por consulta comparable (o menor).

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.