Modelos de Linguagem Recursivos

Resumo

Estudamos permitir que modelos de linguagem de grande escala (LLMs) processem prompts arbitrariamente longos através da lente da escalabilidade em tempo de inferência. Propomos Modelos de Linguagem Recursivos (RLMs), uma estratégia geral de inferência que trata prompts longos como parte de um ambiente externo e permite que o LLM examine, decomponha e chame a si mesmo recursivamente de forma programática sobre trechos do prompt. Descobrimos que os RLMs lidam com sucesso com entradas de até duas ordens de grandeza além das janelas de contexto do modelo e, mesmo para prompts mais curtos, superam drasticamente a qualidade dos LLMs base e dos arcabouços comuns de contexto longo em quatro tarefas diversas de contexto longo, mantendo custo por consulta comparável (ou mais barato).

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.