Modèles de Langage Récursifs

papers.abstract

Nous étudions la capacité des grands modèles de langage (LLM) à traiter des invites de longueur arbitraire sous l'angle de la mise à l'échelle lors de l'inférence. Nous proposons les modèles de langage récursifs (RLM), une stratégie d'inférence générale qui considère les longues invites comme faisant partie d'un environnement externe et permet au LLM d'examiner, de décomposer et de s'appeler récursivement sur des fragments de l'invite de manière programmatique. Nous constatons que les RLM traitent avec succès des entrées jusqu'à deux ordres de grandeur au-delà des fenêtres de contexte des modèles et que, même pour des invites plus courtes, ils surpassent considérablement la qualité des LLM de base et des échafaudages courants pour les longs contextes sur quatre tâches variées, tout en ayant un coût par requête comparable (ou inférieur).

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.