Rekursive Sprachmodelle

papers.abstract

Wir untersuchen die Fähigkeit großer Sprachmodelle (LLMs), beliebig lange Prompts zu verarbeiten, durch die Linse der Inferenzzeit-Skalierung. Wir schlagen Rekursive Sprachmodelle (RLMs) vor, eine allgemeine Inferenzstrategie, die lange Prompts als Teil einer externen Umgebung betrachtet und es dem LLM ermöglicht, diese programmgestützt zu untersuchen, zu zerlegen und sich selbst rekursiv auf Ausschnitte des Prompts anzuwenden. Wir stellen fest, dass RLMs erfolgreich Eingaben verarbeiten, die bis zu zwei Größenordnungen über den Modell-Kontextfenstern liegen, und selbst bei kürzeren Prompts die Qualität der Basis-LLMs und gängiger Langkontext-Gerüste in vier verschiedenen Langkontext-Aufgaben dramatisch übertreffen, bei vergleichbaren (oder geringeren) Kosten pro Abfrage.

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.