Recursieve Taalmodellen

Samenvatting

Wij onderzoeken het mogelijk maken van het verwerken van willekeurig lange prompts door grote taalmodellen (LLM's) vanuit het perspectief van schaalvergroting tijdens inferentie. Wij stellen Recursieve Taalmodellen (RTL's) voor, een algemene inferentiestrategie die lange prompts behandelt als onderdeel van een externe omgeving en het LLM in staat stelt om programmatisch de prompt te onderzoeken, te decomposeren en recursief zichzelf aan te roepen voor fragmenten van de prompt. Wij constateren dat RTL's inputs aankunnen tot twee orden van grootte verder dan de contextvensters van het model en, zelfs voor kortere prompts, de kwaliteit van basis-LLM's en veelgebruikte steigers voor lange context aanzienlijk overtreffen bij vier uiteenlopende taken met lange context, terwijl de kosten per query vergelijkbaar (of lager) zijn.

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.