Modelli Linguistici Ricorsivi

Abstract

Studiamo la possibilità di consentire ai grandi modelli linguistici (LLM) di elaborare prompt di lunghezza arbitraria attraverso la lente dello scaling al momento dell'inferenza. Proponiamo i Modelli Linguistici Ricorsivi (RLM), una strategia di inferenza generale che tratta i prompt lunghi come parte di un ambiente esterno e permette all'LLM di esaminare programmaticamente, scomporre e richiamare sé stesso in modo ricorsivo su frammenti del prompt. Scopriamo che gli RLM gestiscono con successo input fino a due ordini di grandezza superiori alle finestre di contesto del modello e, anche per prompt più brevi, superano nettamente la qualità dei LLM base e delle comuni impalcature per contesti lunghi in quattro diverse attività, mantenendo un costo per query comparabile (o inferiore).

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.