再帰的言語モデル

要旨

我々は、大規模言語モデル（LLM）が推論時のスケーリングを通じて任意に長いプロンプトを処理できるようにする手法を研究する。本論文では、長いプロンプトを外部環境の一部として扱い、LLMがプログラム的にプロンプトの断片を検査・分解し、自己を再帰的に呼び出すことを可能にする一般推論戦略「Recursive Language Models（RLM）」を提案する。RLMは、モデルのコンテキストウィンドウを最大2桁上回る長さの入力に成功に対応し、より短いプロンプトであっても、4種類の多様な長文タスクにおいて、ベースLLMや一般的な長文コンテキスト支援手法の品質を大幅に上回る性能を示す一方、クエリあたりのコストは同等（あるいは低コスト）であることを確認した。

English

We study allowing large language models (LLMs) to process arbitrarily long prompts through the lens of inference-time scaling. We propose Recursive Language Models (RLMs), a general inference strategy that treats long prompts as part of an external environment and allows the LLM to programmatically examine, decompose, and recursively call itself over snippets of the prompt. We find that RLMs successfully handle inputs up to two orders of magnitude beyond model context windows and, even for shorter prompts, dramatically outperform the quality of base LLMs and common long-context scaffolds across four diverse long-context tasks, while having comparable (or cheaper) cost per query.