RAPTOR: ツリー構造化検索のための再帰的抽象化処理

要旨

検索拡張型言語モデルは、世界の状態の変化に適応し、ロングテールの知識を取り込むことが可能です。しかし、既存の手法の多くは、検索コーパスから短い連続したチャンクのみを取得するため、文書全体の文脈を包括的に理解することが制限されています。本研究では、テキストのチャンクを再帰的に埋め込み、クラスタリングし、要約することで、下位から上位へと異なるレベルの要約を含むツリーを構築する新しいアプローチを提案します。推論時には、RAPTORモデルがこのツリーから検索を行い、長文書にわたる情報を異なる抽象度で統合します。制御実験により、再帰的要約を用いた検索が、従来の検索拡張型言語モデルに比べて複数のタスクで大幅な改善をもたらすことが示されています。複雑で多段階の推論を必要とする質問応答タスクでは、最先端の結果を示しています。例えば、RAPTORの検索をGPT-4の使用と組み合わせることで、QuALITYベンチマークにおける最高性能を絶対精度で20%向上させることができます。

English

Retrieval-augmented language models can better adapt to changes in world state and incorporate long-tail knowledge. However, most existing methods retrieve only short contiguous chunks from a retrieval corpus, limiting holistic understanding of the overall document context. We introduce the novel approach of recursively embedding, clustering, and summarizing chunks of text, constructing a tree with differing levels of summarization from the bottom up. At inference time, our RAPTOR model retrieves from this tree, integrating information across lengthy documents at different levels of abstraction. Controlled experiments show that retrieval with recursive summaries offers significant improvements over traditional retrieval-augmented LMs on several tasks. On question-answering tasks that involve complex, multi-step reasoning, we show state-of-the-art results; for example, by coupling RAPTOR retrieval with the use of GPT-4, we can improve the best performance on the QuALITY benchmark by 20% in absolute accuracy.

RAPTOR: ツリー構造化検索のための再帰的抽象化処理

RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

要旨

Support