RAPTOR: Procesamiento Abstractivo Recursivo para Recuperación Organizada en Árbol

RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

January 31, 2024

Autores: Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning

cs.AI

Resumen

Los modelos de lenguaje aumentados con recuperación pueden adaptarse mejor a los cambios en el estado del mundo e incorporar conocimiento de cola larga. Sin embargo, la mayoría de los métodos existentes recuperan solo fragmentos cortos y contiguos de un corpus de recuperación, lo que limita la comprensión holística del contexto general del documento. Introducimos un enfoque novedoso que consiste en incrustar, agrupar y resumir recursivamente fragmentos de texto, construyendo un árbol con diferentes niveles de resumen de abajo hacia arriba. En el momento de la inferencia, nuestro modelo RAPTOR recupera información de este árbol, integrando datos a lo largo de documentos extensos en diferentes niveles de abstracción. Experimentos controlados muestran que la recuperación con resúmenes recursivos ofrece mejoras significativas sobre los modelos de lenguaje aumentados con recuperación tradicionales en varias tareas. En tareas de respuesta a preguntas que involucran razonamiento complejo y de múltiples pasos, demostramos resultados de vanguardia; por ejemplo, al combinar la recuperación de RAPTOR con el uso de GPT-4, podemos mejorar el mejor rendimiento en el benchmark QuALITY en un 20% en precisión absoluta.

English

Retrieval-augmented language models can better adapt to changes in world state and incorporate long-tail knowledge. However, most existing methods retrieve only short contiguous chunks from a retrieval corpus, limiting holistic understanding of the overall document context. We introduce the novel approach of recursively embedding, clustering, and summarizing chunks of text, constructing a tree with differing levels of summarization from the bottom up. At inference time, our RAPTOR model retrieves from this tree, integrating information across lengthy documents at different levels of abstraction. Controlled experiments show that retrieval with recursive summaries offers significant improvements over traditional retrieval-augmented LMs on several tasks. On question-answering tasks that involve complex, multi-step reasoning, we show state-of-the-art results; for example, by coupling RAPTOR retrieval with the use of GPT-4, we can improve the best performance on the QuALITY benchmark by 20% in absolute accuracy.