StructRAG: Mejorando el Razonamiento Intensivo en Conocimiento de LLMs a través de la Estructuración Híbrida de la Información en Tiempo de Inferencia

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

October 11, 2024

Autores: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li

cs.AI

Resumen

La generación aumentada por recuperación (RAG) es un medio clave para mejorar de manera efectiva los grandes modelos de lenguaje (LLMs) en muchas tareas basadas en el conocimiento. Sin embargo, los métodos de RAG existentes tienen dificultades con tareas de razonamiento intensivas en conocimiento, ya que la información útil requerida para estas tareas está dispersa de manera desordenada. Esta característica hace que sea difícil para los métodos de RAG existentes identificar con precisión la información clave y realizar un razonamiento global con dicha ampliación ruidosa. En este artículo, motivados por las teorías cognitivas que indican que los humanos convierten la información cruda en varios conocimientos estructurados al abordar tareas de razonamiento intensivas en conocimiento, proponemos un nuevo marco, StructRAG, que puede identificar el tipo de estructura óptimo para la tarea en cuestión, reconstruir documentos originales en este formato estructurado e inferir respuestas basadas en la estructura resultante. Experimentos extensos en diversas tareas intensivas en conocimiento muestran que StructRAG logra un rendimiento de vanguardia, destacándose especialmente en escenarios desafiantes, lo que demuestra su potencial como una solución efectiva para mejorar los LLMs en aplicaciones del mundo real complejas.

English

Retrieval-augmented generation (RAG) is a key means to effectively enhance large language models (LLMs) in many knowledge-based tasks. However, existing RAG methods struggle with knowledge-intensive reasoning tasks, because useful information required to these tasks are badly scattered. This characteristic makes it difficult for existing RAG methods to accurately identify key information and perform global reasoning with such noisy augmentation. In this paper, motivated by the cognitive theories that humans convert raw information into various structured knowledge when tackling knowledge-intensive reasoning, we proposes a new framework, StructRAG, which can identify the optimal structure type for the task at hand, reconstruct original documents into this structured format, and infer answers based on the resulting structure. Extensive experiments across various knowledge-intensive tasks show that StructRAG achieves state-of-the-art performance, particularly excelling in challenging scenarios, demonstrating its potential as an effective solution for enhancing LLMs in complex real-world applications.