StructRAG: Steigerung des wissensintensiven Schlussfolgerns von LLMs durch hybride Informationsstrukturierung zur Inferenzzeit

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

October 11, 2024

Autoren: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li

cs.AI

Zusammenfassung

Die abrufgestützte Generierung (RAG) ist ein entscheidendes Mittel zur effektiven Verbesserung großer Sprachmodelle (LLMs) in vielen wissensbasierten Aufgaben. Allerdings haben bestehende RAG-Methoden Schwierigkeiten bei wissensintensiven Denkaufgaben, da die für diese Aufgaben erforderlichen nützlichen Informationen schlecht verteilt sind. Diese Eigenschaft erschwert es bestehenden RAG-Methoden, Schlüsselinformationen genau zu identifizieren und globale Schlussfolgerungen mit einer solch rauschhaften Erweiterung durchzuführen. In diesem Paper, motiviert durch kognitive Theorien, dass Menschen rohe Informationen in verschiedene strukturierte Kenntnisse umwandeln, wenn sie wissensintensive Denkaufgaben angehen, schlagen wir einen neuen Rahmen vor, StructRAG, der den optimalen Strukturtyp für die jeweilige Aufgabe identifizieren kann, originale Dokumente in dieses strukturierte Format umwandeln kann und Antworten basierend auf der resultierenden Struktur ableiten kann. Umfangreiche Experimente über verschiedene wissensintensive Aufgaben zeigen, dass StructRAG eine Spitzenleistung erzielt, insbesondere in herausfordernden Szenarien, was sein Potenzial als effektive Lösung zur Verbesserung von LLMs in komplexen realen Anwendungen zeigt.

English

Retrieval-augmented generation (RAG) is a key means to effectively enhance large language models (LLMs) in many knowledge-based tasks. However, existing RAG methods struggle with knowledge-intensive reasoning tasks, because useful information required to these tasks are badly scattered. This characteristic makes it difficult for existing RAG methods to accurately identify key information and perform global reasoning with such noisy augmentation. In this paper, motivated by the cognitive theories that humans convert raw information into various structured knowledge when tackling knowledge-intensive reasoning, we proposes a new framework, StructRAG, which can identify the optimal structure type for the task at hand, reconstruct original documents into this structured format, and infer answers based on the resulting structure. Extensive experiments across various knowledge-intensive tasks show that StructRAG achieves state-of-the-art performance, particularly excelling in challenging scenarios, demonstrating its potential as an effective solution for enhancing LLMs in complex real-world applications.