StructRAG: Усиление знаниевого рассуждения LLMs с помощью гибридной структуризации информации во время вывода

StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization

October 11, 2024

Авторы: Zhuoqun Li, Xuanang Chen, Haiyang Yu, Hongyu Lin, Yaojie Lu, Qiaoyu Tang, Fei Huang, Xianpei Han, Le Sun, Yongbin Li

cs.AI

Аннотация

Расширенная генерация с использованием поиска (RAG) является ключевым средством эффективного улучшения больших языковых моделей (LLM) во многих задачах, основанных на знаниях. Однако существующие методы RAG испытывают затруднения с задачами, требующими интенсивного использования знаний, поскольку полезная информация для этих задач плохо структурирована. Эта характеристика затрудняет точную идентификацию ключевой информации существующими методами RAG и выполнение глобального рассуждения с таким шумным расширением. В данной статье, вдохновленные когнитивными теориями, согласно которым люди преобразуют сырую информацию в различные структурированные знания при решении задач, требующих интенсивного использования знаний, мы предлагаем новую концепцию, StructRAG, которая способна определить оптимальный тип структуры для конкретной задачи, перестроить исходные документы в этот структурированный формат и делать выводы на основе полученной структуры. Обширные эксперименты по различным задачам, требующим интенсивного использования знаний, показывают, что StructRAG достигает передовых результатов, особенно выделяясь в сложных сценариях, демонстрируя свой потенциал как эффективное решение для улучшения LLM в сложных прикладных задачах реального мира.

English

Retrieval-augmented generation (RAG) is a key means to effectively enhance large language models (LLMs) in many knowledge-based tasks. However, existing RAG methods struggle with knowledge-intensive reasoning tasks, because useful information required to these tasks are badly scattered. This characteristic makes it difficult for existing RAG methods to accurately identify key information and perform global reasoning with such noisy augmentation. In this paper, motivated by the cognitive theories that humans convert raw information into various structured knowledge when tackling knowledge-intensive reasoning, we proposes a new framework, StructRAG, which can identify the optimal structure type for the task at hand, reconstruct original documents into this structured format, and infer answers based on the resulting structure. Extensive experiments across various knowledge-intensive tasks show that StructRAG achieves state-of-the-art performance, particularly excelling in challenging scenarios, demonstrating its potential as an effective solution for enhancing LLMs in complex real-world applications.